본문 바로가기
LLM의 훈련과 추론 방식을 조금 더 심도있게 공부하기 위해 LLM은 미래의 토큰을 확률적으로 예측하는 딥러닝 모델임 LLM 훈련의 기본적인 사이클토큰화 -> 정수화(Token ID) ->텐서화 -> (임베딩 레이어 파라미터 & 본격적인 파라미터) -> 손실 함수 -> 역전파 여기서 like를 훈련셋으로 넣었을때, 임베딩레이어 파라미터가 고정이 안되고 업데이트되는데 문제 아닌가?그럼 like를 넣었을때 정답셋과 비교하는게 의미있나?할수 있지만 결국 이것도 훈련의 일부분이기 때문에 첫번째 훈련사이클에서 like(임베딩) 이 되었다가 두번째 훈련 사이클에서 like(임베딩')이 되었다고 해서 문제 없음. 그렇게 임베딩 방법 자체도 훈련되는것임 LLM의 Train Set과 Label은 어떻게 될까?라벨을 직접 주지 않는다는 것이 맞음. 훈련셋은 단지 신문기사나 다른 텍.. 2026. 1. 18.
[Tensor] VS [Vector] 벡터는 텐서의 한 종류모든 벡터는 텐서지만, 모든 텐서가 벡터는 아니다. 텐서란?좌표축을 따라 값이 배열된 일반화된 수학적 객체차원(rank, order)을 가진다스칼라, 벡터, 행렬을 모두 포함하는 상위 개념결국 벡터는 1차원 텐서를 말하는 용어임0차원 텐서스칼라51차원 텐서벡터[1, 2, 3]2차원 텐서행렬[[1,2],[3,4]]3차원 텐서3차원 텐서(C, H, W)n차원 텐서n차원 텐서(B, L, D, …) “벡터”라는 말은의미 단위 강조방향, 거리, 유사도 이야기할 때 사용“텐서”라는 말은구조와 연산 강조shape, broadcasting, GPU 연산 이야기할 때 사용 텐서는 모델이 처리하는 모든 데이터 구조의 총칭임입력 데이터임베딩 결과가중치gradientactivation모두 텐서다. 2026. 1. 17.
Tensor 사이즈 개념 tensor([0.2, 0.4, 0.7])의 사이즈(쉐입)는torch.Size([3])임즉, 1차원 텐서(백터)이고 길이가 3이다.이것을 길이 3이 하나 있다고 생각해서 [1,3] 이라고 생각하면 안됨이미 2차원의 기능이 없는것이기 때문에 행,열의미가 없음텐서shapetensor([0.2, 0.4, 0.7])[3]tensor([[0.2, 0.4, 0.7]])[1, 3]tensor([[0.2], [0.4], [0.7]])[3, 1]다시 말하면 길이로 늘어뜨려지기만 하면 안되고 이게 1개 이상일수 있다는 표현을 해줘야 앞에 차원이 하나 더 있다는것임 기호적으로는 더블[[]]이 필요함 2026. 1. 15.
머신러닝과 딥러닝의 근본적인 차이점 머신러닝과 딥러닝의 공통점: 파라미터와 가중치를 업데이트해서 함수를 최적화함 머신러닝과 딥러닝의 차이점딥러닝은 근본적으로 신경망, 즉 레이어를 가지고 있음.[즉 함수합성(f3(f2(f1(x)))) 사용]머신러닝도 많은 파라미터 함수를 조정하지만, 결국 하나의 함수를 갖고 거기에 달린 많은 파라미터들을 조정함또한 머신러닝은 가중치가 영향주는 '특징'을 사람이 직접 정의해주지만 딥러닝은 그 '특징들'까지 계층구조로 알아서 정의함머신러닝은 역전파할 레이어도 없음 2026. 1. 13.
모델에 대한 이해 모델은 초기 모델을 학습하는 형태모든 초기 모델은 Input을 엉터리(랜덤)로 벡터 임베딩해주는 파라미터를 가진 상태로 생성시킴초기 베이스 모델의 구조는 비슷하지만 설계자가 이 모델을 LLM으로 학습할것인가, 임베딩모델로 학습시킬 것인가, 또는 다중모달등으로 학습시킬 것인가에 따른 설계자의 목적에 의존해서 모델의 학습 구도가 완전 달라짐 이 구도에 따라 의도에 맞게 벡터가 가까워지도록 학습된다.백터가 가까워진다는건 백터의 내적이 커지는 방향으로 간다는 것이때 Input 중 x 데이터의 벡터간의 거리를 부여해주는 구조(틀)이 파라미터임파라미터 자체가 수많은 백터값들이라 이것들이 Input과 만나면서 계산해주는 구조따라서 학습의 큰그림은 다음과 같다 (정답 라벨이 있는 경우)x데이터와 y_true 데이터 셋.. 2026. 1. 13.
파이널컷 미디어 저장 방법 및 중복 저장 해결 방법 파이널컷 작업시 라이브러리 내부와 외부에 동일한 원본파일이 저장되어있는 경우가 있다.원본파일의 용량부터 상당하기 때문에 이것이 두배로 중복되어 심각한 저장공간 낭비를 할 수 있다.이 문제에 대한 대부분의 원인은 라이브러리 저장공간 지정을 특정 경로로 모아두지 않고 여러 경로로 지정해둔 경우이다.나의 경우 final cut 폴더 하위로 지정해 놓고 기존에 중복이 있던 라이브러리는 라이브러리 미디어 통합 기능으로 간편하게 통합시킨다. 삭제해도 안전한 시점이 폴더에는 Final Cut Pro가 라이브러리 또는 미디어 폴더에 복사하거나 통합한 원본 카메라/클립 파일이 포함되어 있습니다. 다음과 같은 경우:삭제하지 말아야 할 경우라이브러리에서 해당 파일을 "외부" 또는 "원본 미디어"로 참조하는 경우(클립이 ".. 2025. 12. 25.