본문 바로가기

배우는 과정/Pytorch5

코드에서 차원을 표현하는 형식 이해 Logistic Regression의 Hypothesis에서 m(데이터 길이)과 d(차원)이라고 하는데 m은 row 즉 행의 수를 뜻하고 d는 차원이라고 하지만 곧 요소수를 뜻함또한 w 가중치 파라미터의 경우 (d, 1) 로 시작된다. 따라서 (m, d)로 표현하는데 (2, 3)일때 [[1, 2, 3], [4, 5, 6]] 형태가 된다. 또한 가중치 파라미터는 (3, 1)형태가 될 것이다. 3개의 요소에 대응하기 위해 3개의 가중치가 필요한것임 이렇게 뉴런 하나가 이루어지고 H(x) = x1w1 + x2w2 + x3w3 + b 형태 나중에 nn.Linear를 사용할때도 (d, 결과수) 즉 (3, 1)의형태를 쓰게 됨. 3개의 요소가 들어와서 하나의 결론으로 도달  m의 경우 몇개가 들어오든 그냥 열어두는.. 2024. 11. 2.
파이토치의 딥러닝 모델링과 파운데이션 모델의 fine-tuning의 차이점 fine-tuning에 대해 알아보다가 결국 fine-tuning이 가능한 파운데이션 모델은 일부분이며 그중 라마라는 파운데이션 모델도 fine-tuning이 가능하다. fine-tuning이란 기존의 파운데이션의 한계를 극복하기 위한 수단중 하나이고 기존의 파운데이션 모델을 특정 분야에 맞게 한번더 학습을 시키고 커스터마이징 한 상태로 모델을 사용하는 방식이다. 여기서 궁금했던 것은 딥러닝 모델 자체를 만드는 파이토치와 라마에서 fine-tuning를 하는 방법이 근본적으로 다른 방법인가? 였다. Chat GPT에 물어본 결론은 다음과 같다.파이토치(PyTorch)로 딥러닝 모델을 만드는 방법과 LLaMA와 같은 대규모 언어 모델을 파인 튜닝하는 방법은 기본적인 원리는 유사하지만, 적용되는 구체적인 절.. 2024. 7. 24.
Pytorch 데이터 적합 요약 활성층과 은닉층활성층은 활성함수를 사용하는 계층을 뜻하고 은닉층은 입력층과 출력층 사이에 계층연계로 입출력값이 들어가고 나가는 부분을 뜻하는 구조적인 단어임. 어차피 계층마다 활성함수가 들어가므로 의미상 큰 차이는 없지만 활성층은 계층 하나마다 지칭할 수 있지만 은닉층은 중간 계층들의 전체를 의미하는 것 같음또한 활성층이라는 단어는 잘 사용하지 않음  입력값과 계층일단 크게 설명하면, 밑에 설명한 뉴런들은 파라미터 하나로 인해 입출력이 이루어지는 신경 하나이고, 이것들이 각 계층마다 다발을 이루며 포진하고 있다.먼저 입력값이 단일값 또는 백터값일때이다. 단일값이면 별 상관 없지만 온도 문제처럼 다수의 입력값이 필요한 백터 값일 경우는 뉴런 내부에서도 파라미터가 입력 수만큼 복제되어서 하나의 뉴런이 다수 .. 2024. 7. 21.
Pytorch 학습기법 요약 모델 -> 손실 함수로 손실 값 계산 -> 손실함수 미분하여 기울기 도출 -> 그것을 이용하여 모델의 파라미터 조정각각 어떤 원리로 가능한지 정리 필요  모델 선언 기본t_c = w * t_u + bw(weight)는 가중치이고 b(bias)는 편향값이 model로 인해 입력 값과 결과 값이 나오고 실제 정답 t_c와  Model에서 출력된 값 t_p 간의 차이 제곱을 이용해 계산한 손실값을 기준으로 w 와 b를 조정해간다. 손실 함수1차함수보단 2차함수를 사용한다. 이유는 실제 정답값과의 차이에 대해 2차함수가 더 패널티를 크게 주기 때문이다. 양옆으로 x값이 뻗어 나갈 수록 제곱으로 y값이 커지므로 정답과의 차이값에 대해 더 큰 패널티를 주기 때문임 또한 온도 문제처럼 입력값의 텐서 요소가 여러개일 .. 2024. 7. 21.

티스토리툴바