파이토치의 딥러닝 모델링과 파운데이션 모델의 fine-tuning의 차이점

fine-tuning에 대해 알아보다가 결국 fine-tuning이 가능한 파운데이션 모델은 일부분이며 그중 라마라는 파운데이션 모델도 fine-tuning이 가능하다.

 

fine-tuning이란 기존의 파운데이션의 한계를 극복하기 위한 수단중 하나이고 기존의 파운데이션 모델을 특정 분야에 맞게 한번더 학습을 시키고 커스터마이징 한 상태로 모델을 사용하는 방식이다.

 

여기서 궁금했던 것은 딥러닝 모델 자체를 만드는 파이토치와 라마에서 fine-tuning를 하는 방법이 근본적으로 다른 방법인가? 였다.

 

Chat GPT에 물어본 결론은 다음과 같다.

파이토치(PyTorch)로 딥러닝 모델을 만드는 방법과 LLaMA와 같은 대규모 언어 모델을 파인 튜닝하는 방법은 기본적인 원리는 유사하지만, 적용되는 구체적인 절차와 도구는 다를 수 있습니다. 두 방법 모두 딥러닝의 기본 개념과 원리를 따르지만, LLaMA와 같은 대규모 언어 모델의 파인 튜닝은 특정 라이브러리와 프레임워크를 활용하여 더 쉽게 수행할 수 있습니다.

파이토치로 딥러닝 모델 만들기
파이토치로 딥러닝 모델을 만드는 기본적인 절차는 다음과 같습니다:
데이터 준비:데이터셋을 로드하고 전처리합니다.데이터 로더(DataLoader)를 사용하여 배치(batch) 단위로 데이터를 처리합니다.모델 정의:torch.nn.Module을 상속받아 모델을 정의합니다.모델의 레이어와 순전파(forward) 함수를 구현합니다.손실 함수 및 옵티마이저 정의:손실 함수(loss function)와 옵티마이저(optimizer)를 정의합니다.훈련 루프:모델을 훈련시키기 위한 루프를 작성합니다.순전파, 손실 계산, 역전파(backpropagation), 가중치 업데이트를 수행합니다.

LLaMA 모델 파인 튜닝
LLaMA와 같은 대규모 언어 모델을 파인 튜닝하는 과정은 기본적인 딥러닝 모델 훈련과 유사하지만, Hugging Face의 Transformers 라이브러리와 같은 도구를 사용하여 더 쉽게 수행할 수 있습니다.
예시: Hugging Face Transformers를 사용한 LLaMA 파인 튜닝

결론
파이토치로 딥러닝 모델을 만드는 방법과 LLaMA와 같은 대규모 언어 모델을 파인 튜닝하는 방법은 기본적인 원리는 유사하지만, 구체적인 절차와 도구는 다를 수 있습니다. 파이토치로 딥러닝 모델을 만들 때는 모델 정의, 손실 함수 및 옵티마이저 설정, 훈련 루프 작성 등의 과정을 직접 수행해야 합니다. 반면, LLaMA와 같은 모델을 파인 튜닝할 때는 Hugging Face의 Transformers 라이브러리와 같은 도구를 사용하여 더 쉽게 수행할 수 있습니다.

 

따라서 결국 둘다 '학습' 이 필요하므로 학습하는 방법은 같지만 파이토치에 경우 학습에 필요한 여러 파라미터들(가중치, 바이어스, 손실 함수등등)을 개발자가 직접 설정해 주어야하는데, fine-tuning의 경우 파운데이션 모델과 연계되어 있는 손쉬운 라이브러리를 통해 이런 파라미터를 사용할 필요 없이 학습에 필요한 데이터 셋만 가지고 있다면 이것을 학습시켜서 커스터마이징된 모델을 만들 수 있다는 의미인 것 같다.