딥러닝 훈련의 간단 이해

데이터 전파 : 뉴런이 계층으로 모이고 그 계층에서 나온 출력 값이 다음 계층의 입력값으로 들어간다.

 

뉴런과 파라미터 : 각 뉴런은 독립된 w(가중치)와 b(편향값)을 가지고 있고 이것들의 초기화 같은 뉴런마다 랜덤하다. 이것은 뉴런을 여러개 쓰는 이유이기도 한데, 각기 다른 파라미터를 가진 많은 뉴런들이 한번에 훈련되므로 다양한 최종 파라미터 값이 나오고 이는 다양한 특징을 학습할 수 있고 복잡한 패턴도 인식할 수 있게 해준다.

 

입력값과 뉴런 : 모든 뉴런은 동일한 입력값을 받는다. 따라서 첫 입력값을 제 1계층의 모든 뉴런이 동시에 받고 각기 다르게 세팅된 파라미터를 가지고 훈련한다. 그렇게 나온 뉴런별 결과 값을 완전 경우의 수로 제 1계층의 제 1뉴런의 결과값을 제 2계층에 모든 뉴런이 한번씩 입력받는 식으로 학습한다. 

또한 초기 입력값이 10개의 요소를 가진 텐서라면, 뉴런 한개당 10개의 w와 1개의 b를 생성하고 10개의 w*x 값을 모두 더한 후 b를 더해주어 뉴런 하나당 하나의 결과 값을 만들어 준다. 이후는 위에서 설명한 대로 동일하게 학습 된다. 

 

뉴런의 기본 식 : y = x*w + b

 

동시에 이는 선형 함수로 딥러닝은 이와 같이 직선 구조의 선형 함수의 결과 값을 활성 함수에 넣어서 출력함수가 값마다 다른 기울기를 가지도록 만들어 주고 임의의 함수에 근사할 수 있게된다.