trensfer learning 아이디어 정리

적용하는 전제 아이디어

적용 위한 참 조건으로 가정하는 Idea :

1. 대부분의 데이터들은 주요 특징을 공유할 가능성이 있을 것이다

이미지는 곡선, 직선 윤곽선 등

텍스트는 단어, 문법 등

 

2. 1)의 전제가정을 이어받아서, 신경망의 parameter를 random seed(값) 에서 처음부터 학습하는 것보다, 다른 비슷한 데이터셋 학습한 모델을(사전 구축된 DNN 구조와 parameter 값 그대로 활용) down stream task 앞에 붙인다던가 해서 학습에 활용하면 더 나은 결과를 볼 수 있을 수 있다.

 

3. 2) 따라서 미리 큰 데이터셋으로 사전학습된 모델(네트워크)을 붙여서 나의 down stream task에 재학습(fine-tuning) 시키며 활용한다. 

※ 위 말에서 모델(네트워크)을 사전 학습된 모델과, down stream task를 풀기 위해 본인이 덧붙인 모델으로 2개로 분리해서 생각하면, fine-tuning 과정을 거치면서 사전 학습된 모델과 내가 덧붙인 모델의 weight parameter 값이 조정하는 과정이 진행되는 것 같다. (이 때 freeze라는 개념으로 사전학습된 모델의 parameter는 조정하지 않도록 설정하는 것도 있는 것으로 보임, freeze하여 얻는 장/단점이 있을 것인데 추후 내용 파악 필요.)