실제로 충분한 크기의 데이터셋을 갖추기는 상대적으로 드물기 때문에, (무작위 초기화를 통해) 맨 처음부터 합성곱 신경망(Convolutional Network) 전체를 학습하는 사람은 매우 적다.
따라서, 대신, 매우 큰 데이터셋(예. 100가지 분류에 대해 120만개의 이미지가 포함된 ImageNet)에서 합성곱 신경망(ConvNet)을 미리 학습한 후, 이 합성곱 신경망을 관심있는 작업 을 위한 초기 설정 또는 고정된 특징 추출기(fixed feature extractor)로 사용한다.
이러한 전이학습 시나리오의 주요한 2가지는 다음과 같다:
- 합성곱 신경망의 미세조정(finetuning): 무작위 초기화 대신, 신경망을 ImageNet 1000 데이터셋 등으로 미리 학습한 신경망으로 초기화합니다. 학습의 나머지 과정들은 평상시와 같다.
- 고정된 특징 추출기로써의 합성곱 신경망: 마지막 Fully-Connected 계층을 제외한 모든 신경망의 가중치를 고정한다. 즉, 마지막의 완전히 연결된 계층만이 새로운 무작위의 가중치를 갖는 계층으로서, 이 계층만 학습이 가능하다.
Transfer learning is the idea of overcoming the isolated learning paradigm and utilizing knowledge acquired for one task to solve related ones.
For Convolutional Neural Networks, transfer learning can be done by taking weights learnt by a model architecture on a specific task (for eg, Image classification of a predefined set of images) and using these weights as a starting point, with a modified architecture, letting the new model learn for more epochs.
