10000개의 라베링 된 새 사진을 분류한다고 생각해보자.
ImageNet에서 우리는 Resnet-50가 성능이 가장 좋은 것을 알고 있다.
하지만 Restnet-50는 겨우 10000개의 사진을 처리하는데 있어 overfit하다.
이런 overfit을 피하기 위해 ImageNet에서 NN train을 다시 실행하고 fine tuning을 통해 성능을 높여보자. 이게 뭔소리냐고? 나도 잘 모르겠으니 더 살펴보자..
대략적으로 이런 느낌 이다.
Big data에서 얻은 Large model을 바탕으로 small data에 최적화를 위해 기존 layer를 교체하여 small data에서 최적화 된 모델을 새로 만드는 것이다.
Converting words to vectors
Language model에서 Input은 단어이다. 하지만 Deep learning 내에서 단어를 다루기위해 vector가 필요하다. 이때, word를 vector로 바꾸는 변환이 필요하다.
One-hot encoding
Dictionary를 생성하여 단어를 등록한 후 encoding 시 단어를 dict에서 찾아 encode
Dict의 size에 따라 sparse data의 vector이거나 Very high dimensional vector일 경우 성능이 좋지 않음.
이를 해결하기 위해 Sparse matrix인 One-hot 을 Dense matrix로 mapping 해주어야 함.
