https://arxiv.org/abs/2110.06014
Rethinking supervised pre-training for better downstream transferring (Yutong Feng, Jianwen Jiang, Mingqian Tang, Rong Jin, Yue Gao)
cross entropy를 사용한 일반적인 분류 학습을 사용했을 때 클래스 내 feature들의 intra class variation을 감소하는 (널리 알려진 고질적인) 문제를 softmax classifier 대신 knn classifier를 올려 학습시키는 것으로 태클. feature의 다양성이 증진되어 transfer learning 시점에서 성능이 향상된다는 결과.
#classificiation #metric_learning #transfer