https://arxiv.org/abs/2007.03349
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr (Xingjian Li, Haoyi Xiong, Haozhe An, Chengzhong Xu, Dejing Dou)
파인튜닝 시나리오에서 fc가 빠르게 수렴해버리기 때문에 백본이 유의미하게 튜닝되지 않음. 그렇다고 백본을 팍팍 튜닝하면 overfit이 발생. 이 둘을 모두 해소하는 방법: fc weight를 주기적으로 리셋해서 다시 학습시킴. 아니 무슨 약을 하셨길래 이런 생각을 하셨어요? (그리고 저자들이 RIFLE이라는 이름이 아주 마음에 들었던 모양.) #finetuning #regularization