https://arxiv.org/abs/2006.05987
Revisiting Few-sample BERT Fine-tuning (Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, Yoav Artzi)
BERT 파인튜닝에서 bias correction 재도입, 상위 레이어 랜덤 초기화, 더 긴 트레이닝으로 few sample 세팅에서의 불안정성을 해소하고 성능을 개선. 이쯤 되면 bias correction을 빼버렸던 게 실수였다고 할 수 있지 않을까. 그리고 역시 파인튜닝을 튜닝해야 한다.
#bert #finetuning