https://arxiv.org/abs/2002.12327
A Primer in BERTology: What we know about how BERT works (Anna Rogers, Olga Kovaleva, Anna Rumshisky)
BERT 임베딩의 특성, 모델의 특성, 프리트레이닝 방법, 압축 방법 등 기존 연구들을 정리한 논문. 역시 남이 정리한 걸 보는 게 편함.
여기 있는 논문들만 다 체크하면 당신도 BERT 전문가!
#bert #review