https://arxiv.org/abs/2004.04487
Injecting Numerical Reasoning Skills into Language Models (Mor Geva, Ankit Gupta, Jonathan Berant)
계산할 줄 아는 bert 만들기. span prediction에 추가적으로 generation/decoding이 가능하도록 디코더를 붙이고 synthetic 데이터를 만들어서 프리트레이닝.
#reasoning
https://arxiv.org/abs/2004.04487
Injecting Numerical Reasoning Skills into Language Models (Mor Geva, Ankit Gupta, Jonathan Berant)
계산할 줄 아는 bert 만들기. span prediction에 추가적으로 generation/decoding이 가능하도록 디코더를 붙이고 synthetic 데이터를 만들어서 프리트레이닝.
#reasoning