https://arxiv.org/abs/2107.12087
Text is Text, No Matter What: Unifying Text Recognition using Knowledge Distillation (Ayan Kumar Bhunia, Aneeshan Sain, Pinaki Nath Chowdhury, Yi-Zhe Song)
scene text recognition과 handwritten text recognition을 통합하기 위한 distillation. 어텐션 맵에 대한 distillation이 주 레시피네요. 사실 이런 시도가 나온 동기가 scene text recognition과 handwritten text recognition을 그대로 통합하면 성능이 떨어진다는 것인데...이쪽은 저희 경험과는 좀 다른 것 같긴 하네요. attention distillation에 의한 효과가 강렬하게 나타나는 것도 2d attention을 사용한 영향이 있지 않을까 싶기도 한데요. 어쨌든 참고할만할 듯 싶습니다.
#distillation #multitask