https://arxiv.org/abs/2208.13916
A Language Agnostic Multilingual Streaming On-Device ASR System (Bo Li, Tara N. Sainath, Ruoming Pang, Shuo-yiin Chang, Qiumin Xu, Trevor Strohman, Vince Chen, Qiao Liang, Heguang Liu, Yanzhang He, Parisa Haghani, Sameer Bidichandani)
multilingual on-device asr. 사실 on-device asr을 위한 모델 튜닝이 메인이고 multilingual을 위한 특별한 장치는 없습니다. 그런데 multilingual 데이터에 학습시키는 것만으로도 code switching, 즉 utterance 중간에 언어가 바뀌는 경우에도 대응이 가능하다는 것 같네요.
#asr #multilingual