https://arxiv.org/abs/2108.12226
Injecting Text in Self-Supervised Speech Pretraining (Zhehuai Chen, Yu Zhang, Andrew Rosenberg, Bhuvana Ramabhadran, Gary Wang, Pedro Moreno)
transcription이 없는 speech를 사용한 프리트레이닝에 tts를 사용해서 speech가 없는 텍스트에 대한 프리트레이닝을 결합. asr도 self supervision이 상당히 효과적으로 돌아가고 있는 것 같네요.
#asr #self_supervised