https://arxiv.org/abs/2110.05448
Unsupervised Neural Machine Translation with Generative Language Models Only (Jesse Michael Han, Igor Babuschkin, Harrison Edwards, Arvind Neelakantan, Tao Xu, Stanislas Polu, Alex Ray, Pranav Shyam, Aditya Ramesh, Alec Radford, Ilya Sutskever)
llm으로 unsupervised mt. zero shot으로 few shot prompt 생성, few shot prompt로 synthetic 데이터 생성, synthetic 데이터로 파인튜닝, back translation으로 파인튜닝이라는 절차네요. llm으로는 거의 모든 게 되는 건가 싶네요. 어떻게 찔러봐야 할지 모를 뿐.
#lm #unsupervised_nmt