https://arxiv.org/abs/2305.13534
How Language Model Hallucinations Can Snowball (Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith)
llm의 hallucination 중에서, 실제로 모델이 응답을 바로잡을 수 있는 경우에도 이전에 잘못 생성한 문장, hallucination 때문에 그 문장과의 consistency를 유지하기 위해 hallucination을 계속해서 생성하는 경우가 있다는 연구. hallucination의 snowball 입니다.
사실 shaking the foundations에서 언급했었던 모델의 생성 결과가 증거가 되어버리는 문제가 극명하게 드러나는 사례라고 할 수 있을 듯 싶네요.
#llm #alignment