https://arxiv.org/abs/2306.16388
Towards Measuring the Representation of Subjective Global Opinions in Language Models (Esin Durmus, Karina Nyugen, Thomas I. Liao, Nicholas Schiefer, Amanda Askell, Anton Bakhtin, Carol Chen, Zac Hatfield-Dodds, Danny Hernandez, Nicholas Joseph, Liane Lovitt, Sam McCandlish, Orowa Sikder, Alex Tamkin, Janel Thamkul, Jared Kaplan, Jack Clark, Deep Ganguli)
국가나 집단 별로 의견이 갈리는 질문들, 예를 들어 좋은 민주주의 vs 강한 경제 같은 질문들을 구축하고 llm이 그에 대해 어떻게 응답하는지, 실제 각 국가 집단에서의 응답은 어떤지, 그리고 프롬프팅을 사용해서 llm의 응답을 각 국가에 가깝게 맞출 수 있는지를 실험했네요.
분명 문제가 될 수 있는 문제이긴 한데 여러모로 까다롭네요. 가치의 영역이기 때문에...
#alignment