https://arxiv.org/abs/2303.12712
Sparks of Artificial General Intelligence: Early experiments with GPT-4 (Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, Yi Zhang)
GPT-4에 대해서 또 능력 자랑이 나왔군요. MS에서 나왔고 보면 GPT-4 초기 모델부터 분석하고 있습니다. 결론은 일반 지능이라고 할 만한 단초들이 보인다. autoregressive 모델의 한계는 있음 정도겠네요. 일반 지능이라는 것의 막대한 무게감을 생각했을 때 단초가 보인다고 하는 것 자체도 엄청난 일일 것 같긴 합니다.
수많은 평가 예제들이 있고 기존 벤치마크 데이터셋들의 한계를 강조하고 있네요. 한 가지 재미있는 샘플은 tikz로 유니콘을 그리게 시키고, 거기서 뿔 부분의 코드를 뺀 다음, 뿔을 추가하라고 했더니 뿔을 추가했다는 부분입니다. multimodal 모델도 아닌 모델이 tikz 코드에서 뿔 부분을 찾아낼 수 있었다는 것을 시사하네요.
#llm