https://arxiv.org/abs/2305.03111
Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs (Jinyang Li, Binyuan Hui, Ge Qu, Binhua Li, Jiaxi Yang, Bowen Li, Bailin Wang, Bowen Qin, Rongyu Cao, Ruiying Geng, Nan Huo, Chenhao Ma, Kevin C.C. Chang, Fei Huang, Reynold Cheng, Yongbin Li)
LLM을 text2sql 모델로 사용해 데이터베이스 인터페이스로 사용할 수 있을까? 현재는 chain of thought와 추가 정보 등을 사용해도 인간의 92.96에 대해 gpt-3.5-turbo는 40.08 정도로 기대에 못 미친다는 결론입니다. GPT-4나 더 정교한 시스템이면 성능이 향상될 수 있을 것 같긴 한데...어디까지 도달할 수 있을지 궁금하네요.
#llm