准备

• 需要安装jq，sudo apt-get install jq。
• 未启用安全沙箱测试，需要配置python和cpp的编译环境，也可自行构建docker镜像。

使用

• 在init/modules.yaml中配置需要的大模型
• 在.env中配置api_key
• 请参照模版配置data/data.csv内容
• 在data/prompt.txt中配置大模型生成代码的prompt。
• 在main.py中，读取data/data.csv中的题目，并调用api生成代码，进行评测。
• 需要提供data/test_cases.zip文件，用于读取测试用例。
• 假设题目名称为test，并进入到data/problems/test目录下。
  • problem.json是题目测试的基本信息。
  • result.json是测试结果。
  • cases是测试用例。
  • code是大模型生成的代码。
  • desc是题目描述。

可能会出现的问题：

• 返回的代码部分缺少换行符，导致无法编译。
• bash脚本如果执行失败，可能是因为设置的是crlf换行符，需要转换为lf。

  确保文件的换行符是lf

  echo 'export FILEFORMAT=unix' >> ~/.bashrc
  source ~/.bashrc

todo

• 对于同一题目同一接口多次询问返回的代码进行整理