seven8wen

---

中文 LLM (大语言模型) LoRA 微调。colab 免费 GPU 可运行

• THUDM/chatglm-6b
• baichuan-inc/baichuan-7B
• fnlp/moss-moon-003-sft T4 和 V100 都跑不动了，可能需要 A100

Demo

根据提供的若干商品属性，生成一段广告词。 示例代码

微调前输出

微调后效果。样本数量 1500 个，训练了 30 多分钟，虽然用词较单调，但是比微调前还是强多了

参考

• https://github.com/mymusise/ChatGLM-Tuning
• https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md

数据集

• ADGEN
• school math
• stanford alpaca