感谢LLM-Tuning开源的代码可支持清华大学ChatGLM-6B和ChatGLM2-6B以及百川智能Baichuan-7B的LoRA微调，本项目在此基础上新增模板化生成prompt，以及从历史保存的checkpoint_dir中恢复模型以便继续训练以应对训练中断的场景。
上述两项分别体现在tokenize_dataset_rows.py和baichuan_resume_sft.py脚本里。
部分代码参考LLaMA-Efficient-Tuning，对这些优秀开源项目表示感谢！
-
Notifications
You must be signed in to change notification settings - Fork 0
FrankMinions/LLM-Tuning
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published