Skip to content

Commit

Permalink
update doc
Browse files Browse the repository at this point in the history
  • Loading branch information
tastelikefeet committed Jul 9, 2024
1 parent 26759e5 commit 114231f
Showing 1 changed file with 3 additions and 4 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -285,7 +285,7 @@ swift web-ui
3. 在这里我们把LoRA的目标模块设置为**ALL**,代表模型中所有的Linear模块,如果设置为**DEFAULT**,则只对Attention部分应用LoRA,不对MLP应用LoRA,此时模型训练会有什么样的影响?使用**全参数微调**又会有什么样的影响?
4. 我们使用了**微调**来实现了古文翻译腔效果,那么微调和人类对齐的应用场景有哪些不同呢?实现古文翻译腔应当使用微调还是人类对齐?如果使用人类对齐,数据集应该做怎样的转换,又如何进行训练呢?

## 小作业
## 实践

利用魔搭社区的开源LLM和数据集训练一个模型,并利用训练出的模型搭建一个小应用。

Expand All @@ -295,15 +295,14 @@ swift web-ui
- 可以使用LLM模型和MLLM(多模态模型)
2. 使用魔搭社区的开源数据集,如有其他开源数据需要先**上传到社区变为开源数据集**
3. 训练后的模型提交到魔搭社区的模型库中,模型自述文件(README.md)需要写好,给出训练命令和数据集链接
4. 作业中需要给出模型链接、数据集链接和最终小应用的截图

### TIPS

为了能够训练出一个好玩的模型并搭建一个小应用,一般的步骤为:

1. 选择(或生成)好自己的数据集

> 一个数据集一般是问答式的,建议数据集格式使用下面的格式:
> 一个数据集一般是问答式的,建议数据集格式使用下面的格式,其中第一行中带有一个额外的system字段
```json
{"conversations": [{"from": "system", "value": "你是一个优秀的模型,可以帮助我解决各类问题。"}, {"from": "user", "value": "你是谁?"}, {"from": "assistant", "value": "我是通义千问模型"}, {"from": "user", "value": "你有什么能力?"}, {"from": "assistant", "value": "我可以帮助你解决各种知识类问题"}]}
Expand Down Expand Up @@ -363,7 +362,7 @@ swift web-ui
模型训练完成后需要上传模型库,可以参考文档[模型上传](https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8A%E4%BC%A0)[模型卡片](https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E5%8D%A1%E7%89%87)

4. 搭建一个小应用,并将应用截图、模型和数据集链接一起提交
4. 搭建一个小应用

> 如果是基本的聊天机器人,可以直接使用swift web-ui命令中的部署界面实现,该界面支持多模态LLM和文本LLM的部署和后续推理。
>
Expand Down

0 comments on commit 114231f

Please sign in to comment.