Skip to content

Latest commit

 

History

History
12 lines (8 loc) · 912 Bytes

task.md

File metadata and controls

12 lines (8 loc) · 912 Bytes

LMDeploy 量化部署实践闯关任务

基础任务(完成此任务即完成闯关)

  • 使用结合W4A16量化与kv cache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发(优秀学员必做)
  • 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用,作业截图需包括大模型回复的工具调用情况,参考4.2 Function call(选做)

闯关材料提交(完成任务并且提交材料视为闯关成功)