Skip to content

Latest commit

 

History

History
14 lines (8 loc) · 960 Bytes

task.md

File metadata and controls

14 lines (8 loc) · 960 Bytes

LMDeploy 量化部署实践闯关任务

基础任务(完成此任务即完成闯关)

  • 使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。
  • 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用,作业截图需包括大模型回复的工具调用情况,参考4.2 Function call(选做)

闯关材料提交(完成任务并且提交材料视为闯关成功)