请问，评估支持使用昇腾910NPU嘛？

[yiyayieryo]

请问，评估支持使用昇腾910 NPU嘛？

[wangxingjun778]

暂时不可以，评估的流程依赖推理服务。目前看来主流的推理部署框架比如vLLM、LMDeploy等，支持910的feature暂时还没有见到release出来，可能有在适配中。

[yiyayieryo]

感谢指导啊！
另外请问下，咱们评估框架本地评估的话，使用的是什么推理框架呢？
比如本地评估加载千问模型文件，是怎么加载模型文件起推理服务呢？

[Yunnglin]

使用的是transformer+torch框架进行推理的
本地加载模型的话传入模型路径即可，参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/offline_evaluation.html

[XYZliang]

你使用别的推理框架，例如mindie，或者vllm-npu去启动openai推理接口，再进行测试不就行了

[Yunnglin]

感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！