Deepspeek-v3-awq自定义注册时Chat Template报错，注册后只能选择Transformers

[rexjm]

大家好，有两个问题请教下：

1，我用自定义注册Deepspeek-v3-awq后，无法选择vllm引擎，请问如何解决？

2，看到前面老师说v3和v2.5架构一致，但是用v2.5拉起时会报 Model not found, name: deepseek-v2.5, format: pytorch, size: 236, quantization: moe_wna16的错误，请问如果如何解决呢？

谢谢！

[qinxuye]

Deepseek v3 will come soon, better to wait for the builtin models support.

[rexjm]

Thanks for your reply!

如果我想临时部署v3，我根据issue方法注册后，如果加入--quantization moe_wna16会报错Model DeepSeek-V3-awq cannot be run on engine vLLM, with format awq, size 671 and quantization moe_wna16.
不加这个参数model可以found但是会OOM，

请问如果临时部署下呢

[qinxuye]

你指定 gpu 个数了吗？AWQ 量化应该也需要 8张 80G 显卡。

[rexjm]

恩恩，指定了，我感觉是quantization moe_wna16这个目前没支持，所以启动的quantization为None导致OOM了