xinference[vllm]无法单机多卡启动一个模型

[Weishaoya]

System Info / 系統信息

ubuntu 22.04
python 3.11.10

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xinference[vllm] 0.16.2

The command used to start Xinference / 用以启动 xinference 的命令

GRADIO_DEFAULT_CONCURRENCY_LIMIT=10 xinference-local --host 0.0.0.0 --port 10860

Reproduction / 复现过程

我直接用vllm框架在两张v100 16g上启动一个7b的模型，是没有问题的，而且可以正常对话。
当我用xinference[vllm]在两张v100 16g上启动一个7b的模型，它报错了，以下是我的参数设置和报错信息：

Expected behavior / 期待表现

我现在在用ragflow框架，推理服务接的xinference, 这对我很重要，希望官方能重视这个bug.

[qinxuye]

不需要设置tensor_parallel_size，去掉试试。

[Weishaoya]

不需要设置tensor_parallel_size，去掉试试。



我去掉了tensor_parallel_size参数设置，它报另外一个错误，以上是报错信息。希望你们能修复这个bug，感谢！

[github-actions]

This issue is stale because it has been open for 7 days with no activity.

[redreamality]

same issue

[Weishaoya]

same issue
I have updated the version of xinference to 1.0.0, and it worked.