TypeError: AsyncEngineArgs.__init__() got an unexpected keyword argument 'worker_use_ray'

[jingkanghou]

尝试运行basic_demo下的openai_api_server.py时报错，具体如下：

1. 安装依赖：

/GLM-4/basic_demo# pip install -r requirements.txt

2. 下载glm-4-9b-chat-hf

from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/glm-4-9b-chat-hf')

3. 修改python openai_api_server.py中的MODEL_PATH为本地模型路径

import os
import subprocess

# text-model THUDM/glm-4-9b-chat
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/autodl-tmp/data/ZhipuAI/glm-4-9b-chat-hf')

# vision-model THUDM/glm-4v-9b
# MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/glm-4v-9b')

4. 执行

/GLM-4/basic_demo# python openai_api_server.py

错误信息如下：

INFO 02-13 10:10:48 __init__.py:190] Automatically detected platform cuda.
Traceback (most recent call last):
  File "/root/autodl-tmp/data/GLM-4/basic_demo/glm_server.py", line 661, in <module>
    engine_args = AsyncEngineArgs(
                  ^^^^^^^^^^^^^^^^
TypeError: AsyncEngineArgs.__init__() got an unexpected keyword argument 'worker_use_ray'

感谢支持！！

[xiaom1]

遇到了相同的问题，请大神解答下。

[xiaom1]

解决了，请参考截图。哈。

[zRzRzRzRzRzRzR]

估计是引擎更新了，这个参数没有了