寻求一个可以在一个GPU上部署多个小模型的方案

[RichardFans]

Feature request / 功能建议

提供一个显卡部署多个模型的功能或最佳实践文档

Motivation / 动机

能够支持众多类型的模型轻松完成部署让xinference在一众类似项目中显得非常突出，极大的方便了有一定算力基础的中小公司部署自主可控的推理服务。但像TTS或ASR类的服务显存需求往往不大，却只能单独占用一个显卡，不能充分利用显卡性能。希望官方能提供一个显卡部署多个模型的功能或最佳实践的范例文档。

Your contribution / 您的贡献

目前了解到的情况：

• NVIDIA的部分显卡支持MIG技术可以支持显卡共享，但仅限于H100等高端显卡
• VGPU技术可以将显卡虚拟化，但不清楚如何在xinference的TTS或ASR等特定服务中集成

[github-actions]

This issue is stale because it has been open for 7 days with no activity.

[Valdanitooooo]

多运行几个 xinference 实例