原文：
www.kdnuggets.com/2023/07/introducing-openllm-open-source-library-llms.html
图片来源于作者
此时，我们都在思考同一个问题。LLM 的世界真的在主导吗？一些人可能预计热度会平稳，但它仍在持续上升。更多资源投入到 LLM 中，因为它显示出巨大的需求。
LLM 的性能不仅成功，而且它们在适应各种 NLP 任务（如翻译和情感分析）方面的多功能性也非常强。微调预训练的 LLM 使得针对特定任务变得更加容易，减少了从头构建模型的计算成本。LLM 已迅速被应用于各种现实世界应用，推动了研究和开发的数量。
开源模型也是 LLM 的一个重要优势，因为开源模型的可用性使研究人员和组织能够持续改进现有模型，并探索它们如何安全地融入社会。
OpenLLM 是一个用于生产环境中操作 LLM 的开放平台。使用 OpenLLM，您可以对任何开源 LLM 进行推理、微调、部署，并轻松构建强大的 AI 应用程序。
OpenLLM 包含最先进的 LLM，如 StableLM、Dolly、ChatGLM、StarCoder 等，所有这些都由内置支持。您还可以自由构建自己的 AI 应用程序，因为 OpenLLM 不仅仅是一个独立产品，还支持 LangChain、BentoML 和 Hugging Face。
这些功能，还开源？听起来有点疯狂，对吧？
更棒的是，它易于安装和使用。
要使用 LLM，您需要系统中至少安装 Python 3.8 以及 pip。为了防止包冲突，建议使用虚拟环境。
- 一旦准备好这些，您可以通过使用以下命令轻松安装 OpenLLM：
pip install open-llm- 为确保正确安装，可以运行以下命令：
$ openllm -h
Usage: openllm [OPTIONS] COMMAND [ARGS]...
██████╗ ██████╗ ███████╗███╗ ██╗██╗ ██╗ ███╗ ███╗
██╔═══██╗██╔══██╗██╔════╝████╗ ██║██║ ██║ ████╗ ████║
██║ ██║██████╔╝█████╗ ██╔██╗ ██║██║ ██║ ██╔████╔██║
██║ ██║██╔═══╝ ██╔══╝ ██║╚██╗██║██║ ██║ ██║╚██╔╝██║
╚██████╔╝██║ ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
╚═════╝ ╚═╝ ╚══════╝╚═╝ ╚═══╝╚══════╝╚══════╝╚═╝ ╚═╝
An open platform for operating large language models in production.
Fine-tune, serve, deploy, and monitor any LLMs with ease.- 为了启动一个 LLM 服务器，请使用以下命令，并包括您选择的模型：
openllm start例如，如果您想启动一个 OPT 服务器，请执行以下操作：
openllm start optOpenLLM 支持 10 种模型。您还可以在下方找到安装命令：
pip install "openllm[chatglm]"该模型需要 GPU。
pip install openllm该模型可以在 CPU 和 GPU 上使用。
pip install "openllm[falcon]"该模型需要 GPU。
pip install "openllm[flan-t5]"该模型可以在 CPU 和 GPU 上使用。
pip install openllm这个模型需要一个 GPU。
pip install "openllm[mpt]"这个模型可以在 CPU 和 GPU 上使用。
pip install "openllm[opt]"这个模型可以在 CPU 和 GPU 上使用。
pip install openllm这个模型可以在 CPU 和 GPU 上使用。
pip install "openllm[starcoder]"这个模型需要一个 GPU。
pip install "openllm[baichuan]"这个模型需要一个 GPU。
要了解有关运行时实现、微调支持、集成新模型和生产部署的更多信息，请查看 这里，找到适合你需求的方案。
如果你想使用 OpenLLM 或需要帮助，你可以加入他们的 Discord 和 Slack 社区。你也可以通过他们的 开发者指南 为 OpenLLM 的代码库做贡献。
有没有人试过这个？如果试过，请在评论中告诉我们你的想法！
Nisha Arya 是一名数据科学家、自由技术写作者以及 KDnuggets 的社区经理。她特别感兴趣于提供数据科学职业建议或教程以及有关数据科学的理论知识。她还希望探索人工智能如何/能如何有利于人类寿命的不同方式。她是一位渴望学习者，寻求拓宽自己的技术知识和写作技能，同时帮助指导他人。