原文：
www.kdnuggets.com/using-groq-llama-3-70b-locally-step-by-step-guide
作者提供的图片
每个人都专注于构建更好的 LLM（大型语言模型），而 Groq 专注于 AI 的基础设施方面，使这些大型模型运行得更快。
1. Google 网络安全证书 - 快速进入网络安全职业生涯。
2. Google 数据分析专业证书 - 提升您的数据分析技能
3. Google IT 支持专业证书 - 支持您的组织 IT
在本教程中，我们将学习 Groq LPU 推理引擎以及如何在本地笔记本电脑上使用 API 和 Jan AI。我们还将将其集成到 VSCode 中，以帮助我们生成代码、重构代码、编写文档和生成测试单元。我们将免费创建自己的 AI 编程助手。
Groq LPU（语言处理单元）推理引擎旨在为计算密集型应用程序提供快速响应，尤其是具有序列组件的应用程序，如 LLMs。
与 CPU 和 GPU 相比，LPU 具有更大的计算能力，这减少了预测一个词所需的时间，使得文本序列生成更快。此外，LPU 还解决了内存瓶颈，相较于 GPU 提供了更好的性能。
简而言之，Groq LPU 技术使您的 LLMs 非常快速，实现实时 AI 应用。阅读 Groq ISCA 2022 论文 以了解更多关于 LPU 架构的信息。
Jan AI 是一个本地运行开源和专有大型语言模型的桌面应用程序。它可以在 Linux、macOS 和 Windows 上下载和安装。我们将通过访问 Releases · janhq/jan (github.com) 并点击 .exe 扩展名的文件来下载和安装 Jan AI。
如果您希望本地使用 LLMs 以增强隐私，请阅读 在笔记本电脑上使用 LLMs 的 5 种方法 博客，并开始使用顶级开源语言模型。
要在 Jan AI 中使用 Groq Llama 3，我们需要一个 API。为此，我们将通过访问 console.groq.com/ 创建一个 Groq Cloud 帐户。
如果你想测试 Groq 提供的各种模型，可以通过进入“Playground”选项卡、选择模型并添加用户输入，无需任何设置。
在我们的案例中，它非常快。生成速度为每秒 310 个标记，这是我一生中见过的最快的。即使是 Azure AI 或 OpenAI 也无法产生这样的结果。
要生成 API 密钥，请点击左侧面板上的“API 密钥”按钮，然后点击“创建 API 密钥”按钮以生成并复制 API 密钥。
在下一步中，我们将把 Groq Cloud API 密钥粘贴到 Jan AI 应用中。
启动 Jan AI 应用，进入设置，在扩展部分选择“Groq 推理引擎”选项，并添加 API 密钥。
然后，返回到对话窗口。在模型部分，选择“Remote”部分中的 Groq Llama 3 70B 并开始提示。
响应生成速度非常快，以至于我都来不及跟上。
注意：API 的免费版本有一些限制。访问
console.groq.com/settings/limits以了解更多信息。
接下来，我们将尝试将相同的 API 密钥粘贴到 CodeGPT VSCode 扩展中，并建立我们自己的免费 AI 编码助手。
在扩展选项卡中搜索并安装 CodeGPT 扩展。
CodeGPT 选项卡将出现供你选择模型提供商。
当你选择 Groq 作为模型提供商时，它会要求你提供 API 密钥。只需粘贴相同的 API 密钥即可开始使用。你甚至可以为 CodeGPT 生成另一个 API 密钥。
我们现在将要求它为蛇形游戏编写代码。生成和运行代码花费了 10 秒钟。
这是我们蛇形游戏的演示。
了解一下五大 AI 编程助手，成为一名 AI 驱动的开发者和数据科学家。记住，AI 的目的是帮助我们，而不是取代我们，因此要开放心态，利用它来提升你的代码编写能力。
在本教程中，我们学习了 Groq 推理引擎以及如何通过 Jan AI Windows 应用程序在本地访问它。更棒的是，我们通过使用 CodeGPT VSCode 扩展将其集成到我们的工作流程中，这真是太棒了。它实时生成响应，为更好的开发体验提供了帮助。
现在，大多数公司将开发自己的推理引擎以匹配 Groq 的速度。否则，Groq 在几个月内将夺得第一。
Abid Ali Awan（@1abidaliawan）是一位认证的数据科学专业人士，热衷于构建机器学习模型。目前，他专注于内容创作并撰写有关机器学习和数据科学技术的技术博客。Abid 拥有技术管理硕士学位和电信工程学士学位。他的愿景是利用图神经网络开发一款 AI 产品，帮助那些在心理健康方面挣扎的学生。