tensor-rt-llm-infer.md

TensorRT-LLM大语言模型推理

• 返回上层目录

TensorRT-LLM：开启Jetson平台上大语言模型推理的新篇章

TensorRT-LLM for Jetson的部署需要满足以下环境要求：

• 硬件：支持Jetson AGX Orin设备，其他Orin设备的支持正在测试中。
• 软件：需要安装JetPack 6.1（包含CUDA、cuDNN和TensorRT），并推荐使用NVMe SSD以确保足够的存储空间。此外，还需要安装一些必要的依赖项，如Python3-pip、libopenblas-dev等。