使用TensorRT推理STARK-Lightning onnx模型

[Stoooner]

1. 测试平台

1. ubuntu18.04(x86_64)

• 显卡: RTX 2060;
• cuda_version: 10.2.89;
• cudnn_version: 8.2.2.26;
• opencv_version: 4.5.3;
• gcc_version: 7.5.0;
• onnxruntime_version: onnxruntime-linux-x64-gpu-1.6.0;
  -TensorRT_version: 8.0.1.6

2. 实际效果

通过对STARK-Lightning的onnx文件进行修改并重新导出之后，通过编写TensorRT代码成功编译并进行了执行，通过与ONNXRunTime(C++)的推理效果进行了简单的比较，效果如下:

• TensorRT效果(FPS大体在260左右):
  
• ONNXRunTime(C++)效果(FPS大体在220左右):
  

3. Jetson TX2(大疆Dji 妙算2)

刚刚在TX2上测试了一下，能够稳定在60 FPS左右，具体细节后续补充：

[jcyhcs]

@Stoooner
hi,professor:
i also try to convert onnx model to TensorRT,use trtexec, but i got an error like this:
ERROR: builtin_op_importers.cpp:980 In function importGather:
[8] Assertion failed: data.getType() != nvinfer1::DataType::kBOOL
oh,can you tell me how to modify this problem?
please help!

[Stoooner]

@Stoooner
hi,professor:
i also try to convert onnx model to TensorRT,use trtexec, but i got an error like this:
ERROR: builtin_op_importers.cpp:980 In function importGather:
[8] Assertion failed: data.getType() != nvinfer1::DataType::kBOOL
oh,can you tell me how to modify this problem?
please help!

hi，既然你看得懂中文，那我就中文发了哈。我的邮箱是[email protected]，你可以通过邮箱发一下你的微信，我加你，我们微信聊，不然用github的方式效率太低了

[YukikkoNano]

请问这个是不通过deepstream的吗？我想在jetson上运行自己魔改的yolo一直没成功过……

[Stoooner]

请问这个是不通过deepstream的吗？我想在jetson上运行自己魔改的yolo一直没成功过……

不通过deepstream，yolo的我也运行起来了，邮箱[email protected]，发邮件加微信详聊呗。。。

[zzxaijs]

导出的onnx,修改了什么地方，可否分享一下？