导出int8的完整流程

[XiaoJiNu]

你好，文档中没有看到转换为int8并实现推理的完整流程，能否支持该功能

[Melody-Zhou]

你好，文档中没有看到转换为int8并实现推理的完整流程，能否支持该功能

支持，该 repo 沿用的是 tensorRT_Pro 中的 INT8 量化方案，采用的是 TRT C++ API 实现 PTQ 量化，因此你只需要在量化时指定 calibration dataset 路径即可，使用示例如下：

TRT::compile(
    mode,                       // FP32、FP16、INT8
    test_batch_size,            // max batch size
    onnx_file,                  // source 
    model_file,                 // save to
    {},
    int8process,
    "inference",
    "calibration_dataset",	// 指定校准数据集路径
    "calib.entropy.cache",	// 指定保存的校准文件名
    "Calibrator::Entropy",	// 指定校准器，目前仅支持 Entropy 和 MinMax
);

[XiaoJiNu]

谢谢，现在提示这个错误，我用的tensorrt版本是tensorrt-8.6.1，是onnx-tensorrt版本不对是吗
[2024-06-10 12:27:08][info][app_yolo.cpp:133]:===================== test YoloV10 INT8 yolov10n ==================================
[2024-06-10 12:27:08][warn][trt_builder.cpp:550]:Too few images provided, 6[provided] < 16[max batch size], image copy will be performed
[2024-06-10 12:27:08][info][trt_builder.cpp:564]:Compile INT8 Onnx Model 'yolov10n.onnx'.
[2024-06-10 12:27:13][error][trt_builder.cpp:30]:NVInfer: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/ModelImporter.cpp:736: While parsing node number 310 [GatherElements -> "/model.23/GatherElements_output_0"]:
[2024-06-10 12:27:13][error][trt_builder.cpp:30]:NVInfer: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/ModelImporter.cpp:737: --- Begin node ---
[2024-06-10 12:27:13][error][trt_builder.cpp:30]:NVInfer: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/ModelImporter.cpp:738: input: "/model.23/Split_3_output_0"
input: "/model.23/Tile_output_0"
output: "/model.23/GatherElements_output_0"
name: "/model.23/GatherElements"
op_type: "GatherElements"
attribute {
name: "axis"
i: 1
type: INT
}

[2024-06-10 12:27:13][error][trt_builder.cpp:30]:NVInfer: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/ModelImporter.cpp:739: --- End node ---
[2024-06-10 12:27:13][error][trt_builder.cpp:30]:NVInfer: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/ModelImporter.cpp:741: ERROR: /home/yr/yr/code/cv/object_detection/tensorRT_Pro-YOLOv8/src/tensorRT/onnx_parser/builtin_op_importers.cpp:1455 In function importGatherElements:
[8] Assertion failed: !isDynamic(daDims) && !isDynamic(idxDims) && "This version of TenosrRT does not support GatherElements on dynamic shapes!"
[2024-06-10 12:27:13][error][trt_builder.cpp:609]:Can not parse OnnX file: yolov10n.onnx
[2024-06-10 12:27:13][error][yolo.cpp:202]:Engine yolov10n.INT8.trtmodel load failed
[2024-06-10 12:27:13][error][app_yolo.cpp:53]:Engine is nullptr

[Melody-Zhou]

算子解析问题，提示说这个版本的 TensorRT 不支持动态 shape 的 GatherElements 算子，默认使用的 onnxparser 版本是 8.0 的，你可能需要手动替换 onnx_parser 具体可以参考：RT-DETR推理详解及部署实现

[XiaoJiNu]

好的谢谢