Skip to content

Latest commit

 

History

History
 
 

serving

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
fastdeploy_serving
fastdeploy_serving
 
 
simple_serving
simple_serving
 
 
README.md
README.md
 
 

README.md

English | 简体中文

PaddleSeg 使用 FastDeploy 服务化部署 Segmentation 模型

1. FastDeploy 服务化部署介绍

在线推理作为企业或个人线上部署模型的最后一环，是工业界必不可少的环节，其中最重要的就是服务化推理框架。FastDeploy 目前提供两种服务化部署方式：simple_serving和fastdeploy_serving

  • simple_serving：适用于只需要通过http等调用AI推理任务，没有高并发需求的场景。simple_serving基于Flask框架具有简单高效的特点，可以快速验证线上部署模型的可行性
  • fastdeploy_serving：适用于高并发、高吞吐量请求的场景。基于Triton Inference Server框架，是一套可用于实际生产的完备且性能卓越的服务化部署框架

2. 使用预导出的模型列表

模型 参数文件大小 输入Shape mIoU mIoU (flip) mIoU (ms+flip)
Unet-cityscapes-with-argmax | Unet-cityscapes-without-argmax 52MB 1024x512 65.00% 66.02% 66.89%
PP-LiteSeg-B(STDC2)-cityscapes-with-argmax | PP-LiteSeg-B(STDC2)-cityscapes-without-argmax 31MB 1024x512 79.04% 79.52% 79.85%
PP-HumanSegV1-Lite-with-argmax(通用人像分割模型) | PP-HumanSegV1-Lite-without-argmax(通用人像分割模型) 543KB 192x192 86.2% - -
PP-HumanSegV2-Lite-with-argmax(通用人像分割模型) | PP-HumanSegV2-Lite-without-argmax(通用人像分割模型) 12MB 192x192 92.52% - -
PP-HumanSegV2-Mobile-with-argmax(通用人像分割模型) | PP-HumanSegV2-Mobile-without-argmax(通用人像分割模型) 29MB 192x192 93.13% - -
PP-HumanSegV1-Server-with-argmax(通用人像分割模型) | PP-HumanSegV1-Server-without-argmax(通用人像分割模型) 103MB 512x512 96.47% - -
Portait-PP-HumanSegV2-Lite-with-argmax(肖像分割模型) | Portait-PP-HumanSegV2-Lite-without-argmax(肖像分割模型) 3.6M 256x144 96.63% - -
FCN-HRNet-W18-cityscapes-with-argmax | FCN-HRNet-W18-cityscapes-without-argmax(暂时不支持ONNXRuntime的GPU推理) 37MB 1024x512 78.97% 79.49% 79.74%
Deeplabv3-ResNet101-OS8-cityscapes-with-argmax | Deeplabv3-ResNet101-OS8-cityscapes-without-argmax 150MB 1024x512 79.90% 80.22% 80.47%
SegFormer_B0-cityscapes-with-argmax | SegFormer_B0-cityscapes-without-argmax 15MB 1024x1024 76.73% 77.16% -

补充说明：

  • 文件名标记了without-argmax的模型，导出方式为：不指定--input_shape，指定--output_op none
  • 文件名标记了with-argmax的模型导出方式为：不指定--input_shape，指定--output_op argmax

3. 自行导出PaddleSeg部署模型

3.1 模型版本

支持PaddleSeg高于2.6版本的Segmentation模型，如果部署的为PP-Matting、PP-HumanMatting以及ModNet请参考Matting模型部署。目前FastDeploy测试过成功部署的模型:

3.2 模型导出

PaddleSeg模型导出，请参考其文档说明模型导出，注意：PaddleSeg导出的模型包含model.pdmodel、model.pdiparams和deploy.yaml三个文件，FastDeploy会从yaml文件中获取模型在推理时需要的预处理信息

3.3 导出须知

请参考模型导出中output_op参数的说明，获取您部署所需的模型，比如是否带argmax或softmax算子

4. 详细的部署示例