本文介绍Paddle2.0动转静功能，能兼顾动态图调试方便与静态图部署高效的优势。通过实例展示动态图转静态图、导出推理模型及部署过程，并测试不同部署方式的效率。在CPU平台用U2Netp模型测试，动态图耗时2.1827s，而动转静结合PaddleInference与mkldnn仅需0.5750s，还含完整操作步骤。

引入

• 动态图方便调试，静态图方便部署，各有各的优点，该选啥呢？
• 你是不是还在纠结上面的问题，小孩子才做选择，大人表示我全都要
• 通过Paddle2.0的动转静功能，就能比较完美的兼顾这两者的优势
• 实现用动态图进行训练调试，训练完成后使用静态图模型进行部署
• 这么好的功能，还不赶紧学起来！

项目说明

• 本项目将通过一个实例来展示如何将一个动态图模型转换至静态图
• 并且通过导出的推理模型来完成模型的部署
• 并测试不同方式下的模型运行效率

动态图vs静态图

• 首先介绍一下这两者的区别：
  • 静态图：计算之前先构建计算图，然后按照计算图进行计算，运行效率高，但调试比较麻烦
  • 动态图：计算的同时构建计算图，运行效率稍低，但是调试方便

运行速度对比

• 通过实测，在AIStudio的CPU平台上，不同方式部署的速度如下表
• 使用的模型为U2Netp
• 测试使用的输入均为Batch size为1的320*320分辨率的三通道数据
• 均测量第二次运行时的消耗时间
• 通过内置计时测量，结果可能存在些许误差

• 通过VisualDL工具可以轻松的进行模型结构的可视化查看

• 在AIStudio平台上使用就更加方便了，点击右侧可视化

• 选择刚才保存后缀为.pdmodel的模型文件

• 然后启动服务即可查看模型的计算图结构了

• 具体的可视化图像就像下图所示的那样：

  

  ? ? ? ? ? ? ? ?

静态图模型加载

• 加载这样的保存的模型也是非常简单的
• 只需要使用Paddle.jit.load()即可进行模型加载
• 代码如下：

model = paddle.jit.load('inference_models/u2netp')model.eval()# 模型预测# 作为演示这里使用随机数作为输入d0, _, _, _, _, _, _ = model(x)# 打印输出的形状print(d0.shape)登录后复制 ? ? ? ?

[1, 1, 320, 320]登录后复制登录后复制登录后复制 ? ? ? ?In [8]

# 计算预测时间start = time.time()out = model(x)end = time.time()print('predict time: %.04f s' % (end - start))登录后复制登录后复制登录后复制登录后复制登录后复制 ? ? ? ?

predict time: 1.9530 s登录后复制 ? ? ? ?

PaddleInference预测部署

• 导出的推理模型也可以使用PaddleInference高性能推理引擎来进行预测部署
• 在CPU平台下还可以手动开启MKLDNN进行加速，效率将进一步提高
• 下面就通过PaddleInference来进行模型推理
• 更多详情请参考我的另一个项目：PaddleQuickInference

# 安装PaddleQuickInference!pip install ppqi -i https://pypi.python.org/simple登录后复制 ? ?In [9]

# 不启用MKLDNN加速import numpy as npfrom ppqi import InferenceModelmodel = InferenceModel( modelpath='inference_models/u2netp', use_gpu=False, use_mkldnn=False)model.eval()x = np.random.randn(1, 3, 320, 320).astype('float32')d0, _, _, _, _ ,_, _ = model(x)# 打印输出的形状print(d0.shape)登录后复制 ? ? ? ?

(1, 1, 320, 320)登录后复制登录后复制 ? ? ? ?In [10]

# 计算预测时间start = time.time()out = model(x)end = time.time()print('predict time: %.04f s' % (end - start))登录后复制登录后复制登录后复制登录后复制登录后复制 ? ? ? ?

predict time: 1.8739 s登录后复制 ? ? ? ?In [11]

# 启用MKLDNN加速model = InferenceModel( modelpath='inference_models/u2netp', use_gpu=False, use_mkldnn=True)model.eval()d0, _, _, _, _ ,_, _ = model(x)# 打印输出的形状print(d0.shape)登录后复制 ? ? ? ?

(1, 1, 320, 320)登录后复制登录后复制 ? ? ? ?In [12]

# 计算预测时间start = time.time()out = model(x)end = time.time()print('predict time: %.04f s' % (end - start))登录后复制登录后复制登录后复制登录后复制登录后复制 ? ? ? ?

predict time: 0.5673 s登录后复制 ? ? ? ?

部署实例

• 接下来通过加入数据预处理和后处理来完成完整的模型推理部署

%matplotlib inlineimport cv2import timeimport numpy as npimport matplotlib.pyplot as pltfrom ppqi import InferenceModelfrom processor import preprocess, postprocess# 输入输出设置img_path = 'test.bmp'output_dir = 'output'# 数据预处理img = preprocess(img_path)# 加载模型model = InferenceModel( modelpath='inference_models/u2netp', use_gpu=False, use_mkldnn=True)model.eval()# 模型推理start = time.time()d0, _, _, _, _ ,_, _ = model(img)end = time.time()print('predict time: %.04f s' % (end - start))# 结果后处理mask_path, result_path = postprocess(d0, img_path, output_dir)# 图像显示img = np.concatenate([ cv2.imread(img_path), cv2.imread(mask_path), cv2.imread(result_path)], 1)plt.axis('off')plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))plt.show()登录后复制 ? ? ? ?

predict time: 0.7955 s登录后复制 ? ? ? ?

<Figure size 432x288 with 1 Axes>登录后复制 ? ? ? ? ? ? ? ?