工具组件 | 模型转换工具X2Paddle操作大全
深度学习的应用主要包括两个部分，一是通过深度学习框架训练出模型，二是利用训练出来的模型进行预测。
开发者基于不同的深度学习框架能够得到不同的训练模型，如果想要基于一种框架进行预测，就必须要解决不同框架的模型之间的匹配问题。基于这种考虑，也为了帮助用户快速从其他框架迁移，PaddlePaddle开源了模型转换工具X2Paddle。
它可以将TensorFlow、Caffe 的模型转换为PaddlePaddle的核心框架Paddle Fluid可加载的格式。同时X2Paddle还支持ONNX格式的模型转换，这样也相当于支持了众多可以转换为ONNX格式的框架，比如PyTorch、MXNet、CNTK等。
项目地址：
https://github.com/PaddlePaddle/X2Paddle
项目概览X2Paddle最新发布的V0.3版本，包括tensorflow2fluid，caffe2fluid和onnx2fluid。对于TesorFlow和Caffe，我们还提供了它们与Paddle Fluid的常用API对比文档。通过这些文档可以清楚查看这几个框架在API设计上的异同，方便用户快速熟悉PaddlePaddle的接口使用。
caff2fluid
1、支持VGG, ResNet, AlexNet等图像分类模型的转换
2、提供Caffe-PaddlePaddle常用API的对比文档，地址：https://github.com/PaddlePaddle/X2Paddle/tree/master/caffe2fluid/doc
tensorflow2fluid
1、支持VGG, ResNet, NASNet, YOLO-V3, UNet等图像分类，检测和分割模型的转换
2、提供TensorFlow-PaddlePaddle常用API的对比文档,地址：
https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid/doc
onnx2fluid
1、支持VGG，ResNet，Inception, YOLO-V2, UNet等图像分类，检测和分割模型的转换
2、部分框架，如PyTorch支持导出为ONNX模型，因此也可通过onnx2fluid支持相应框架下模型转换至PaddlePaddle
接下来我们将以tensorflow2fluid转换VGG_16模型为例,介绍其使用方法。
VGG_16是CV领域的一个经典模型，本文档以tensorflow/models下的VGG_16为例，展示如何将TensorFlow训练好的模型转换为PaddlePaddle模型。
模型转换实战1.环境准备
模型转换和测试的环境依赖TensorFlow和PaddlePaddle，通过如下方式安装相应依赖（CPU或GPU版本）
CPU版本
pip install tensorflow==1.13.1pip install paddlepaddle==1.4.0
pip install paddlepaddle==1.4.0
GPU版本
pip install tensorflow-gpu==1.13.1pip install paddlepaddle-gpu==1.4.1.post97
pip install paddlepaddle-gpu==1.4.1.post97
git clone https://github.com/PaddlePaddle/X2Paddle.gitcd X2Paddle/tensorflow2fluid
2.下载预训练模型
wget http://download.tensorflow.org/models/vgg_16_2016_08_28.tar.gztar xzvf vgg_16_2016_08_28.tar.gz
3.保存模型为checkpoint格式
下载的模型vgg_16.ckpt仅保存了模型参数，需加载模型，并通过tf.train.Saver重新将模型保存成tensorflow2fluid支持的格式
import tensorflow.contrib.slim as slimfrom tensorflow.contrib.slim.nets import vggimport tensorflow as tfimport numpywith tf.Session() as sess: inputs = tf.placeholder(dtype=tf.float32, shape=[None, 224, 224, 3], name='inputs') with slim.arg_scope(vgg.vgg_arg_scope()): logits, endpoint = vgg.vgg_16(inputs, num_classes=1000, is_training=False) # 加载模型 load_model = slim.assign_from_checkpoint_fn( "vgg_16.ckpt", slim.get_model_variables("vgg_16")) load_model(sess) # 测试样例数据 numpy.random.seed(13) data = numpy.random.rand(5, 224, 224, 3) output_tensor = sess.graph.get_tensor_by_name( "vgg_16/fc8/squeezed:0") result = sess.run([output_tensor], {inputs:data}) numpy.save("tf_result.npy", numpy.array(result)) # 保存为tensorflow2fluid支持的模型格式 saver = tf.train.Saver() saver.save(sess, "./checkpoint/model")as slim
from tensorflow.contrib.slim.nets import vgg
import tensorflow as tf
import numpy
with tf.Session() as sess:
inputs = tf.placeholder(dtype=tf.float32,
shape=[None, 224, 224, 3],
name='inputs')
with slim.arg_scope(vgg.vgg_arg_scope()):
logits, endpoint = vgg.vgg_16(inputs,
num_classes=1000,
is_training=False)
# 加载模型
load_model = slim.assign_from_checkpoint_fn(
"vgg_16.ckpt",
slim.get_model_variables("vgg_16"))
load_model(sess)
# 测试样例数据
numpy.random.seed(13)
data = numpy.random.rand(5, 224, 224, 3)
output_tensor = sess.graph.get_tensor_by_name(
"vgg_16/fc8/squeezed:0")
result = sess.run([output_tensor], {inputs:data})
numpy.save("tf_result.npy", numpy.array(result))
# 保存为tensorflow2fluid支持的模型格式
saver = tf.train.Saver()
saver.save(sess, "./checkpoint/model")4.将模型转换为PaddlePaddle模型
模型转换时，需要指定输入tensor的name和shape， batch维以None表示， 同时还要指定输出tensor的name。转换过程中，会根据输入和输出的tensor对计算图进行裁剪，仅转换输入与输出之间的子图。
python tf2fluid/convert.py --meta_file checkpoint/model.meta \--ckpt_dir checkpoint \ --in_nodes inputs \--input_shape None,224,224,3 \ --output_nodes vgg_16/fc8/squeezed \--use_cuda False \ --input_format NHWC \--save_dir paddle_model
--in_nodes inputs \
--input_shape None,224,224,3 \
--output_nodes vgg_16/fc8/squeezed \
--use_cuda False \
--input_format NHWC \
--save_dir paddle_model
注意：由于在转换过程中，涉及到部分TensorFlow模型中的参数实时infer，因此通过use_cuda参数可设置infer时是否使用GPU
转换后的模型目录中的各文件含义如下表所示，
| 文件 | 作用 |
| mymodel.py | 基于PaddlePaddle实现的模型网络结构python代码 |
| ref_name.info | my_model.py中各tensor与原TensorFlow模型中的tensor对应关系 |
| const_*/params_* | 转换后的模型参数文件 |
| save_var.list | 模型载入过程中的变量list |
5.加载转换后的PaddlePaddle模型，并进行预测
tensorflow2fluid在tf2fluid/model_loader.py中封装了模型加载方法，可通过如下示例代码加载模型，并进行预测。
import tf2fluid.model_loader as mlimport numpymodel = ml.ModelLoader("paddle_model", use_cuda=False)numpy.random.seed(13)data = numpy.random.rand(5, 224, 224, 3).astype("float32")# NHWC -> NCHWdata = numpy.transpose(data, (0, 3, 1, 2))results = model.inference(feed_dict={model.inputs[0]:data})numpy.save("pd_result.npy", numpy.array(results))as ml
import numpy
model = ml.ModelLoader("paddle_model", use_cuda=False)
numpy.random.seed(13)
data = numpy.random.rand(5, 224, 224, 3).astype("float32")
# NHWC -> NCHW
data = numpy.transpose(data, (0, 3, 1, 2))
results = model.inference(feed_dict={model.inputs[0]:data})
numpy.save("pd_result.npy", numpy.array(results))
可通过调用save_inference_model，将模型结构和模型参数均序列化保存，如下代码所示
model.save_inference_model("new_model_dir")
序列化后的模型加载方式可参考PaddlePaddle官网文档说明：
http://www.paddlepaddle.org/documentation/docs/zh/1.4/api_guides/low_level/inference.html#id4
6.对比转换前后模型之前的预测结果差异
在上文的代码中，我们均通过固定随机数据方式，在TensorFlow和PaddlePaddle模型中输入了相同的样例数据，并将结果保存至tf_result.npy和pd_result.npy中，通过对比两个结果的差异，判断模型的转换是否符合需求。
如下代码对比的仅为输入一个样例数据后的差异对比，实际应用场景中，建议用户根据需求定义自己的测试数据进行更严谨的对比测试。
import numpypaddle_result = numpy.load("pd_result.npy")tensorflow_result = numpy.load("tf_result.npy")diff = numpy.fabs(paddle_result - tensorflow_result)print(numpy.max(diff))输出： 1.1920929e-06
paddle_result = numpy.load("pd_result.npy")
tensorflow_result = numpy.load("tf_result.npy")
diff = numpy.fabs(paddle_result - tensorflow_result)
print(numpy.max(diff))
输出： 1.1920929e-06X2Paddle以用户的需求为导向，对于用户而言不仅可以方便模型的迁移，同时提供的相应API对比文档也可帮助用户通过现有框架的使用经验快速上手PaddlePaddle的使用。目前X2Paddle已经支持了众多的CV领域的经典模型，有需求的小伙伴们赶紧试用起来吧！
