keras转tf并加速（1）Keras转TensorFlow，并调用转换后模型进行预测

由于方便快捷，所以先使用Keras来搭建网络并进行训练，得到比较好的模型后，这时候就该考虑做成服务使用的问题了，TensorFlow的serving就很合适，所以需要把Keras保存的模型转为TensorFlow格式来使用。

Keras模型转TensorFlow

其实由于TensorFlow本身以及把Keras作为其高层简化API，且也是建议由浅入深地来研究应用，TensorFlow本身就对Keras的模型格式转化有支持，所以核心的代码很少。这里给出一份代码：https://github.com/amir-abdi/keras_to_tensorflow，作者提供了一份很好的工具，能够满足绝大多数人的需求了。原理很简单：原理很简单，首先用 Keras 读取 .h5 模型文件，然后用 tensorflow 的 convert_variables_to_constants 函数将所有变量转换成常量，最后再 write_graph 就是一个包含了网络以及参数值的 .pb 文件了。

如果你的Keras模型是一个包含了网络结构和权重的h5文件，那么使用下面的命令就可以了：

python keras_to_tensorflow.py 
    --input_model="path/to/keras/model.h5" 
    --output_model="path/to/save/model.pb"

两个参数，一个输入路径，一个输出路径。输出路径即使你没创建好，代码也会帮你创建。建议使用绝对地址。此外作者还做了很多选项，比如如果你的keras模型文件分为网络结构和权重两个文件也可以支持，或者你想给转化后的网络节点编号，或者想在TensorFlow下继续训练等等，这份代码都是支持的，只是使用上需要输入不同的参数来设置。

如果转换成功则输出如下：

begin====================================================
I1229 14:29:44.819010 140709034264384 keras_to_tf.py:119] Input nodes names are: [u'input_1']
I1229 14:29:44.819385 140709034264384 keras_to_tf.py:137] Converted output node names are: [u'dense_2/Sigmoid']
INFO:tensorflow:Froze 322 variables.
I1229 14:29:47.091161 140709034264384 tf_logging.py:82] Froze 322 variables.
Converted 322 variables to const ops.
I1229 14:29:48.504235 140709034264384 keras_to_tf.py:170] Saved the freezed graph at /path/to/save/model.pb

这里首先把输入的层和输出的层名字给出来了，也就是“input_1”和“dense_2/Sigmoid”，这两个下面会用到。另外还告诉你冻结了多少个变量，以及你输出的模型路径，pb文件就是TensorFlow下的模型文件。

使用TensorFlow模型

转换后我们当然要使用一下看是否转换成功，其实也就是TensorFlow的常见代码，如果只用过Keras的，可以参考一下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import tensorflow as tf
import numpy as np
from tensorflow.python.platform import gfile
import cv2
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "6"

# img = cv2.imread(os.path.expanduser('/test_imgs/img_1.png'))
# img = cv2.resize(img, dsize=(1000, 1000), interpolation=cv2.INTER_LINEAR)
# img = img.astype(float)
# img /= 255
# img = np.array([img])

# 初始化TensorFlow的session
with tf.Session() as sess:
    # 读取得到的pb文件加载模型
    with gfile.FastGFile("/path/to/save/model.pb",'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        # 把图加到session中
        tf.import_graph_def(graph_def, name='')

    # 获取当前计算图
    graph = tf.get_default_graph()

    # 从图中获输出那一层
    pred = graph.get_tensor_by_name("dense_2/Sigmoid:0")
    
    # 运行并预测输入的img
    res = sess.run(pred, feed_dict={"input_1:0": img})

    # 执行得到结果
    pred_index = res[0][0]
    print('Predict:', pred_index)

在代码中可以看到，我们用到了上面得到的输入层和输出层的名称，但是在后面加了一个“:0”，也就是索引，因为名称只是指定了一个层，大部分层的输出都是一个tensor，但依然有输出多个tensor的层，所以需要制定是第几个输出，对于一个输出的情况，那就是索引0了。输入同理。

如果你输出res，会得到这样的结果：

('Predict:', array([[0.9998584]], dtype=float32))

这也就是为什么我们要取res[0][0]了，这个输出其实取决于具体的需求，因为这里我是对一张图做二分类预测，所以会得到这样一个结果

运行的结果如果和使用Keras模型时一样，那就说明转换成功了！

 

参考：

https://www.jianshu.com/p/ed3195a4eb87