使用TensorFlow C++ API进行YOLOv3模型推理

目前，在深度学习领域，各类网络模型如雨后春笋，但唯有大名鼎鼎的YOLOv3模型久经工业上的考验，成为工程应用首选模型。然而受限于平台发展，如何在边缘端部署YOLOv3模型仍然是棘手的问题。这里推荐通用性较强的TensorFlow C++ API进行推理。C++推理效率大概在40fps。

1、编译TensorFlow C++版本

    由于TensorFlow官方对C++的支持不积极，故而需要手动编译C++版本的TensorFlow。这项工作本身也比较繁琐，计划近期单独写一篇关于此的文章。这里建议使用TensorFlow1.8版本（因为主要用于推理，新版本的新功能用不上），使用CUDA9.0或10.0进行编译。

2、使用python版本的TensorFlow YOLOv3训练好模型，并冻结成pb模型文件

    假设你已经训练出理想的模型文件：yolov3_model.ckpt，包括：

    yolov3_model.ckpt.meta

    yolov3_model.ckpt.index

    yolov3_model.ckpt.data-00000-of-00001

    接下来使用官方提供的脚本或以下python代码冻结它：

 
 
import tensorflow as tf
 
 
from yolov3 import YOLOV3
 
 
out_file = "./yolov3_model.pb"
 
 
in_file = "./yolov3_model.ckpt"
 
 
output_node_names = ["input_node", "output_node1", "output_node1", "output_node1"]
 
 
with tf.name_scope('input'):
 
 
    input_data = tf.placeholder(dtype=tf.float32, name='input_data')
 
 
model = YOLOV3(input_data, trainable=False)
 
 
sess  = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))
 
 
saver = tf.train.Saver()
 
 
saver.restore(sess, in_file )
 
 
converted_graph_def = tf.graph_util.convert_variables_to_constants(sess,
 
 
                            input_graph_def  = sess.graph.as_graph_def(),
 
 
                            output_node_names = output_node_names)
 
 
with tf.gfile.GFile(out_file , "wb") as f:
 
 
    f.write(converted_graph_def.SerializeToString())
 
 
 
 

    现在，你得到了yolov3_model.pb

3.在C++中使用模型进行推理

    ①数据读取

    首先，对于图像数据，有两种读取的方式，一种是使用openCV中的Mat结构，另一种是使用TensorFlow的api直接读取图片文件，推荐使用第一种方法，有更强的通用性。

    假设你有一个图片已经被读取为Mat input_img，而且你已经将它resize到了模型输入尺寸input_size

    下一步，先定义好模型需要的输入Tensor对象：

```

tensorflow::Tensor* input_tensor = new tensorflow::Tensor(tensorflow::DT_FLOAT,tensorflow::TensorShape({ 1, input_size, input_size, 3 }));

std::vector> inputs_map = {

{ "input_node", *input_tensor }

};

```

    之后，使用这个函数将input_img转换成TensorFlow需要的Tensor对象（即上述的input_tensor）：

```

void cvMat2tfTensor(cv::Mat input, tensorflow::Tensor input_tensor )

{

input.convertTo(input, cv:: CV_32FC3);

 cv::cvtColor(input, input, cv::COLOR_BGR2RGB);

cv::resize(input, input, cv::Size(input_size, input_size));//input_size是模型输入图片大小，通常是416

input = input / 255;

float *p = input_tensor.flat().data();

cv::Mat cameraImg(input_size, input_size, CV_32FC3, p);

input.convertTo(cameraImg, CV_32FC3);

}

```