OpenVINO工具包配置TensorFlow模型（二）

上回讲到OpenVINO工具包配置TensorFlow模型的一般情况（OpenVINO工具包配置TensorFlow模型（一） - ）。实际操作下来，能用一般步骤顺利跑下来的概率实在是太低了。对工业模型来说，大多都会是多个模型的混合或是不同思想的掺杂，自定义层不可避免。

有自定义层的TensorFlow模型

自定义层泛指所有不被包含在已知层列表中的拓扑结构。对于TensorFlow框架，所有的已知层如下：

Using the Model Optimizer to Convert TensorFlow* Models | Intel® Software

对于TensorFlow的自定义模型，有三中处理方法：

1、将这些层注册为模型优化器的扩展，这样就能使用模型优化器生成正确的IR文件；

2、子图的处理方法，下面会有具体的介绍；

3、计算迁移（这个看的不是很懂，先放一放）。

在模型优化器中替换子图

因为种种原因有些模型不能转为IR文件，但是在一些情况下，给模型优化器一丁点提示之后就可以了（补丁大法好）。

这里的一些情况主要是指以下三种：

1、拓扑结构中的未知操作（或子图）可以改写为已知操作的组合。此时的提示就是给优化器一个如何组合的描述。

2、拓扑结构中的操作子图可以表示为推理引擎中的单个已知层。

3、TensorFlow中tensor shape的格式一般为NHWC，推理引擎用的是NCHW。上一篇里讲到了mo_tf.py文件默认是会转化的，但一些情况下转化不了（比如把tensor拉成了一维），这种情况下pb文件是转不成IR文件的。

子图替换

这种情况下，原始graph中的子图或者单个node用新的子图或node替换掉，分5步走：

1、确定需要替换的子图（看mo_tf.py转化的时候断的地方，哪里不会点哪里）

2、生成新子图

3、将新子图和原图接起来（为新子图创建输入输出）

4、创建新子图的输出到原图中

5、处理一下被替换的子图（比如删掉）

这个步骤看下来，等于没说～～～还好接下来有具体的方法：

使用一个操作子图替换一个操作

简单来说，就是在TensorFlow中有一些操作在推理引擎中无法一步到位，但可以通过基础操作的组合实现。官方举的一个例子是TensorFlow可以直接计算(a-b)^2，但推理引擎不可以步子跨这么大。因此将b先取反，然后a于-b相加，最后再平方。

这个过程用python代码实现以后，放到/deployment_tools/model_optimizer/extensions/front/文件夹下，例子如下：

import networkx as nx    #模型优化器图形的内部表示使用networkx模块

from mo.front.common.replacement import FrontReplacementOp   #类FrontReplacementOp用来生成新子图替换操作

from mo.graph.graph import Node

from mo.ops.eltwise import Eltwise  #推理引擎支持的基本操作

from mo.ops.power import Power

class SquaredDifference(FrontReplacementOp):

    """

    Example class illustrating how to implement replacement of a single op in the front-end of the MO pipeline.

    This class replaces a single op SquaredDifference by a sub-graph consisting of 3 lower-level ops.

    """

    op = "SquaredDifference"

    enabled = True

    def replace_op(self, graph: nx.MultiDiGraph, node: Node):

        negate = Power(graph, dict(scale=-1, name=node.name + '/negate_'))

        add = Eltwise(graph, dict(operation='sum', name=node.name + '/add_'))

        squared = Power(graph, dict(power=2, name=node.name + '/squared_'))

        out_node = squared.create_node([add.create_node([node.in_node(0), negate.create_node([node.in_node(1)])])])

        # Replace edge from out port 0 of the matched node with a edge from node out_node.id with port 0.

        # The "explicit" version of the return value is: [(out_node.id, 0)])

        return [out_node.id]

用一个新的操作子图替换子图