opencv dnn模块 DNN中Layer的动态创建、Net自定义网络搭建示例
文章目录
-
-
- 一、介绍
- 二、Net的定义
- 三、DictValue、Dict、LayerParams
- 四、网络Net搭建和测试
-
一、介绍
opencv的dnn模块整体设计与现有的框架如caffe、tensorflow基本类似。
Net用有向无环图（DAG）表示，每一个节点是一个Layer示例，每条有向边都是一个Blob（一个NCWH的Mat）。
使用opencv的dnn功能，多数为直接加载第三方模型，同其他框架类似，opencv的dnn模块也是可以如同搭积木一样，拼装自己的网络结构（官方支持的层、自己注册的层），只是比其他的略复杂而已。后面给出多个例子说明，讲解如何利用opencv dnn模块搭建自己的网络。（仅前向计算）
理论上，只要知道其他网络模型的 网络结构、权重数据，就完全可以在opencv中自定义实现，注意，这里实现指的不是修改opencv的源代码。
二、Net的定义
class CV_EXPORTS_W_SIMPLE Net
{
public:
CV_WRAP Net(); //!< 默认构造函数
CV_WRAP ~Net(); //!< 默认析构函数；引用计数为0则析构
//使用Inter model优化器的中间表示来创建网络；
//xml是网络拓扑结构的XML配置文件
//bin是model的model的二进制文件
//使用Inter model优化器创建网络，OpenCV会使用inter的推理引擎后端进行推理；
CV_WRAP static Net readFromModelOptimizer(const String& xml, const String& bin);
//测试网络中是否有layer，是否为空；若没有layer则返回true
CV_WRAP bool empty() const;
//向网络中添加新的layer；
//name是layer的名字，是唯一的；
//type是网络的类型，卷积层还是relu等；但是必须是OpenCV支持的层，或者自己实现的，在层注册器中注册过的类型；
//params是层的参数，用于初始化该层；
//返回值为该层唯一的整数ID；若返回-1表示添加失败
int addLayer(const String &name, const String &type, LayerParams ¶ms);
//添加新层，将其第一个输入与上一层第一个输出相连接；
//参数与addLayer函数相同；
int addLayerToPrev(const String &name, const String &type, LayerParams ¶ms);
//转换layer的string name ；返回整数ID；若为-1，则layer不存在
CV_WRAP int getLayerId(const String &layer);
//获取所有layer的string name
CV_WRAP std::vector<String> getLayerNames() const;
//字符串和整数及他们的数组的容器
typedef DictValue LayerId;
//返回指向网络中指定ID的层的指针，layerId为整数ID或者层名字符串
CV_WRAP Ptr<Layer> getLayer(LayerId layerId);
//返回指向特定层的所有输入层的指针
std::vector<Ptr<Layer> > getLayerInputs(LayerId layerId); // FIXIT: CV_WRAP
//连接第一个layer的输出到第二个layer的输入
//outPin 第一个layer输出的描述.
//inpPin 第二个layer输入的描述.
//输入的模板为：.[input_num]
//模板层名称的第一部分是添加层的sting名称。如果该部分为空，则使用网络输入伪层；
//模板输入编号的第二个可选部分是层输入编号，或者是标签编号。如果省略此部分，则将使 用第一层输入。
CV_WRAP void connect(String outPin, String inpPin);
//第一层的输出与第二层输入相连接
//outLayerId 第一层的标识符
//outNum 第一层输出的编号(一个层可能会有多个输出)
//inpLayerId 第二层的标识符
//inpNum 第二层输入的编号(一个层可能会有多个输入)
void connect(int outLayerId, int outNum, int inpLayerId, int inpNum);
//设置网络输入伪层的输出名称
//每个网络都有自己的输入伪层，id=0
//该层仅仅存储user的blobs，不进行任何计算
//这一层提供了用户数据传递到网络中的唯一方法
//与任何其他层一样，此层可以标记其输出，而此函数提供了一种简单的方法来实现这一点。
CV_WRAP void setInputsNames(const std::vector<String> &inputBlobNames);
//根据指定的层进行网路前向计算，并返回指定层名的输出
// outputName 需要获取指定层输出的名字
// 返回指定层首次出现的时输出
// 默认对整个网络进行前向计算
CV_WRAP Mat forward(const String& outputName = String());
// 同上，outputBlobs为指定层名的所有输出
CV_WRAP void forward(OutputArrayOfArrays outputBlobs, const String& outputName = String());
// 根据给定的多个输出层名进行前向运算，并计算所有给定层名首次出现的输出
CV_WRAP void forward(OutputArrayOfArrays outputBlobs,
const std::vector<String>& outBlobNames);
// 根据给定的多个输出层名进行前向运算，并计算所有给定层名的所有输出
CV_WRAP_AS(forwardAndRetrieve) void forward(CV_OUT std::vector<std::vector<Mat> >& outputBlobs,
const std::vector<String>& outBlobNames);
//编译Halide layers.