opencv C++ dnn网络参数的相关的API

   

目录

1,blobFormImage

2,NMSBoxes:

3,setInput

4,forward

5,readNet

6,getUnconnectedOutLayersNames

7,加速处理


        OpenCV中的深度学习模块(DNN)只提供了推理功能,不涉及模型的训练,支持多种深度学习框架,比如TensorFlow,Caffe,Torch和Darknet。

OpenCV那为什么要实现深度学习模块?

  •  轻量型。DNN模块只实现了推理功能,代码量及编译运行开销远小于其他深度学习模型框架。
  • 使用方便。DNN模块提供了内建的CPU和GPU加速,无需依赖第三方库,若项目中之前使用了OpenCV,那么通过DNN模块可以很方便的为原项目添加深度学习的能力。
  •  通用性。DNN模块支持多种网络模型格式,用户无需额外的进行网络模型的转换就可以直接使用,支持的网络结构涵盖了常用的目标分类,目标检测和图像分割的类别,如下图所示

1,blobFormImage

        其主要的根据输入的图像,创建维度N(图片的个数),通道数C,高度H和宽次序的BLOBS,同时可以对输入的图像的进行的归一化处理。

blobFromImage(image, 
                  scalefactor=None, 
                  size=None, 
                  mean=None, 
                  swapRB=None, 
                  crop=None, 
                  ddepth=None):

具体的参数:

        image:cv2.imread读取的图像数据;

        mean:需要将图片整体减去的平均值,如果我们需要对RGB图片的三个通道分别减去不同的值,那么可以使用3组平均值,

        scalefactor:当我们将图片减去平均值之后,还可以对剩下的像素值进行一定的尺度缩放,它的默认值是1,如果希望减去平均像素之后的值,全部缩小一半,那么可以将scalefactor设为1/2,一般像素会进行像素值的灰度归一化处理。

        size:这个参数是我们神经网络在训练的时候要求输入的图片尺寸

        swapRB:OpenCV中认为我们的图片通道顺序是BGR,但是我平均值假设的顺序是RGB,所以如果需要交换R和G,那么就要使swapRB=true

2,NMSBoxes:

        根据给定的检测boxes和对应的scores进行NMS

::NMSBoxes(bboxes, 
             scores, 
             score_threshold, 
             nms_threshold, 
             eta=None, 
             top_k=None)

        boxes: 待处理的边界框 bounding boxes
        scores: 对于于待处理边界框的 scores
        score_threshold: 用于过滤 boxes 的 score 阈值
        nms_threshold: NMS 用到的阈值
        indices: NMS 处理后所保留的边界框的索引值
        eta: 自适应阈值公式中的相关系数:

        top_k: 如果 top_k>0,则保留最多 top_k 个边界框索引值.

3,setInput

        设置模型的输入

Net::setInput	(	InputArray 	blob,
    const String & 	name = "",
    double 	scalefactor = 1.0,
    const Scalar & 	mean = Scalar() 
)	

blob

A new blob. Should have CV_32F or CV_8U depth.
name A name of input layer.
scalefactor An optional normalization scale.
mean An optional mean subtraction values.

4,forward

        从网络开始层进行计算,前向传播到输出层

Mat cv::dnn::Net::forward(const String& outputName = String())
	// 这个函数只需要提供layer的name即可;
	// 函数返回一个Mat变量,返回值是指输入的layername  首次出现  的输出。

	// 	// 默认输出整个网络的运行结果
	layer { // layer层的例子	(googleNet输出层)
	  name: "prob"	//层名称
	  type: "Softmax"	//
	  bottom: "loss3/classifier"
	  top: "prob"
	}

void cv::dnn::Net::forward(OutputArrayOfArrays outputBlobs,
							const String & outputName = String())	
	// 该函数的返回值是void,通过OutputArrayOfArrays类型提供计算结果,类型为blob
	// 这个outputName依然是layer的name,
	// outputBlobs不是  首次   layer的输出了,而是layername指定的layer的全部输出

void cv::dnn::Net::forward(OutputArrayOfArrays outputBlobs,
						const std::vector & outBlobNames)
	// 该函数返回值为void,
	// outBlobNames是需要提供输出的layer的name,类型为vector,也就是说可以提供多个layer的那么;
	// 它会将每个layer的   首次计算输出    放入outputBlobs。

void cv::dnn::Net::forward(std::vector> & outputBlobs, 
							const std::vector & outBlobNames )	
	// 返回值为void;
	// 输入outBlobNames是vector类型,
	// outputBlobs是vector>类型;
	// 该函数可以输入多个layer的name;
	// 它会输出每个layer的全部输出到outputBlobs中。

5,readNet

        读取网络模型


Net cv::dnn::readNet(const String & 	model,
                const String & 	config = "",
                const String & 	framework = "" 
)		

        model:二进制文件包含网络的训练的权重参数;包含以下内容

  • *.caffemodel (Caffe, Caffe | Deep Learning Framework)
  • *.pb (TensorFlow, https://www.tensorflow.org/)
  • *.t7 | *.net (Torch, Torch | Scientific computing for LuaJIT.)
  • *.weights (Darknet, Darknet: Open Source Neural Networks in C)
  • *.bin (DLDT, Intel® Distribution of OpenVINO™ Toolkit)
  • *.onnx (ONNX, ONNX | Home)

        config:文本文件办事网络结构的配置文件的

  • *.prototxt (Caffe, Caffe | Deep Learning Framework)
  • *.pbtxt (TensorFlow, https://www.tensorflow.org/)
  • *.cfg (Darknet, Darknet: Open Source Neural Networks in C)
  • *.xml (DLDT, Intel® Distribution of OpenVINO™ Toolkit)

        framework :网络框架的显视的名称

opencv的dnn模块支持各种类型的模型,其对应的API如下所示:

Net 
cv::dnn::readNet (const String &model, const String &config="", const String &framework="")
Net 
cv::dnn::readNetFromCaffe (const String &prototxt, const String &caffeModel=String())
Net 
cv::dnn::readNetFromTensorflow (const String &model, const String &config=String())
Net 
cv::dnn::readNetFromTorch (const String &model, bool isBinary=true, bool evaluate=true)
Net 
cv::dnn::readNetFromDarknet (const String &cfgFile, const String &darknetModel=String())

Net cv::dnn::readNetFromTorch	(	const String & 	model,
                                    bool 	isBinary = true,
                                    bool 	evaluate = true 
)		

Net cv::dnn::readNetFromTensorflow	(	const String & 	model,
                                        const String & 	config = String() 
)		

6,getUnconnectedOutLayersNames

        获得末端连接神经网络名字,用于指定forward输出层的名字

 getUnconnectedOutLayersNames(void)

7,加速处理

        利用opencv加速主要涉及两个函数的调用,使用opencv设置参数使用不同的运行后台程序,例如使用GPU,CPU。

dnnnet.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);
dnnnet.setPreferableTarget(cv::dnn::DNN_BACKEND_CUDA);

setPreferableTarget()设置相应的参数如下所示

DNN_TARGET_CPU 

Python: cv.dnn.DNN_TARGET_CPU

DNN_TARGET_OPENCL 

Python: cv.dnn.DNN_TARGET_OPENCL

DNN_TARGET_OPENCL_FP16 

Python: cv.dnn.DNN_TARGET_OPENCL_FP16

DNN_TARGET_MYRIAD 

Python: cv.dnn.DNN_TARGET_MYRIAD

DNN_TARGET_VULKAN 

Python: cv.dnn.DNN_TARGET_VULKAN

DNN_TARGET_FPGA 

Python: cv.dnn.DNN_TARGET_FPGA

FPGA device with CPU fallbacks using Inference Engine's Heterogeneous plugin.

DNN_TARGET_CUDA 

Python: cv.dnn.DNN_TARGET_CUDA

DNN_TARGET_CUDA_FP16 

Python: cv.dnn.DNN_TARGET_CUDA_FP16

你可能感兴趣的:(opencv_dnn,opencv,dnn,caffe)