opencv_c++学习（三十）

一、加载深度神经网络模型

Net cv:dnn::readNet(const String & model, const String & config = "", const String & framework = "")

model:模型文件名称
config:配置文件名称
framework:框架种类

Net类中的函数名称以及作用：

向网络层中添加数据：

void cv::dnn::Net::setInput ( InputArray blob, const String & name = "", scalefactor =, double 1.0, const Scalar & mean = Scalar())

blob:新的输入数据，数据类型为CV_32F或CV_8U。
name:输入网络层的名称。
scalefactor:可选的标准化比例（尺寸缩放）。
mean:可选的减数数值（平移）。
opencv调用深度学习模型：

using namespace cv::dnn;

int main() {

	string model = "caffe_model.caffemodel";
	string config = "caffe_model.prototxt";

	//加载模型
	Net net = dnn::readNet(model, config); 
	if (net.empty())
	{
		cout << "请确认是否输入空的模型文件" << endl; 
		return -1;
	}

	// 获取各层信息
	vector<String> layerNames = net.getLayerNames();
	for (int i = 0; i < layerNames.size(); i++)
	{
		// 读取每层网络的ID
		int ID = net.getLayerId(layerNames[i]);
		// 读取每层网络的信息
		Ptr<Layer> layer = net.getLayer(ID);
		
		//输出网络信息
		cout << "网络层数; " << ID << "网络层名称:" << layerNames[i] << endl
		<< "网络层类型:" << layer->type.c_str() << endl;
	}
	return 0;
}

二、opencv使用深度学习模型

输入数据尺寸转换函数：

Mat cv::dnn::blobFromlmages ( InputArrayOfArrays images, scalefactor =, double 1.0, Size size = size(), mean =, const Scalar & Scalar(), swapRB=, bool false, bool crop = false, int ddepth = cv_32F)

images:输入图像，图像可以是单通道、三通道或者四通道。
scalefactor:图像像素缩放系数。
size:输出图像的尺寸。
mean:像素值去均值化的数值。
swapRB:是否交换三通道图像的第一个通道和最后一个通道的标志。
crop:调整大小后是否对图像进行剪切的标志。
ddepth:输出图像的数据类型，可选参数为CV_32F或CV_8U。
使用神经网络对图像进行分类：

int main() {

	//读取图片
	Mat src = imread("1.png");
	if (src.empty())
	{
		printf("不能打开空图片");
		return -1;
	}

	//读取分类种类名称
	String typeListFile = "image_recognition/imagenet_comp_graph_label_strings.txt";
	vector<String> typeList;
	ifstream file(typeListFile);
	if (!file.is_open())
	{
		printf("请确认分类种类名称是否正确");
		return -1;
	}

	std::string type;
	while (!file.eof())
	{
		//读取名称
		getline(file, type);
		if (type.length())
		{
			typeList.push_back(type);
		}
	}
	file.close();

	//加载网络
	String tf_pb_file = "imnge_recognition/tensorflom_inception_graph. pb ";
	Net net = readNet(tf_pb_file);
	if (net.empty())
	{
		printf("请确认模型文件是否为空文件");
		return -1;
	}

	//对输入图像数据进行处理
	Mat blob = blobFromImage(src, 1.0f, Size(224, 224), Scalar(), true, false);

	//进行图像种类预测
	Mat prob;
	net.setInput(blob, "input"); 
	prob = net.forward("softmax2");

	//得到最可能分类输出
	Mat probMat = prob.reshape(1, 1);
	Point classNumber;

	// 最大可能性
	double classProb;
	minMaxLoc(probMat, NULL, &classProb, NULL, &classNumber);
	string typeName = typeList.at(classNumber.x).c_str();
	cout << "图像中物体可能为: " <<typeName << "可能性为" << classProb;
	
	//检测内容
	string str = typeName + "possibility:" + to_string(classProb);
	putText(src, str, Point(50, 50), FONT_HERSHEY_SIMPLEX, 1.0, Scalar(0, 0, 255), 2, 8);
	imshow("图像判断结果", src);
	waitKey(0);
	return 0;
}

采用opencv进行图像风格迁移：

int main() {

	//读取图片
	Mat src = imread("1.png");
	if (src.empty())
	{
		printf("不能打开空图片");
		return -1;
	}

	//读取五个模型文件
	String models[5] = { "the_wave.t7","mosaic.t7","feathers.t7 ","candy.t7","udnie.t7"); 
		
	for (int i = 0; i < size(models); i++)
	{
		Net net = readNet("fest_style / " + models[i]);
		imshow("原始图像", src);

		//计算图像每个通道均值
		Scalar imgaeMean = mean(src);

		// 调整图像尺寸和格式
		Mat blobImage = blobFromImage(src, 1.0, Size(256, 256), imgaeMean, false, false);

		// 计算网络对原图像处理结果
		net.setInput(blobImage); 
		Mat output = net.forward();

		//输出结果的尺寸和通道数
		int outputChannels = output.size[1]; 
		int outputRows = output.size[2]; 
		int outputCols = output.size[3]; 

		// 将输出结果存放到图像中
		Mat result = Mat::zeros(Size(outputCols, outputRows),CV_32FC3); 
		float* data = output.ptr<float>();
		for (int channel = 0; channel < outputChannels; channel++)
		{
			for (int row = 0; row < outputRows; row++)
			{
				for (int col = 0; col < outputCols; col++)
				{
					result.at<Vec3f>(row, col)[channel] = *data++;
				}
			}
		}
		//对迁移结果进行进一步操作处理

		//恢复图像减掉的均值
		result = result + imgaeMean;

		//对图像进行归一化, 便于图像显示
		result = result / 255.0;

		//调整图像尺寸，使得与原图像尺寸相同
		resize(result, result, src.size());

		//显示结果
		imshow("result", result);
	}
}

采用两个不同的网络联系对图像进行处理，先检测人脸，在检测性别：

int main() {

	//读取图片
	Mat src = imread("1.png");
	if (src.empty())
	{
		printf("不能打开空图片");
		return -1;
	}

	// 读取人脸识别模型
	String model_bin = "face_age/ openev_face_detectar_uint8. pb";
	String config_text = "face_age / opencv_face_detector.pbtxt";
	Net faceNet = readNet(model_bin, config_text);

	//读取性别检测模型
	String genderProto = "face_age/gender_deploy.prototxt";
	String genderModel = "face_age/gendler_net.caffemodel";
	String genderList[] = { "Male", "Female" };

	Net genderNet = readNet(genderModel, genderProto);
	if (faceNet.empty() && genderNet.empty())
	{
		cout << "请确定是否输入正确的模型文件" << endl;
		return -1;
	}

	//对整幅图像进行人脸检测
	Mat blobImage = blobFromImage(src, 1.0, Size(300, 300), Scalar(), false, false);
	faceNet.setInput(blobImage, "data");
	Mat detect = faceNet.forward("detection_out");

	// 人脸概率、人脸矩形区域的位置
	Mat detectionMat(detect.size[2], detect.size[3], CV_32F, detect.ptr <float>());

	//对每个人脸区域进行性别检测
	// 每个人脸区域界个方向扩充的尺寸
	int exBoundray = 25;

	//判定定为人脸的概率阀值，阈值越大准确性越高
	float confidenceThreshold = 0.5;
	for (int i = 0; i < detectionMat.rows; i++)
	{
		//检测为人脸的概率
		float confidence = detectionMat.at<float>(i, 2);

		// 只检测概率大于阙恼区域的性别
		if (confidence > confidenceThreshold)
		{
			//网络检测人脸区域大小
			int topLx = detectionMat.at<float>(i, 3)* src.cols;
			int topLy = detectionMat.at<float>(i, 4)* src.rows;
			int bottomRx = detectionMat.at<float>(i, 5)*src.cols;
			int bottomRy = detectionMat.at<float>(i, 6)* src.rows;
			Rect faceRect(topLx, topLy, bottomRx - topLx, bottomRy - topLy);

			//将网络检测出的区域尺寸进行扩充，要注意防止尺寸在图像真实尺寸之外
			Rect faceTextRect;
			faceTextRect.x = max(0, faceRect.x - exBoundray);
			faceTextRect.y = max(0, faceRect.y - exBoundray);
			faceTextRect.width = min(faceRect.width + exBoundray, src.cols - 1);
			faceTextRect.height = min(faceRect.height + exBoundray, src.rows - 1);

			// 扩充后的人脸图像
			Mat face = src(faceTextRect);


			//调整面部图像尺寸
			Mat faceblob = blobFromImage(face, 1.0, Size(227, 227), Scalar(), false, false);

			// 将调整后的面部图像输入到性别检测网络
			genderNet.setInput(faceblob);

			// 计算检测结果
			//两个性别的可能性
			Mat genderPreds = genderNet.forward();

			//性别检测结果
			float male, female;

			male = genderPreds.at<float>(0, 0);
			female = genderPreds.at<float>(0, 1);
			int classID = male > female ? 0 : 1;
			String gender = genderList[classID];

			//在原图像中绘制面都轮廓和性别
			rectangle(src, faceRect, Scalar(0, 0, 255), 2, 8, 0);
			putText(src, gender.c_str(), faceRect.tl(), FONT_HERSHEY_SIMPLEX, 0.8, Scalar(0, 0, 255), 2, 8);
		}
	}
	imshow("结果", src);
	waitKey(0);
	return 0;
}