基于MATLAB的简单手势识别
匆匆在看完了MOOC的《数字图像处理》，为了巩固所学，做了一个简单的手势识别（只能识别手势1、2、3）！
0、安装硬件支持包软硬件安装
0.1、MATLAB R2021b安装
软件包下载地址微信公众号：小白课代表
一开始我是用的MATLAB R2018b，但是在根据B站视频《10分钟学会matlab实现cnn图像分类》学习的过程中，发现没有办法生成代码，所以换成了MATLAB R2021b。我的笔记本运行R2021b太卡了，每次打开R2021b都要5分钟，而且运行的时候也经常碰到问题，有时候没法编辑.m文件，有时候按F1没有反应，我太难了。
0.2、安装硬件支持包
一些经验：
1、工具包安装失败的解决方法：把防火墙、杀毒软件什么的都关了，然后重启MATLAB，多试几次就可以
2、摄像头画面值显示一个大红叉的解决方法：多重启MATLAB几次就可以3、报错：Unable to allocate memory for an incoming image frame due to insufficient free physical memory.
解决方法：C盘要留出10G以上的大小
1、查看支持包信息
%%
close all;
clear all;
clc;
%%
disp(imaqhwinfo)%查看当前适配器
%%
info = imaqhwinfo('winvideo')%查看该适配器下所有设备
%%
disp(info.DeviceInfo)%通过DeviceInfo查看摄像头详细信息
%%
disp(info.DeviceInfo.SupportedFormats)%SupportedFormats是该摄像头支持的图像色彩与尺寸
%%
%解决错误：The device associated with device ID 1 is already in use.
clc; clear;
close all;
objects = imaqfind %find video input objects in memory
%%
stop(objects);
delete(objects) %delete a video input object from memory
2、获取截图（自己创建训练集）
%%
obj = videoinput('winvideo',1,'MJPG_640x480');
h = preview(obj);
start(obj)
tic%启动秒表计时器
% 手势1保存的路径：'D:\gao\Program\MATLAB\第一学期\数字图像处理\手势\finger_1\original\';
file_root='D:\gao\Program\MATLAB\第一学期\数字图像处理\手势\';
finger_num=1%手势表示的数值，也可以理解为标签
picture_num=40%每一种手势的截图个数
file_root=[file_root,'finger_',num2str(finger_num),'\original\'];
for i=1:picture_num
i
pause(1)%延迟1s
frame = getsnapshot(obj); % 获取帧
file_name=[file_root,'finger_',num2str(finger_num),'_',num2str(i),'.bmp'];
imwrite(frame,file_name);%手势1的第一张截图的名称：finger_1_1.bmp
end
toc%从秒表读取已用时间
stop(obj);
delete(obj)
报错：
The device associated with device ID 1 is already in use.
解决错误：
%% clc; clear; close all; objects = imaqfind %find video input objects in memory %% stop(objects); delete(objects) %delete a video input object from memory
3、 图像预处理
%% 读入图片
close all;
clear all;
clc;
quarter=16;%减采样倍数
p_store=1;%指向存储的位置
input=zeros(30,40,20*3);%图片大小：30*40，图片个数：3*20
finger_num=3
picture_num=40
for p_finger_num=1:finger_num
file_root='D:\gao\Program\MATLAB\第一学期\数字图像处理\手势\';
% 'D:\gao\Program\MATLAB\第一学期\数字图像处理\手势\finger_1\original\'
file_root=[file_root,'finger_',num2str(p_finger_num),'\original\'];
for p_picture_num=1:picture_num
%'D:\gao\Program\MATLAB\第一学期\数字图像处理\手势\finger_1\original\finger_1_1.bmp'
file_name=[file_root,'finger_',num2str(p_finger_num),'_',num2str(p_picture_num),'.bmp'];%
I_rgb=imread(file_name); %用 imread 函数来读入图像，480*640*3
I_gray=rgb2gray(I_rgb);% 灰度，480*640
I_quarter=imresize(I_gray, 1/quarter);% 减采，30*40
T=graythresh(I_quarter);
I_BW=im2bw(I_quarter,T); % 阈值分割
H=fspecial('average',[3,3]);%平滑滤波，创建预定义的2d过滤器
I_filter=imfilter(I_BW,H);%I_gray
I_edge=edge(I_filter); % 边缘提取
input(:,:,p_store)=I_edge;
p_store=p_store+1;%指向下一个存储的位置
end
end
%% 随机查看输入图片是否正常
p=input(:,:,floor(rand*120));
figure('name','原始图片')
imshow(p); %用 imshow 函数来显示图像
%% 输出
output=ones(1,finger_num*picture_num);
for p_finger_num=1:finger_num
output(1, (1:picture_num)+(p_finger_num-1)*picture_num )=p_finger_num*ones(1,picture_num);
end
%% 保存数据
save('data123_in30_40_out1_1.mat','input','output'); %将变量保存到当前文件夹中的文件
CSDN 上传图片取消自动加水印的方法
4、卷积神经网络
%% 装入数据
close all;
clearvars % clear all;
clc;
load('data123_in30_40_out1_1.mat')
%% 读入训练数据和验证数据
XTrain =cat(3, input(:,:,1:30), input(:,:,41:70), input(:,:,81:110));%30*40*90
YTrain =cat(2, output(:,1:30), output(:,41:70), output(:,81:110))';%90*1
XValidation =cat(3, input(:,:,31:40), input(:,:,71:80), input(:,:,111:120));%30*40*30
YValidation =cat(2, output(:,31:40), output(:,71:80), output(:,111:120))';%30*1
YTrain = categorical(YTrain);
YValidation = categorical(YValidation);
%%
XTrain=reshape(XTrain,[30,40 ,1,90]);
XValidation=reshape(XValidation,[30,40 ,1,30]);
%% 创建层组
layers = [
imageInputLayer([30 40])
convolution2dLayer(5,16,'Padding','same')
batchNormalizationLayer
reluLayer('Name','relu_1')
convolution2dLayer(3,32,'Padding','same','Stride',2)
batchNormalizationLayer
reluLayer
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
additionLayer(2,'Name','add')
averagePooling2dLayer(2,'Stride',2)
fullyConnectedLayer(3)
softmaxLayer
classificationLayer];
%% 定义skipConv
skipConv = convolution2dLayer(1,32,'Stride',2,'Name','skipConv');
%% 连接skipConv
lgraph = connectLayers(lgraph,'relu_1','skipConv');
lgraph = connectLayers(lgraph,'skipConv','add/in2');
figure
plot(lgraph);
%% 训练
options = trainingOptions('sgdm', ...
'MaxEpochs',38, ...
'Shuffle','every-epoch', ...
'ValidationData',{XValidation,YValidation}, ...
'ValidationFrequency',30, ...
'Verbose',false, ...
'Plots','training-progress');
net = trainNetwork(XTrain,YTrain,lgraph,options);
%% 对验证图像进行分类并计算精度。这个网络非常准确。
YPredicted = classify(net,XValidation);
accuracy = mean(YPredicted == YValidation)
%% 保存当前网络
save('data_CNN_Network.mat','net')
5、随机测试一张图片
%%
close all;
clear all;
clc;
%% 读入图像
I_rgb=imread('finger_1_1.bmp');
figure('name','原始图片')
imshow(I_rgb);
%% 灰度
I_gray=rgb2gray(I_rgb);
figure('name','灰度图片')
imshow(I_gray);
%% 减采
quarter=16;%减采倍数
I_quarter=imresize(I_gray, 1/quarter);
figure('name','减采样图片')
imshow(I_quarter);
%% 阈值分割
figure('name','直方图')
imhist(I_quarter);
T=graythresh(I_quarter);
BW=im2bw(I_quarter,T);
figure('name','Otstu图片')
imshow(BW);
%% 平滑滤波
H=fspecial('average',[3,3]);%平滑滤波，创建预定义的2d过滤器
I_filter=imfilter(BW,H);%I_gray
figure('name','滤波图片')
imshow(I_filter);
%% 边缘提取
I_edge=edge(I_filter);%30*40
figure('name','边缘图片')
imshow(I_edge);
%% 分类
load('data_CNN_Network.mat')%加载训练好的CNN
% net(I_edge)
classify(net,I_edge)6、实时检测
%%
%解决错误：The device associated with device ID 1 is already in use.
clc; clear;
close all;
objects = imaqfind %find video input objects in memory
if ~isempty(objects)
stop(objects);
delete(objects) %delete a video input object from memory
disp('not empty' )
else
disp(' empty' )
end
%%
close all;
clearvars ;
clc;
load('data_CNN_Network.mat')
quarter=16
%利用getsnapshot(obj) 即可导出图像，若想连续导出可通过以下方式
obj = videoinput('winvideo',1,'MJPG_640x480');%(adaptorname,deviceID,format)
h = preview(obj);%stoppreview//closepreview//delete(obj)停止/关掉预览
cycles=10;%循环的参数
start(obj)
tic%启动秒表计时器
I_rgb=zeros(480,640,3,cycles);%用来存储原始截图
I_edge=zeros(30,40,cycles);%用来存储边缘化后的截图
result=zeros(1,cycles);
f1=figure('name','原始图片');
f2=figure('name','边缘处理');
for i=1:cycles%ishandle(h)%测试h是否有效的图形或 Java 对象句柄
i
pause(1)%延迟
disp('获取帧');
i_rgb = getsnapshot(obj); % 获取帧
i_gray=rgb2gray(i_rgb);% 灰度
i_quarter=imresize(i_gray, 1/quarter);% 减采
T=graythresh(i_quarter);
I_BW=im2bw(i_quarter,T); % 阈值分割
H=fspecial('average',[3,3]);%平滑滤波，创建预定义的2d过滤器
i_filter=imfilter(I_BW,H);%I_gray
i_edge=edge(i_filter); % 边缘提取
result(i)=uint8(classify(net,i_edge));
result(i)
pause(1)%延迟
figure(f1);
subplot(ceil(cycles/3),3,i)%ceil——Round toward positive infinity
imshow(i_rgb);
title([num2str(i) ':' num2str(result(i))]);
I_rgb(:,:,:,i) = i_rgb;% 存储原始截图
figure(f2);
subplot(ceil(cycles/3),3,i)
imshow(i_edge);
title([num2str(i) ':' num2str(result(i))]);
I_edge(:,:,i) = i_edge;% 存储边缘截图
end
toc%从秒表读取已用时间
stop(obj);
delete(obj)运行结果：
注意：
若结果报错：Unable to allocate memory for an incoming image frame due to insufficient free physical memory.
我的解决方法：
方法1：关闭当前.m文件，再重新打开
方法2：关闭MATLAB，再重新打开
方法3：关闭电脑，再重新打
基于MATLAB卷积神经网络的简单手势识别-精简-机器学习文档类资源-CSDN下载内容概要：通过简单手势识别，带着读者做一遍软件安装、数据集采集、图像处理、神经网络训练、网络的测试、更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/qq_35629563/86248802
基于MATLAB的简单手势识别（包含全部调试资源）
https://download.csdn.net/download/qq_35629563/86248804