有关神经网络的训练算法,训练图像识别神经网络

如何训练神经网络

1、先别着急写代码训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。

Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。

由于神经网络实际上是数据集的压缩版本，因此您将能够查看网络（错误）预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致，那么就会有所收获。

一旦从数据中发现规律，可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值，而异常值总能揭示数据的质量或预处理中的一些错误。

2、设置端到端的训练评估框架处理完数据集，接下来就能开始训练模型了吗？并不能！下一步是建立一个完整的训练+评估框架。在这个阶段，我们选择一个简单又不至于搞砸的模型，比如线性分类器、CNN，可视化损失。

获得准确度等衡量模型的标准，用模型进行预测。这个阶段的技巧有：·固定随机种子使用固定的随机种子，来保证运行代码两次都获得相同的结果，消除差异因素。·简单化在此阶段不要有任何幻想，不要扩增数据。

扩增数据后面会用到，但是在这里不要使用，现在引入只会导致错误。

·在评估中添加有效数字在绘制测试集损失时，对整个测试集进行评估，不要只绘制批次测试损失图像，然后用Tensorboard对它们进行平滑处理。·在初始阶段验证损失函数验证函数是否从正确的损失值开始。

例如，如果正确初始化最后一层，则应在softmax初始化时测量-log(1/n_classes)。·初始化正确初始化最后一层的权重。如果回归一些平均值为50的值，则将最终偏差初始化为50。

如果有一个比例为1:10的不平衡数据集，请设置对数的偏差，使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。·人类基线监控除人为可解释和可检查的损失之外的指标。

尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释，并且对于每个示例，将一个注释视为预测，将第二个注释视为事实。

·设置一个独立于输入的基线最简单的方法是将所有输入设置为零，看看模型是否学会从输入中提取任何信息。·过拟合一个batch增加了模型的容量并验证我们可以达到的最低损失。

·验证减少训练损失尝试稍微增加数据容量。

谷歌人工智能写作项目：神经网络伪原创

在模式识别，人工神经网络方法中，为什么要进行数据预处理

写作猫。

可以降低数据大小，通过归约，可以建立好的样本集，因为脏数据的存在，需要预处理单位不一致，比如，身高1.7米，体重120斤，那么1.7和120不在一个数量级上，导致1.7的权重被淹没有时候需要降维，降低运算量，有时需要升维，达到线性可分，这些都是预处理的方面。

在模式识别、人工神经网络方法中，为什么要进行数据预处理呢？

1.原数据可能数据量很大，维数很，计算机处理起来时间复杂度很高，预处理可以降低数据维度。2.数据的很多特性非常影响神经网络等分类模型的效果。

比如数据值得分布不在一个尺度上，当地气温值与当地月工资显然不在一个数量级上，这时，需要数据规范化，把这两个特征的数据都规范到0到1，这样使得它们对模型的影响具有同样的尺度。

3.当然，数据预处理还有很多，比如中心化，去噪，降维，平滑，变换等等，各有各的目的，总之都是为了最终分类器的效果服务，由于原数据可能含有大量的噪声，去除噪声是有必要的。

本人新手，在做BP神经网络的时候遇到了一个问题 5

不知你是不是用matlab的神经网络工具箱，因为一般神经网络都是成批处理的，每一次调整都会综合所有样本的误差进行调整，而不是一类一类图片的去调整，所以不会出现你说的现象。

目前我看过的很多C++或者其它语言自己写的神经网络，都会有这样或那样的理解错误，建议先使用现成的matlab的神经网络工具箱进行训练。另外是输入的问题，图象一般会先提取特征，再将特征作为输入。

你在贴吧也提问了吧，这个我在贴吧里也回答了。

输出的问题，一般模式识别会用01向量来代表，例如你有三类，目标输出应该是[010]这样，来代表它是第2类，训练的时候用010，当然，预测到的可能是[0.10.90.1]这样。

这是我所想到的问题，楼主看看是不是这样一回事。下面是我的一些建议：改为用神经网络工具箱。借鉴《MATLAB神经网络原理与实例精解》里的基于概率神经网络的手写体数字识别，对图象作预处理。

参考2012Bmatlab\R2012b\toolbox\nnet\nndemos下的classify_crab_demo例子。调用patternnet建立模式识别网络。

可以到《神经网络之家》 学习神经网络。

如何通过人工神经网络实现图像识别

。

人工神经网络（ArtificialNeuralNetworks）（简称ANN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

尤其是基于误差反向传播（ErrorBackPropagation）算法的多层前馈网络（Multiple-LayerFeedforwardNetwork）(简称BP网络)，可以以任意精度逼近任意的连续函数，所以广泛应用于非线性建模、函数逼近、模式分类等方面。

目标识别是模式识别领域的一项传统的课题，这是因为目标识别不是一个孤立的问题，而是模式识别领域中大多数课题都会遇到的基本问题，并且在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而目标识别的研究仍具有理论和实践意义。

这里讨论的是将要识别的目标物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，用神经网络识别图像的问题。

一、BP神经网络BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所规定的。

backpropagation就是指的为非线性多层网络计算梯度的方法。一个典型的BP网络结构如图所示。我们将它用向量图表示如下图所示。

其中：对于第k个模式对，输出层单元的j的加权输入为该单元的实际输出为而隐含层单元i的加权输入为该单元的实际输出为函数f为可微分递减函数其算法描述如下：（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。

（2）提供训练模式，训练网络，直到满足学习要求。（3）前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行（4）；否则，返回（2）。

（4）后向传播过程：a.计算同一层单元的误差；b.修正权值和阈值；c.返回（2）二、BP网络隐层个数的选择对于含有一个隐层的三层BP网络可以实现输入到输出的任何非线性映射。

增加网络隐层数可以降低误差，提高精度，但同时也使网络复杂化，增加网络的训练时间。误差精度的提高也可以通过增加隐层结点数来实现。一般情况下，应优先考虑增加隐含层的结点数。

三、隐含层神经元个数的选择当用神经网络实现网络映射时，隐含层神经元个数直接影响着神经网络的学习能力和归纳能力。

隐含层神经元数目较少时，网络每次学习的时间较短，但有可能因为学习不足导致网络无法记住全部学习内容；隐含层神经元数目较大时，学习能力增强，网络每次学习的时间较长，网络的存储容量随之变大，导致网络对未知输入的归纳能力下降，因为对隐含层神经元个数的选择尚无理论上的指导，一般凭经验确定。

四、神经网络图像识别系统人工神经网络方法实现模式识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许样品有较大的缺损、畸变，神经网络方法的缺点是其模型在不断丰富完善中，目前能识别的模式类还不够多，神经网络方法允许样品有较大的缺损和畸变，其运行速度快，自适应性能好，具有较高的分辨率。

神经网络的图像识别系统是神经网络模式识别系统的一种，原理是一致的。一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。

神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：①有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。

特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。

②无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。

此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。当BP网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。

其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。另一方面可以大幅度提高训练速度，避免网络陷入局部最小点。

由于BP网络不具有不变识别的能力，所以要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。

例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

构造神经网络分类器首先要选择适当的网络结构：神经网络分类器的输入就是图像的特征向量；神经网络分类器的输出节点应该是类别数。隐层数要选好，每层神经元数要合适，目前有很多采用一层隐层的网络结构。

然后要选择适当的学习算法，这样才会有很好的识别效果。

在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。

神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。

在图像识别阶段，只要将图像的点阵向量作为神经网络分类器的输入，经过网络的计算，分类器的输出就是识别结果。五、仿真实验1、实验对象本实验用MATLAB完成了对神经网络的训练和图像识别模拟。

从实验数据库中选择0～9这十个数字的BMP格式的目标图像。图像大小为16×8像素，每个目标图像分别加10％、20％、30％、40％、50％大小的随机噪声，共产生60个图像样本。

将样本分为两个部分，一部分用于训练，另一部分用于测试。实验中用于训练的样本为40个，用于测试的样本为20个。随机噪声调用函数randn(m,n)产生。

2、网络结构本试验采用三层的BP网络，输入层神经元个数等于样本图像的象素个数16×8个。隐含层选24个神经元，这是在试验中试出的较理想的隐层结点数。

输出层神经元个数就是要识别的模式数目，此例中有10个模式，所以输出层神经元选择10个，10个神经元与10个模式一一对应。

3、基于MATLAB语言的网络训练与仿真建立并初始化网络% ================S1 = 24;% 隐层神经元数目S1 选为24[R,Q] = size(numdata);[S2,Q] = size(targets);F = numdata;P=double(F);net = newff(minmax(P),[S1 S2],{'logsig''logsig'},'traingda','learngdm')这里numdata为训练样本矩阵，大小为128×40，targets为对应的目标输出矩阵，大小为10×40。

newff(PR,[S1S2…SN],{TF1TF2…TFN}，BTF,BLF,PF)为MATLAB函数库中建立一个N层前向BP网络的函数，函数的自变量PR表示网络输入矢量取值范围的矩阵[Pminmax];S1~SN为各层神经元的个数；TF1~TFN用于指定各层神经元的传递函数；BTF用于指定网络的训练函数；BLF用于指定权值和阀值的学习函数；PF用于指定网络的性能函数，缺省值为‘mse’。

设置训练参数net.performFcn = 'sse'; %平方和误差性能函数 = 0.1; %平方和误差目标 = 20; %进程显示频率net.trainParam.epochs = 5000;%最大训练步数 = 0.95; %动量常数网络训练net=init(net);%初始化网络[net,tr] = train(net,P,T);％网络训练对训练好的网络进行仿真D=sim(net,P);A = sim(net,B);B为测试样本向量集,128×20的点阵。

D为网络对训练样本的识别结果，A为测试样本的网络识别结果。实验结果表明：网络对训练样本和对测试样本的识别率均为100％。如图为64579五个数字添加50%随机噪声后网络的识别结果。

六、总结从上述的试验中已经可以看出，采用神经网络识别是切实可行的，给出的例子只是简单的数字识别实验，要想在网络模式下识别复杂的目标图像则需要降低网络规模，增加识别能力，原理是一样的。

MATLAB BP神经网络训练 30

。

你的程序训练完毕后根本就没达到目标误差，就是说训练效果不好，不能进行预测，只有训练结果好了才能预测仿真，你再改一下隐含层神经元数或者训练和传递函数试试吧~另外输入层的值可以归一化也可以不归一化，归一化后在仿真之前要反归一化。

如何用Tensorflow 快速搭建神经网络

在MNIST数据集上，搭建一个简单神经网络结构，一个包含ReLU单元的非线性化处理的两层神经网络。

在训练神经网络的时候，使用带指数衰减的学习率设置、使用正则化来避免过拟合、使用滑动平均模型来使得最终的模型更加健壮。

程序将计算神经网络前向传播的部分单独定义一个函数inference，训练部分定义一个train函数，再定义一个主函数main。

二、分析与改进设计1.程序分析改进第一，计算前向传播的函数inference中需要将所有的变量以参数的形式传入函数，当神经网络结构变得更加复杂、参数更多的时候，程序的可读性将变得非常差。

第二，在程序退出时，训练好的模型就无法再利用，且大型神经网络的训练时间都比较长，在训练过程中需要每隔一段时间保存一次模型训练的中间结果，这样如果在训练过程中程序死机，死机前的最新的模型参数仍能保留，杜绝了时间和资源的浪费。

第三，将训练和测试分成两个独立的程序，将训练和测试都会用到的前向传播的过程抽象成单独的库函数。这样就保证了在训练和预测两个过程中所调用的前向传播计算程序是一致的。

2.改进后程序设计该文件中定义了神经网络的前向传播过程，其中的多次用到的weights定义过程又单独定义成函数。

通过tf.get_variable函数来获取变量，在神经网络训练时创建这些变量，在测试时会通过保存的模型加载这些变量的取值，而且可以在变量加载时将滑动平均值重命名。

所以可以直接通过同样的名字在训练时使用变量自身，在测试时使用变量的滑动平均值。该程序给出了神经网络的完整训练过程。在滑动平均模型上做测试。

通过tf.train.get_checkpoint_state(mnist_train.MODEL_SAVE_PATH)获取最新模型的文件名，实际是获取checkpoint文件的所有内容。

为什么要用GPU来训练神经网络而不是CPU?

许多现代神经网络的实现基于GPU，GPU最初是为图形应用而开发的专用硬件组件。所以神经网络收益于游戏产业的发展。

中央处理器（centralprocessingunit，简称CPU）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。

CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。CPU出现于大规模集成电路时代，处理器架构设计的迭代更新以及集成电路工艺的不断提升促使其不断发展完善。

从最初专用于数学计算到广泛应用于通用计算。从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU自诞生以来一直在飞速发展。

冯诺依曼体系结构是现代计算机的基础。在该体系结构下，程序和数据统一存储，指令和数据需要从同一存储空间存取，经由同一总线传输，无法重叠执行。

根据冯诺依曼体系，CPU的工作分为以下5个阶段：取指令阶段、指令译码阶段、执行指令阶段、访存取数和结果写回。

基于卷积神经网络的人脸识别不需要对照片进行预处理吗

一般来说，现实的场景太多了，对照片的预处理也不能保证每次都能达到较好的效果，当然好的预处理方法也能有所帮助。

不过目前的深度学习方法多采用数据增强的方法尽可能增加样本的多样性，让网络自己去适应其中的变化。