神经网络损失函数不下降,神经网络参数优化算法

1、matlab支持向量机预测数据怎么减小相对误差

采用网格搜索法。基于长短时记忆神经网络算法的支持向量机的预测方法，为了保证支持向量机预测结果的准确性减小相对误差，选用网格搜索法对支持向量机参数进行优化处理。为了减小在预测算法中，由于误差的传递导致最终预测结果与实际结果产生较大偏离，在预测运算过程中对采用长短时记忆神经网络组合预测，对预测结果进行组合。

谷歌人工智能写作项目：小发猫

2、BP神经网络误差如何提高

你好，误差大，第一步需要尝试的是做归一化处理参考：一个技术宅的学习笔记。有线性归一化，有对数函数归一化等等，这个你可以去网上搜索数据归一化方法，有相关的代码，应该。
第二部需要做出的改动是隐层节点数量，如果节点数量太多，那么结果的随机性就会很大，如果太少，那么复杂数据的规律计算不出来。多少层节点最合适，这个目前除了一个一个试没有更好的办法。但是你会发现每一个相同的结构计算出的结果却不尽相同，这个时候就需要考虑后续的问题。
第三步尝试，变换transfer function。麻烦你查查字典，因为我不是用中文学的神经网络。我姑且翻译成传输函数。传输函数在matlab中内建了3中 pureline logsig tansig。分别有不同的应用范围。因为没看到你的数据，我也不清楚具体应该推荐你用哪一种。不过你可以去网上搜索一下三种传输函数的特点。
如果有用请给“采纳”谢谢。

3、MATLAB神经网络BP，误差超大，怎样调试是误差更接近目标值？主要调试哪些参数？谢谢。。。

被推荐的答案倒是没说错，基本上和没说一样…… 就好比问怎么安排时间，回答一个“合理安排时间”……
误差大，第一步需要尝试的是做归一化处理。有线性归一化，有对数函数归一化等等，这个你可以去网上搜索数据归一化方法，有相关的代码，应该。
第二部需要做出的改动是隐层节点数量，如果节点数量太多，那么结果的随机性就会很大，如果太少，那么复杂数据的规律计算不出来。多少层节点最合适，这个目前除了一个一个试没有更好的办法。但是你会发现每一个相同的结构计算出的结果却不尽相同，这个时候就需要考虑后续的问题。
第三步尝试，变换transfer function。麻烦你查查字典，因为我不是用中文学的神经网络。我姑且翻译成传输函数。传输函数在matlab中内建了3中 pureline logsig tansig。分别有不同的应用范围。因为没看到你的数据，我也不清楚具体应该推荐你用哪一种。不过你可以去网上搜索一下三种传输函数的特点。
一般情况下，前三步已经可以解决问题了。
如果不行，那么你需要尝试的就是比较高级的内容了。尝试一下，不行再追问。

4、自己用matlab实现的BP神经网络算法，无法得到预期的效果，主要是误差太大 5

lr=0.05; %lr为学习速率；
err_goal=0.1; %err_goal为期望误差最小值
max_epoch=15000; %max_epoch为训练的最大次数；
a=0.9; %a为惯性系数
Oi=0;
Ok=0; %置隐含层和输出层各神经元输出初值为0
这些初始参数是谁提供给你?
调整一下这些参数看看.

5、人工神经网络评价法

人工神经元是人工神经网络的基本处理单元，而人工智能的一个重要组成部分又是人工神经网络。人工神经网络是模拟生物神经元系统的数学模型，接受信息主要是通过神经元来进行的。首先，人工神经元利用连接强度将产生的信号扩大；然后，接收到所有与之相连的神经元输出的加权累积；最后，将神经元与加权总和一一比较，当比阈值大时，则激活人工神经元，信号被输送至与它连接的上一层的神经元，反之则不行。

人工神经网络的一个重要模型就是反向传播模型(Back-Propagation Model)(简称BP模型)。对于一个拥有n个输入节点、m个输出节点的反向传播网络，可将输入到输出的关系看作n维空间到m维空间的映射。由于网络中含有大量非线性节点，所以可具有高度非线性。

(一)神经网络评价法的步骤

利用神经网络对复垦潜力进行评价的目的就是对某个指标的输入产生一个预期的评价结果，在此过程中需要对网络的连接弧权值进行不断的调整。

(1)初始化所有连接弧的权值。为了保证网络不会出现饱和及反常的情况，一般将其设置为较小的随机数。

(2)在网络中输入一组训练数据，并对网络的输出值进行计算。

(3)对期望值与输出值之间的偏差进行计算，再从输出层逆向计算到第一隐含层，调整各条弧的权值，使其往减少该偏差的方向发展。

(4)重复以上几个步骤，对训练集中的各组训练数据反复计算，直至二者的偏差达到能够被认可的程度为止。

(二)人工神经网络模型的建立

(1)确定输入层个数。根据评价对象的实际情况，输入层的个数就是所选择的评价指标数。

(2)确定隐含层数。通常最为理想的神经网络只具有一个隐含层，输入的信号能够被隐含节点分离，然后组合成新的向量，其运算快速，可让复杂的事物简单化，减少不必要的麻烦。

(3)确定隐含层节点数。按照经验公式：

灾害损毁土地复垦

式中：j——隐含层的个数；

n——输入层的个数；

m——输出层的个数。

人工神经网络模型结构如图5-2。

图5-2人工神经网络结构图(据周丽晖，2004)

(三)人工神经网络的计算

输入被评价对象的指标信息(X1，X2，X3，…，Xn)，计算实际输出值Yj。

灾害损毁土地复垦

比较已知输出与计算输出，修改K层节点的权值和阈值。

灾害损毁土地复垦

式中：wij——K-1层结点j的连接权值和阈值；

η——系数(0＜η＜1)；

Xi——结点i的输出。

输出结果：

Cj＝yj(1-yj)(dj-yj) (5-21)

式中：yj——结点j的实际输出值；

dj——结点j的期望输出值。因为无法对隐含结点的输出进行比较，可推算出：

灾害损毁土地复垦

式中：Xj——结点j的实际输出值。

它是一个轮番代替的过程，每次的迭代都将W值调整，这样经过反复更替，直到计算输出值与期望输出值的偏差在允许值范围内才能停止。

利用人工神经网络法对复垦潜力进行评价，实际上就是将土地复垦影响评价因子与复垦潜力之间的映射关系建立起来。只要选择的网络结构合适，利用人工神经网络函数的逼近性，就能无限接近上述映射关系，所以采用人工神经网络法进行灾毁土地复垦潜力评价是适宜的。

(四)人工神经网络方法的优缺点

人工神经网络方法与其他方法相比具有如下优点：

(1)它是利用最优训练原则进行重复计算，不停地调试神经网络结构，直至得到一个相对稳定的结果。所以，采取此方法进行复垦潜力评价可以消除很多人为主观因素，保证了复垦潜力评价结果的真实性和客观性。

(2)得到的评价结果误差相对较小，通过反复迭代减少系统误差，可满足任何精度要求。

(3)动态性好，通过增加参比样本的数量和随着时间不断推移，能够实现动态追踪比较和更深层次的学习。

(4)它以非线性函数为基础，与复杂的非线性动态经济系统更贴近，能够更加真实、更为准确地反映出灾毁土地复垦潜力，比传统评价方法更适用。

但是人工神经网络也存在一定的不足：

(1)人工神经网络算法是采取最优化算法，通过迭代计算对连接各神经元之间的权值不断地调整，直到达到全局最优化。但误差曲面相当复杂，在计算过程中一不小心就会使神经网络陷入局部最小点。

(2)误差通过输出层逆向传播，隐含层越多，逆向传播偏差在接近输入层时就越不准确，评价效率在一定程度上也受到影响，收敛速度不及时的情况就容易出现，从而造成个别区域的复垦潜力评价结果出现偏离。

6、BP神经网络在线学习的误差计算方法

标准BP算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮训的方法称为“单样本训练”。由于单样本训练遵循的是只顾眼前的“本位主义”原则，只针对每个样本产生的误差进行调整，难免顾此失彼，使训练次数增加，导致收敛速度过慢。因此，有另外一种方法，就是在所有样本输入之后，计算网络的总误差，再根据总误差调整权值，这种累积误差的批处理方式称为“批训练”或“周期训练”。在样本数较多时，批训练比单样本训练的收敛速度更快。

7、神经网络手写数字识别，总误差一直降不下来

上图是解决问题的神经网络模型，它是一个三层神经网络。对于这样的神经网络，我们要解决问题，必须要有训练集来训练它。
我们所用到的训练集：大量28x28像素的图片（这些图片通过扫描一些手写数字得到），这些输入的像素是灰度级的，0.0代表白色，1.0代表黑色，介于两者之间为灰色。
由训练集可知，我们的input layer应该有28x28=784个neurons，上图简略了一些。
第二层是hidden layer，我们设置它的neurons有n个，上图中n=15
第三层是output layer，它有10个neurons（因为数字无非就是0~9），并且我们假定，如果第一个neuron被激活，ouput=1，那么就说是被到的数字为0，以此类推。（这个时候大家可能会问，要是多个neurons被激活呢？原文中说要取最大值的那个，但是如果有两个最大值，或者有两个以上最大值呢？）