神经网络参数调整方法,神经网络的优化算法
如何选择SVM，逻辑回归和神经网络算法
神经网络的设计要用到遗传算法，遗传算法在神经网络中的应用主要反映在3个方面：网络的学习，网络的结构设计，网络的分析。1．遗传算法在网络学习中的应用在神经网络中，遗传算法可用于网络的学习。
这时，它在两个方面起作用(1)学习规则的优化用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。(2)网络权系数的优化用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。
2．遗传算法在网络设计中的应用用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。
编码方法主要有下列3种：(1)直接编码法这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。
(2)参数化编码法参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。
(3)繁衍生长法这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。
这种方法与自然界生物地生长进化相一致。3．遗传算法在网络分析中的应用遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。
遗传算法可对神经网络进行功能分析，性质分析，状态分析。遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。
首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。
对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。
谷歌人工智能写作项目：爱发猫
《matlab神经网络30个案例分析》 第13章的SVM参数优化用的是什么方法? 代码如下
bp神经网络的算法改进一共有多少种啊！麻烦举例一下！
。
改进点主要在以下几个方面1激励函数的坡度———————误差曲面的平台和不收敛现象————————————————激励函数中引入陡度因子，分段函数做激励函数2误差曲面——————误差平方做目标函数，逼近速度慢，过拟合————————————————标准误差函数中加入惩罚项————————————————信息距离和泛化能力之间的关系，构建新的神经网络学习函数3网络初始权值的选取—————————通常在【0,1】间选取，易陷入局部最小—————————————————复合算法优化初始权值—————————————————Cauchy不等式和线性代数方法得最优初始权值4改进优化算法————————标准BP采用梯度下降法，局部最小收敛慢——————————————————共扼梯度法、Newton法、Gauss一Ncwton法、Lvenber_Marquardt法、快速传播算法——————————————————前馈网络学习算法，二阶学习算法，三项BP算法，最优学习参数的BP算法。
5.优化网络结构————————拓扑结构中网络层数、各层节点数、节点连接方式的不确定性——————————————构造法和剪枝法（权衰减法、灵敏度计算方法等）——————————————网络结构随样本空间进行变换，简化网络结构6混合智能算法————————与遗传算法、进化计算、人工免疫算法、蚁群算法、微粒群算法、————————模糊数学、小波理论、混沌理论。
细胞神经网络。
神经网络中的数学知识
神经网络的设计要用到遗传算法，遗传算法在神经网络中的应用主要反映在3个方面：网络的学习，网络的结构设计，网络的分析。1．遗传算法在网络学习中的应用在神经网络中，遗传算法可用于网络的学习。
这时，它在两个方面起作用(1)学习规则的优化用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。(2)网络权系数的优化用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。
2．遗传算法在网络设计中的应用用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。
编码方法主要有下列3种：(1)直接编码法这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。
(2)参数化编码法参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。
(3)繁衍生长法这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。
这种方法与自然界生物地生长进化相一致。3．遗传算法在网络分析中的应用遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。
遗传算法可对神经网络进行功能分析，性质分析，状态分析。遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。
首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。
对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。
bp神经网络用啥算法？
自己找个例子算一下，推导一下，这个回答起来比较复杂神经网络对模型的表达能力依赖于优化算法，优化是一个不断计算梯度并调整可学习参数的过程，Fluid中的优化算法可参考 优化器 。
在网络的训练过程中，梯度计算分为两个步骤：前向计算与 反向传播 。前向计算会根据您搭建的网络结构，将输入单元的状态传递到输出单元。
反向传播借助 链式法则 ，计算两个或两个以上复合函数的导数，将输出单元的梯度反向传播回输入单元，根据计算出的梯度，调整网络的可学习参数。BP算法隐层的引入使网络具有很大的潜力。
但正像Minskey和Papert当时所指出的．虽然对所有那些能用简单(无隐层)网结解决的问题有非常简单的学习规则，即简单感知器的收敛程序(主要归功于Widrow和HMf于1960年提出的Delta规刚)，BP算法但当时并没有找到同样有技的含隐层的同培的学习规则。
对此问题的研究有三个基本的结果。一种是使用简单无监督学习规则的竞争学习方法．但它缺乏外部信息．难以确定适台映射的隐层结构。第二条途径是假设一十内部(隐层)的表示方法，这在一些先约条件下是台理的。
另一种方法是利用统计手段设计一个学习过程使之能有技地实现适当的内部表示法，Hinton等人(1984年)提出的Bolzmann机是这种方法的典型例子．它要求网络在两个不同的状态下达到平衡，并且只局限于对称网络。
Barto和他的同事(1985年)提出了另一条利用统计手段的学习方法。
但迄今为止最有教和最实用的方瑶是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法则，即反向传播(BP)算法。
Parter(1985年)也独立地得出过相似的算法,他称之为学习逻辑。此外，Lecun(1985年)也研究出大致相似的学习法则。
想问一下，蚁群算法如何优化神经网络，最好能给一个matlap程序
蚁群算法(antcolonyoptimization,ACO)，又称蚂蚁算法，是一种用来在图中寻找优化路径的机率型算法。
它由MarcoDorigo于1992年在他的博士论文中提出，其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种模拟进化算法，初步的研究表明该算法具有许多优良的性质。
针对PID控制器参数优化设计问题，将蚁群算法设计的结果与遗传算法设计的结果进行了比较，数值仿真结果表明，蚁群算法具有一种新的模拟进化优化方法的有效性和应用价值。
程序已经上传到附件，手机看不到附件请用电脑下载。可以告诉你，这个程序内部有错，但是参考价值依然很大，因为大部分代码可以重用。我搞过蚁群算法，其实这个算法非常吃参数，如果参数不协调，效果很差。
建议你换种算法。