浙江大学_包家立计算生物学_神经网络

神经网络一般包括三层
输入层
隐匿层
输出层
每一个输入的数据,与相应的权重进行相乘,得到新的数值进入隐匿层,再隐匿层进行相应的数据变换(即经过激活函数的变换)新得到的数据是否到达激活函数的阈值,又称结果进行下一步的输出 。

浙江大学_包家立计算生物学_神经网络_第1张图片

a(i)是激活函数
o(i)是阈值函数

神经网络的三个要素
1.拓扑结构
分层结构
浙江大学_包家立计算生物学_神经网络_第2张图片
互联网结构
浙江大学_包家立计算生物学_神经网络_第3张图片

2.神经元的特性
即O(i)与neti之间的符合函数之间的关系浙江大学_包家立计算生物学_神经网络_第4张图片
浙江大学_包家立计算生物学_神经网络_第5张图片

sigmoid 函数,其与k值有关,当k无穷大的时候,整个函数区域趋于宇哥连续的[0,1]函数浙江大学_包家立计算生物学_神经网络_第6张图片
3.学习算法

反向传播误差算法
浙江大学_包家立计算生物学_神经网络_第7张图片

浙江大学_包家立计算生物学_神经网络_第8张图片
浙江大学_包家立计算生物学_神经网络_第9张图片
此处的输出层的输入的Xj是隐匿层的输出值

在最终得到的输出值与实际的输出值之间存在一定的误差
此时需要风险函数的存在,进行相应的参数值也即是隐匿层的输入和输出的权重的调整,
浙江大学_包家立计算生物学_神经网络_第10张图片
得到的调整后的最佳的参数,将会使得输入层得输入,预测的结果和真实的结果之间的误差最小,此时的w值是最佳的参数

对于风险函数Δw的修正,主要使用梯度下降法进行修正
在此进行修正的时候,先进行输出层的参数的调整,然后是对隐匿层的参数的调整。
用梯度下降法加增量
E是判别函数
w-kj是输出层的参数浙江大学_包家立计算生物学_神经网络_第11张图片
常数η,通常情况下可以将其简化成1浙江大学_包家立计算生物学_神经网络_第12张图片

浙江大学_包家立计算生物学_神经网络_第13张图片

浙江大学_包家立计算生物学_神经网络_第14张图片

隐匿层的增量

浙江大学_包家立计算生物学_神经网络_第15张图片

浙江大学_包家立计算生物学_神经网络_第16张图片

浙江大学_包家立计算生物学_神经网络_第17张图片

构建神经网络的流程

浙江大学_包家立计算生物学_神经网络_第18张图片

你可能感兴趣的:(机器学习笔记,学习充电)