数据仓库与数据挖掘-神经网络 个人笔记

声明：文中内容基于山东某高校数据挖掘课程的课件，本系列文章为课程内容的个人总结以及笔记内容。

神经网络

感知机（M-P神经元模型）

感知机激活函数

BP神经网络

异或问题


多层神经网络下的异或问题


p、q为输入，OR、NAND为隐藏层，AND为输出

多层神经网络的激活函数：Sigmoid(x)

BP神经网络的结构

BP神经网络的应用例子

把整个数据集根据训练集：验证集 为 7：3的比例进行划分
（1）设计神经网络模型： 此处以Sigmoid(x)为例

（2）将第一年的数据进行归一化处理（数据预处理）

处理结果：

（3）初始化BP神经网络参数
1、权重值w均为0.1
2、偏倚值θ均为0.2
3、学习率L=0.4（学习速率一般选取为0.01-0.8）
初始化的参数一般为[-1,1]之间随机产生的小数。

（4）将输入层数据导入隐藏层第一个神经节点内进行运算

（5）将输入层数据导入隐藏层第二个神经节点内进行运算

（6）将隐藏层数据导入输出层神经节点内进行运算

最后计算的输出值为

而实际的值为：

（7）计算输出节点的数据误差。

（8）计算隐藏节点的数据误差

（9）调整各节点的权重

得出调整后的权重：

（10）调整各节点的偏倚


将参数更新之后就可以继续处理第二年的数据，知道八年的数据全部输入运算完毕，这就是神经网络的一个训练周期。

BP神经网络的学习过程：

BP算法是一种有监督是的学习算法，其主要思想为： 输入学习样本使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能的接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。