机器学习 西瓜书 第五章神经网络 读书笔记

第5章 神经网络
5.1 神经元模型
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界所作出的交互反应
神经网络中最基本的成分是神经元(neuron)模型
当神经元兴奋时，就会向相邻的连的神经元传递化学物质，从而改变这些神经元的电位；
如果某神经元的电位超过了阈值（threshold），那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质
M-P 神经元模型
神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递
神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数（activation function）处理以产生神经元的输出
5.2 感知机与多层网络
感知机（Perceptron）由两层神经元组成
输入层
接收外界输入信号后传递给输出层
输出层
M-P神经元，亦称“阈值逻辑单元（threshold logic unit）”
问题类型
线性可分
单层神经元
非线性可分
多层神经元
神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权以及每个功能神经元的阈值，神经网络“学到”的东西，蕴含在连接权与阈值中
5.3 误差逆传播算法
误差逆传播算法（error Back Propagation）
BP 算法基于梯度下降（gradient desent）策略，以目标的负梯度方向对参数进行调整
BP 算法的目标是要最小化训练集 上的累积误差
5.4 全局最小与局部极小
神经网络的训练过程可看作一个参数寻优过程 即在参数空间中，寻找一组最优参数使得误差E最小.
误差
“局部极小” (local minimum)
“全局最小” (global minimum)
5.5 其他常见神经网络
5.5.1 RBF网络
RBF(Radial basis Function，径向基函数)网络，单隐层前馈神经网络
5.5.2 ART网络
AR,T(Adaptive Resonance Theory，自适应谐振理论)网络，竞争型学习的重要代表
5.5.3 SOM 网络
SOM(Self-Organizing Map) ，自组织映射)网络，竞争学习型的无监督神经网络
5.5 级联相关网络
级联相关(Cascade-Correlation)，结构自适应网络的重要代表
5.5.5 Elman 网络
5.5.6 Boltzmann 机
5.6 深度学习
无监督逐层训练
无论是 DBN还是CNN，其多隐层堆叠、每层对上一层的输出进行处理的机制，可看作是在对输入信号进行逐层加工，从而把初始的、与输出目标之间联系不太密切的输入表示，转化成与输出目标联系更密切的表示，使得原来仅基于最后一层输出映射难以完成的人物成为可能