ML经典算法：神经网络（1）

        机器学习中谈论神经网络时指 的是"神经网络学 习 " 或者说，是机器学习与神经网络这两个学科领域的交叉部分 。

---

1. 神经元

        神经网络 (neural networks)是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
        神经网络中最基本的成分是神经元 (neuron)模型，即"简单单元"。
        在生物神经网络中每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元 内的电位;如果某神经元的电位超过了 一个"阔值" (threshold) ， 那么它就会被激活，即 "兴奋 "起来，向其他神经元发送化学物质。
        下图是最常用的"M-P 神经元模型 " ：

        在这个模型 中 ， 神经元接收到来自 n 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接( connection)进行传递，神经元接收到的总输入值将与神经元 的阀值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出。

        理想中的激活函数是图 5 .2(a) 所示的阶跃函数，它将输入值映射为输出值 “0” 或"1"， “1” 对应于神经元兴奋 ， “0” 对应于神经元抑制 。然而，阶跃函数具有不连续 、不光滑等不太好的性质，因此实际常用Sigmoid函数如图 5.2(b) 所示作为激活函数典型的 Sigmoid 函数它把可能在较大范围内变化的输入值挤压到 (0， 1) 输出值范围内，因此有 时也称为 “挤压函数” (squashing function)

        把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络 。

2. 感知机与多层网络

2.1感知机

        感知机(Perceptron) 由两层神经元组成，输入层接收外界输入信号后传递给输出层， 输出层是 M-P 神经元。感知机能容易地实现逻辑与、或、非运算 。下面是一个感知机例子：

• "与 " (Xl ^X2) : 令 ωl=ω2 = 1, e= 2 ， 则 ν = f(l * Xl + 1 *X2 - 2) ，仅在 Xl = X2 = 1 时 ， y = 1;
• "或 " (X1 V X2): 令 ω1= ω2= 1, e = 0.5，则 ν = f(l* X1 + 1* X2 - 0.5) ,当 X1 = 1 或 X2 = 1 时 ， y = 1;
• "非 " (-X1): 令 ω1 = -0.6 ， ω2 = 0, e = -0.5，则 ν = f(-0.6*Xl + 0**X2 +0.5）时，当 Xl = 1 时 ， y =0; 当 Xl = 0 时 ， y = 1.

        对训练样例（x， y) ， 若当前感知机的输出为y^，感知机学习规则：

2.2 多层网络

        上述的与、或和非问题都是现性可分问题，但感知机不能解决非线性可分问题，如：异或。要解决非线性可分问题，需考虑 多层功能神经元 。输出 层与输入居之间的一层神经元，被称为隐层或隐含层 (hidden layer)，隐含层和输出层神经元都是拥有激活函数的功能神经元。
        常见的神经网络是形如下图所示的层级结构，每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为" 多层前馈神经网络 "。

3. 误差逆传播算法

        误差逆传播 (error BackPropagation，简称 BP)算法是迄今最成功的神经网络学习算法。现实任务中使用神经网络时，大多是在使用 BP 算法进行训练。

---

        下面我们来看看 BP 算法究竟是什么样：

        下面是我做的BP算法推导PPT，分享给大家：