西瓜书《机器学习》阅读笔记之第五章神经网络

• 第5章 神经网络

  • 5.1 神经元模型

    • 神经网络中最基本的成分是神经元 (neuron)模型，即上述定义中的" 简单单元" [P96]

    • 在生物神经网络中 1 每个神经元与其他神经元相连，当它"兴奋"时，就会 向 相连的神经元发送化学物质，从而改变这些神经元 内的电位;如果某神经元的电位超过了 一个"阔值"(threshold ) ， 那么它就会被激活 ? 即 "兴奋 "起来，向其他神经元发送化学物质. [P96]

    • 神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接( connection)进行传递，神经元接收到的总输入值将与神经元的阀值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出. [P96]

    • 

    • 阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数！ [P97]

      

      ---

  • 5.2 感知机与多层网络

    • 感知机 (Perceptron) 由两层神经元组成，如图5.3 所示，输入层接收外界输 入信号后传递给输出层， 输出 层是 M-P 神 经元，亦称"阔值逻辑单元" (threshold logic unit) [P97]

    • 

    • 感知机只有输出层神经元进行激活函数处理，即只拥有层功能神经元 (functionalneuron) ，其学习能力非常有限. [P98]

    • 要解决非线性可分问题，需考虑使用多层功能神经元 . [P99]

    • 输出层与输入层之间的一层神经元，被称为隐居或隐含层 (hidden layer) ，隐含层和输出层神经元都是拥有激活函数的功能神经元. [P99]

    • 每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接 . 这样的神经网络结构通常称为" 多层前馈神经网络" ！ [P99]

      

      ---

    • 其中输入层神经元接收外界输入，隐层与输出层神经元对信弓进行加工，最终结果由输出层神经元输出！ [P100]

    • 神经网络的学习过程，就是根据训练数据来调整神经元之间的"连接权" (connection weight) 以及每个功能神经元的阑值; [P100]

  • 5.3 误差逆传播算法

    • 误差逆传播 (errorBackPropagation，简称 BP)

      现实任务中使用神经网络时，大多是在使用 BP 算法进行训练.值得指出的是，BP算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络，例如训练递归神经网络 [Pineda，1987]. 但通常说 "BP 网络"时，一般是指用 BP 算法训练的多层前馈神经网络. [P100]

    • 先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果;然后计算输出层的误差(第 4-5 行) ，再将误差逆向传播至隐层神经元(第 6 行) ，最后根据隐层神经元的误差来别连接权和|词值进行调整(第 7 行).该法代过程循环进行，直到达到某些停止条件为止 [P103]

    • 

    • 

  • 5.4 全局最小与局部极小

  • 5.5 其他常见神经网络

  • 5.6 深度学习

  • 5.7 阅读材料