第五章 深度学习

浅层学习：分段学习

深度学习是端到端学习，通过卷积、池化和误差反向传播等手段，进行特征学习。

深度学习所得模型可视为一个复杂函数，非线性变换与映射的过程就是从像素点到语义之间的转换。

刻画神经元功能的数学模型

常用激活函数：对输入信息进行非线性变换

前馈神经网络

各个神经元接受前一级的输入，并输出到下一级，模型中没有反馈。

层与层之间通过全连接进行链接，即两个相邻层之间的神经元完全成对连接，但层内的神经元不相互连接。

感知机网络：

• 是一种特殊的前馈神经网络；
• 无隐藏层，只有输入层/输出层；
• 无法拟合复杂的数据；

优化网络参数

从标注数据出发，优化模型参数：

参数优化

梯度下降

梯度下降算法是一种是的损失最小化的方法。一元变量所构成函数f在x处梯度为：

• 在多元函数中，梯度是对每一变量所求导数组成的向量；
• 梯度的反方向是函数值下降最快的方向

误差反向传播

• BP算法是一种将输出层误差反向传播给隐藏层进行参数更新的方法；
• 将误差从后向前传递，将误差分摊给各层所有单元，从而获得各层单元所产生的误差，进而一句这个误差来让各层单元负起各自责任、修正各单元参数；

前向传播：

反向传播：

1. 梯度计算；
2. 更新参数；

卷积神经网络

卷积操作：图像经过特定矩阵滤波后，所得到的卷积结果可认为是保留了像素点所构成的特定空间分布模式。

非线性映射：在对原始图像做卷积操作后，可使用Relu激活函数对卷积函数对卷积后结果进行处理。

池化操作：

• 对输入的特征图进行下采样，以获得最主要信息；
• 常用的池化操作：最大池化、平均池化；

全连接层：特征图转换成向量；

分类层：输出识别分类的置信度值；

自然语言理解

• 在基于规则和统计的自然语言传统方法中，将单词作为独立符号；
• 在向量空间中，一个单词按照其在文档中出现的有无，被表示为如下向量（按照字典序），这种表示方法称为One-hot向量；

缺点：

• 维数灾难的困扰；
• 无法刻画词与词之间的相似性：任意两个词之间都是孤立的；

词向量：

• One-hot表达与单词分布无关；
• 通过深度学习方法，将单词表征为K维实数值向量。这样，把文本内容分析简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似。用深度学习算法生成每个单词的向量表达所有单词的向量表达组成了一个“词向量空间”；

 视觉分析