【个人笔记】图解深度学习

以下为本人通过图解深度学习里总结记录的笔记，如有误欢迎交流。

1.经过了两次起伏，第二次：线性不可分问题。
27。神经网络：使用图的意义进行编码这一思路，与神经和网络无关系，更应该叫做：分层表示学习，层级表示学习，深度可微模型，链式几何变化。
2.BP：误差反向传播算法。

▲W：权重调整值
η：学习率

3.权重调整值的计算就是对误差函数，激活函数以及连接权重分别进行求导的过程——chain rule
4.权重调整值趋近于0，所以无法调整连接权重。这就是误差反向传播算法中梯度消失导致无法调整连接权重问题。可通过调整η解决
5.激活函数：对输入信号进行线性或非线性变化。
6.池化层：减小卷积层的尺寸，从44到22
7.CNN：调整参数时，重要的是先调整卷积层的卷积核个数，激活函数的种类以及输入图像的预处理。
8.多层神经网络：模式识别
9.相互连接型网络：通过联想记忆去除输入数据中的噪声。
10.对比散度算法：近似算法，能够通过较少的迭代次数求出参数调整值。
11.深度信念网络：首先训练输入层和隐藏层之间的参数，把训练后得到的参数作为下一次的输入，再调整该层与下一个隐藏层之间的参数。
————在最顶层级联一个softmax层（他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1）
12.受限玻尔兹曼机可用于CNN的预训练，提供堆叠式想法，两层结构。
13.自编码器：数据维度压缩算法

将原始数据压缩维度将中间的Code用于输入神经网络，大大减小运算量，通过输出维度展开可极大还原输入图像。
14.降噪自编码器：样本→加入噪声→自编码器→重构；计算样本到重构的误差，把不含噪声的数据作为要重构的数据。
15.稀疏自编码器：将稀疏正则化引入自编码器，使大部分单元输出为0，利用少数单元有效完成压缩与重构。
16.少量数据可通过数据增强的方式强化神经网络。例如，平移、旋转、颜色变换、几何变换、随机噪声等。
17.预处理：均值减法，均一化，白化。以消除数据的相关性。
18.Dropout：提高网络泛化能力，防止过拟合，杀死部分神经元。相对DropConnect好一些。
19.R-CNN：区域卷积神经网络：将CNN当特征提取区使用。
20.机器学习：①输入数据点②预期输出的示例③衡量算法效果好的方法（属于监督学习）

21.深度学习的应用范围：分类，回归，序列预测
22.无监督学习方法：降维，聚类
23.生成式深度学习：能够对下一个标记的概率进行建模的任何网络都称为语言模型。语言模型能够捕捉到语言的潜在空间，即语言的统计结构。
24.①贪婪采样：非1即0.②随机采样
25.Deep Dream：艺术性图像修改技术；反向CNN，梯度上升，图像元素扭曲
26.将数据转换为程序叫做学习。
27.神经网络：使用图的意义进行编码这一思路，与神经和网络无关系，更应该叫做：分层表示学习，层级表示学习，深度可微模型，链式几何变化。
28。关键网络架构：密集连接网络，卷积网络，循环网络。