深度学习知识

1、深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

2、

image.png

3、https://www.jianshu.com/p/27e9f1451882

4、那什么是深度学习呢？深度学习简单点说就是一种为了让层数较多的多层神经网络可以训练，能够运行起来而演化出来的一系列的新的结构和新的方法。

5、流行的深度学习网络结构有"CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)

6、卷积神经网络：（卷积层、全连接层、ReLU层、汇聚层）

卷积层(神经元权重和输入数据体进行卷积，网络会让滤波器学习到当它看到某些类型的视觉特征时就激活)

汇聚层：降低数据体空间的尺寸(减少网络中的参数数量、使得计算资源耗费变少、能有效控制过拟合)

归一化层(少用了)

全连接层(神经元对于前一层中的所有激活数据是全部连接的)

全连接层和卷积层之间唯一的不同就是卷积层中的神经元只与输入数据中的一个局部区域连接，并且在卷积列中的神经元共享参数。然而在两类层中，神经元都是计算点积，所以它们的函数形式是一样的。

7、

image.png

https://www.cnblogs.com/subconscious/p/4107357.html

image.png

8、仿射函数和线性函数的区别

仿射函数即由 1 阶多项式构成的函数，一般形式为 f (x) = A x + b，这里，A 是一个 m×k 矩阵，x 是一个 k 向量，b 是一个 m 向量，实际上反映了一种从 k 维到 m 维的空间映射关系。

设 f 是一个矢性（值）函数，若它可以表示为 f(x1,x2,…,xn)=A1x1+A2x2+…+Anxn+b，其中 Ai可以是标量，也可以是矩阵，则称 f 是仿射函数。其中的特例是，标性（值）函数 f(x)=ax+b ，其中 a、x、b 都是标量。此时严格讲，只有 b=0 时，仿射函数才可以叫“线性函数”（“正比例”关系）。

9、

image.png

https://blog.csdn.net/u012162613/article/details/44261657

10、梯度下降：

image.png