神经网络和深度学习——基础概念理解

神经网络和深度学习——基础概念理解

---

序号	概念	理解
1	神经网络	一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，该模型依靠系统的复杂程度，通过调整内部节点之间相互联系的关系，从而达到处理信息的目的，通俗来讲，就是让机器能像人一样思考，实现“真智能”
2	深度学习	训练深度神经网络的过程
3	Supervised Learning	监督学习，利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，训练集必须由带标签的样本组成
4	Unsupervised Learning	非监督学习，训练集的样本不带标签
5	Semi-Supervised Learning	半监督学习，用少量有标签的样本和大量没有标签的样本进行训练和分类
6	CNN	Convolution Neural Network，卷积神经网络，一般用于图像数据
7	RNN	Recurrent Neural Networks，循环神经网络（递归神经网络），用于序列数据
8	pooling	池化：也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性，通过池化层，使得原本4*4的特征图压缩成了2*2，从而降低了特征维度
9	SVM	支持向量机，是一类按照监督学习的方式对数据进行二分类的广义线性分类器
10	结构化数据	主要表示数据库数据，数据的内容明确定义，计算机较容易理解
11	非结构化数据	音频、视频等没有明确含义的数据，计算机较难理解
12	神经元模型	包含输入、输出和计算功能的模型
13	特征向量	输入到神经网络中的向量
14	随机初始化	将所有的权值W初始化为（-ε—+ε）之间的数，更好的利用神经网络的学习能力
15	logistic回归	逻辑回归，预测过程中使用公式：z=dot(w,x)+b
16	损失函数	（误差函数）定义在单个样本上，衡量算法在单个训练样本上的表现
17	成本函数	（代价函数），衡量算法在全部样本上的表现
18	激活函数	套在逻辑回归外面的函数，对逻辑回归的计算结果做一个非线性计算，使得神经网络的表现力更好
19	σ函数	把Z映射到0-1之间，存在梯度消失
20	tanh 函数	把Z映射到-1—1之间，存在梯度消失
21	relu函数	不会出现梯度消失，收敛速度快
22	计算图	有向图，其中节点对应于数学运算, 是表达和评估数学表达式的一种方式。
23	向量化	实现矩阵计算，消除代码中显式for循环的语句，提高运行速度
24	python广播	如果你有一个m*n的矩阵，让它加减乘除一个1*n的矩阵，它会被复制m次，成为一个m*n的矩阵，然后再逐元素地进行加减乘除操作。同样地对m*1的矩阵成立
25	神经网络的梯度下降法	迭代求解，得到最小化的损失函数和模型参数值
26	前向传播	利用公式Y=f（WX+b）求神经网络模型输出的过程
27	反向传播	利用了链式求导的性质，在多层的非线性神经元上找到输出误差和权重的导数关系，完成神经网络的训练