深度学习之入门基本概念（一）

学习的能力，是智能的本质
大数据的时代造就了人工智能业的发展
深度学习与机器学习的关系：更庞大的神经网络就是深度学习，它属于机器学习
深度学习大多应用于计算机视觉
一张图片被表示为三维数组的形式，每个像素的值从0~255
挑战：照射角度，光照强度，形状改变，部分遮蔽，背景混入…

常规套路：
1.收集数据并给定标签
2.训练一个分类器（神经网络）
3.测试，评估

一 .K近邻算法（KNN）

对于未知类别属性数据集中的点：
1.计算已知类别数据集中的点与当前点的距离
2.按照距离依次排序
3.选取与当前点距离最小的K个点
4…确定前K个点所在类别的出现概率
5.返回前K个点出现频率最高的类别作为当前点预测分类。

KNN算法特点：
1）分类器不需要使用训练集进行训练，训练时间复杂度为0
2）KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n，那么 KNN
的分类时间复杂度为O(n)

如何设置超参数？——交叉验证

背景主导时，我们希望只关注到猫的位置，忽略背景，此时不用K近邻（KNN）。

二.神经网络基础知识点

2.1神经网络之线性分类

问题描述：
这张图片（32 * 32 * 3），比如有10个类别，要求计算每个类别的得分（总共有10类）
解决方法：
将（32 * 32 * 3）的矩阵转化为列向量（3072 * 1），而最终结果是（10 * 1）即十个类别的得分矩阵，因此W的大小是（10 * 3072），并且加入了偏执量b(10 * 1)。权重参数根据特征的重要程度而设置。得到的计算结果最大值即为分类结果。

2.2神经网络之损失函数L

损失函数表示预测值与真实值之间的差值（衡量模型效果）

2.3神经网络之正则化惩罚项

参数为w1和w2的得分一样，但是是两个完全不同的模型，1号模型只关注一部分特征，而2号模型均匀关注所有特征，因此更希望用2号模型。如何得到2号模型？------正则化惩罚项：给损失函数加上惩罚项，从而改变损失函数的值。惩罚项值越大，损失函数值越大。（备注：损失函数除以N是为了说明样本个数不会影响模型的效果）

2.3神经网络之softmax分类器
分类器目的在于把多类别分类的得分值转换为概率值

sigmoid函数可以做成一个得分函数的概率值，横轴为取值，纵轴为概率。（此处分类错误，因此还需要引入惩罚项）
2.4神经网络之最优化–梯度下降，反向传播

• 旨在于找到最优的参数theta从而使损失函数J（theta）最小，核心思想------梯度下降，反向传播
• batchsize：通常是2的整数倍（32，64，128）
• 学习率 alpha：一次学习，更新多大

theta = theta - alpha * grad #参数更新

• 门单元：加法门单元（均等分配），MAX门单元（给最大的），乘法门单元（互换）

三.神经网络

事实上神经元并不存在，只是权重参数的组合计算

3.1激活函数
每层加上的激活函数使得神经网络表达出更强的效果
sigmoid激活函数：易发生梯度消失现象

ReLU激活函数：如今使用较多的

3.2过拟合问题的解决—提高泛化能力

• 加入正则化惩罚项
• DROP-OUT（随机定义数量，并非固定不用某几个神经元）