“东方国信杯”大赛人工智能数学基础-笔记

一、什么是人工智能

1.智能的概念

智能本质：主体对外界环境变化的响应能力。
主体是什么，就是什么智能。

2.相关概念

人工智能是计算机科学的一大分支，一大方向。
机器学习是实现人工智能的一个技术，一个方法。
深度学习是机器学习的一个方法，更准确的说是神经网络的一个方法。
在机器学习算法这张表中，除了神经网络和深度学习以外，其他的方法大都与概率统计有关。
数据挖掘是一个寻找数据内部规律或内部原理的过程。
迁移学习和强化学习均是机器学习的一种方法。

二、深度学习

1.人工神经网络

人工神经网络可以应用于图像识别、无人驾驶、语音识别，人脸识别等。
人工神经网络原理是模仿人的神经网络构造出的网络结构。
人的神经网络的基本结构是神经元，神经元之间的相互连接构成生物神经网络。
生物神经网络是人体神经系统各种重要功能的一个基础。

2.人工神经网络的发展历程

图中的简单神经元模型是不能训练的，但是人工神经网络发展的重要基础。

Hebb提出人对某种事物（刺激）的反应强度是不一样的，会使得某些数值发生变化，体现在数学上为学习率。
Hebb学习率的提出使得神经网络能够训练起来了。为后面的发展奠定了一定的数学基础。
1958年真正的人工神经网络产生了。
该神经网络是由两层神经元模型构成的，被称为感知器or感知机。掀起了人工智能的热潮。
直到1969年，Minsky提出了一个理论证明了感知器的弱点。该理论的提出使得人工神经网络领域陷入了冰河期。
弱点：计算量过大、没有有效的学习方法。
计算量过大——>调参问题、算力问题(硬件支撑问题)
没有有效的学习方法——>算法上的问题

为了解决上述问题，1986年提出BP算法，以及三层神经网络：一层输入、一层输出、中间层为隐藏层。
但依然存在问题：虽然能进行简单的分类问题但是耗时太长；优化困难并且调参也困难。

上面的困难的一部分由1995年提出的支持向量积（SVM）解决了，但仍有算力问题。

直到2006年提出的训练方法为预训练，调参为微调，算法为深度信念网络（也就是今天的深度学习）。


人工神经网络的发展过程与人工智能的发展历程是一致的，因为人工神经网络的发展是模型上的、算法上的发展。
人工智能发展的：
要素：模型、算法；
原料：大数据；支撑：算力（硬件支撑）；
内核：深度学习。
人工智能的落地方向：计算机视觉（看）、语音识别（听）、NLP（自然语言处理）。

三、数学基础

1.线性代数

将研究对象抽象为数学对象。

2.概率论与数理统计

概率论与数理统计是相反的过程。

3.最优化理论

人工智能算法的本质就是寻找最优化的过程。

4.信息论

客观度量信息——熵
p是该事件发生概率，信息量是对事件发生概率的度量，一个事件发生的概率越低，则这个事件包含的信息量越大。
例如，人咬狗，这个事件发生的概率很低，但是如果发生了就会产生很大的议论。

5.形式逻辑

认知过程定义为对符号的逻辑运算，也就是形式主义。

四、数学在人工智能里的应用

1.机器学习算法的基本分类

有监督学习：样本带标签or有老师监督你，大部分是分类、回归问题。有线性、决策树、支持向量积、贝叶斯、神经网络等方法。
无监督学习：有聚类，关联模型。
半监督学习：有推荐模型。
如果一种方法不行的话就会集成多种方法，就是集成学习。简单的理解就是把各种方法打包了然后取优。
强化学习是一个奖惩分明的过程，用奖罚分明这种机制来强化学习。

2.例子-决策树

通过决策树进行分类。
分类器：分类方法。
特征：属性、列；
训练数据；
样本；
标记数据：将样本打标签；



决策树：

用混淆矩阵来评价机器学习模型的好坏。
评价指标：
准确率ACC：分类模型所有判断正确的结果占总观测值的比重；
精确率PPV：在模型预测是Positive的所有结果中，模型预测对的比重；
灵敏度TPR：在真实值是Positive的所有结果中，模型预测对的比重；
特异度TNR：在真实值是Negative的所有结果中，模型预测对的比重。
FI score：p代表Precision精确率，R代表Recall灵敏度。

3.例子-卷积神经网络

卷积神经网络的操作过程：
四个操作：
1.卷积；
2.非线性变换ReLU；
3.池化或子采样；
4.分类（完全连接层）。

图像的本质是像素矩阵。
卷积CONV：
小矩阵在大矩阵上移动，对应位置相乘再相加。得到的矩阵为卷积特征（特征普）。
卷积过程就是矩阵简单运算的过程。

不同的小矩阵提取出图像的不同特征。
小矩阵称为卷积核或过滤器，是卷积神经网络里面的参数，需要通过卷积神经网络训练最后得出的结果。

卷积神经网络中的相关概念：
卷积的深度：过滤器的个数；
步幅：过滤器每次移动的长度；
零填充：在原始矩阵的周围填上一圈0。矩阵卷积出来的大小会被改变，我们也可以提取边缘的特征。
是控制卷积神经网络的重要的参数。

卷积后得到的特征普进行非线性变换ReLU。
进行ReLU的原因是真实世界中大部分事物都是非线性的，我们用函数模拟非线性过程，一般用ReLU函数进行操作

池化POOL：
也叫做采样，如果图像的像素矩阵太大了通过池化来降维。
池化方式：
（较大值）最大池化，（求和）求和池化，（平均值）平均池化等。

卷积——>非线性——>池化——>全连接

全连接FC：这一层神经元与下一层神经元的每一个节点都相互连接。
卷积和池化提取了图像的高级特征，全连接将这些高级特征进行了非线性组合。全连接过程分类过程。
卷积、池化和非线性这三个操作可以互相组合的。


训练过程：
初始化过滤器、参数/权重——>输入，传播，误差反向传播来反复调整参数——>直到达到我们说要求的精度

例子1：图像识别

例子2：人脸识别

例子3：手写数字识别