AI/DL概念介绍

AI, ML 与 DL

AI - Artificial Intelligence,人工智能,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

ML - Machine Learning,机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

DL - 深度学习（Deep Learning）的概念大概是2006年左右由Geoffrey Hinton等人提出来的，主要通过神经网络（Neural Network， NN）来模拟人的大脑的学习过程，希望通过模仿人的大脑的多层抽象机制来实现对数据（画像、语音及文本等）的抽象表达，将features learning和classifier整合到了一个学习框架中，减少了人工/人为在设计features中的工作。“深度学习”里面的深度（Deep）指的就是神经网络多层结构


机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎;Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。


简化一下三者的关系， AI是目标； ML是手段， 通过大数据的应用的方式；DL是模拟人的大脑。ML是对原有方式的学习， 无法超越， 但是DL可以。以下棋举例来说，ML是输入之前下过的路数，通过大数据分析进行运算， 所下的招数是之前出现过的，无法创新， 而DL是模拟人的大脑思维方式，可以创新。

Overfitting

overfittingt是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfitting的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。而解决overfit的方法主要有两种：提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。


在统计学中，过适现象（英语：overfitting，或称：过度拟合）是指在调适一个统计模型时，使用过多参数。对比于可取得的资料总量来说，一个荒谬的模型模型只要足够复杂，是可以完美地适应资料。过适一般可以识为违反奥卡姆剃刀原则。当可选择的参数的自由度超过资料所包含资讯内容时，这会导致最后（调适后）模型使用任意的参数，这会减少或破坏模型一般化的能力更甚于适应资料。过适的可能性不只取决于参数个数和资料，也跟模型架构与资料的一致性有关。此外对比于资料中预期的噪声或错误数量，跟模型错误的数量也有关。
过适现象的观念对机器学习也是很重要的。通常一个学习算法是借由训练范例来训练的。亦即预期结果的范例是可知的。而学习者则被认为须达到可以预测出其它范例的正确的结果，因此，应适用于一般化的情况而非只是训练时所使用的现有资料（根据它的归纳偏向）。然而，学习者却会去适应训练资料中太特化但又随机的特征，特别是在当学习过程太久或范例太少时。在过适的过程中，当预测训练范例结果的表现增加时，应用在未知资料的表现则变更差。

有一次讲座的时候听到了这样一种解释：
如下图， 很多点， 深度学习之后汇出的应该是如图一的趋势图， 这样x 轴任给一个点， y轴能找到对应的值。
如果数据或是运算过分的话， 原有数据的每一个点都包含的话。反而没有规律了。

ResNet

ResNet引入了残差网络结构（residual network），通过残差网络，可以把网络层弄的很深，据说现在达到了1000多层，最终的网络分类的效果也是非常好.
通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络，这样可以解决网络由于很深出现梯度消失的问题，从而可可以把网络做的很深


简单理解一下， 就是在可以跨层直接连线。

几大开源平台

TensorFlow - Google
Torch - Facebook
Caffe - Convolution Architecture For Feature Extraction-


MXNet - Amazon
CNTK  - Computational Network Toolkit - Microsoft
SystemML - IBM

CPU， GPU与 TPU

CPU: Central Processing Unit. 它是一种超大规模的集成芯片，而且是一种通用芯片

GPU: Graphics Processing Unit，中文为图形处理器
GPU最初是用在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上运行绘图运算工作的微处理器。因为对于处理图像数据来说，图像上的每一个像素点都有被处理的需要，这是一个相当大的数据，所以对于运算加速的需求图像处理领域最为强烈，GPU也就应运而生。

TPU: Tensor Processing Unit（张量处理单元）的处理器。在Google I/O 2016的主题演讲进入尾声时，Google的CEO皮采提到了机器学习的专属芯片。

AI, ML 与 DL

AI - Artificial Intelligence,人工智能,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

ML - Machine Learning,机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

DL - 深度学习（Deep Learning）的概念大概是2006年左右由Geoffrey Hinton等人提出来的，主要通过神经网络（Neural Network， NN）来模拟人的大脑的学习过程，希望通过模仿人的大脑的多层抽象机制来实现对数据（画像、语音及文本等）的抽象表达，将features learning和classifier整合到了一个学习框架中，减少了人工/人为在设计features中的工作。“深度学习”里面的深度（Deep）指的就是神经网络多层结构


机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎;Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。


简化一下三者的关系， AI是目标； ML是手段， 通过大数据的应用的方式；DL是模拟人的大脑。ML是对原有方式的学习， 无法超越， 但是DL可以。以下棋举例来说，ML是输入之前下过的路数，通过大数据分析进行运算， 所下的招数是之前出现过的，无法创新， 而DL是模拟人的大脑思维方式，可以创新。

Overfitting

overfittingt是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfitting的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。而解决overfit的方法主要有两种：提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。


在统计学中，过适现象（英语：overfitting，或称：过度拟合）是指在调适一个统计模型时，使用过多参数。对比于可取得的资料总量来说，一个荒谬的模型模型只要足够复杂，是可以完美地适应资料。过适一般可以识为违反奥卡姆剃刀原则。当可选择的参数的自由度超过资料所包含资讯内容时，这会导致最后（调适后）模型使用任意的参数，这会减少或破坏模型一般化的能力更甚于适应资料。过适的可能性不只取决于参数个数和资料，也跟模型架构与资料的一致性有关。此外对比于资料中预期的噪声或错误数量，跟模型错误的数量也有关。
过适现象的观念对机器学习也是很重要的。通常一个学习算法是借由训练范例来训练的。亦即预期结果的范例是可知的。而学习者则被认为须达到可以预测出其它范例的正确的结果，因此，应适用于一般化的情况而非只是训练时所使用的现有资料（根据它的归纳偏向）。然而，学习者却会去适应训练资料中太特化但又随机的特征，特别是在当学习过程太久或范例太少时。在过适的过程中，当预测训练范例结果的表现增加时，应用在未知资料的表现则变更差。

有一次讲座的时候听到了这样一种解释：
如下图， 很多点， 深度学习之后汇出的应该是如图一的趋势图， 这样x 轴任给一个点， y轴能找到对应的值。
如果数据或是运算过分的话， 原有数据的每一个点都包含的话。反而没有规律了。

ResNet

ResNet引入了残差网络结构（residual network），通过残差网络，可以把网络层弄的很深，据说现在达到了1000多层，最终的网络分类的效果也是非常好.
通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络，这样可以解决网络由于很深出现梯度消失的问题，从而可可以把网络做的很深


简单理解一下， 就是在可以跨层直接连线。

几大开源平台

TensorFlow - Google
Torch - Facebook
Caffe - Convolution Architecture For Feature Extraction-


MXNet - Amazon
CNTK  - Computational Network Toolkit - Microsoft
SystemML - IBM

CPU， GPU与 TPU

CPU: Central Processing Unit. 它是一种超大规模的集成芯片，而且是一种通用芯片

GPU: Graphics Processing Unit，中文为图形处理器
GPU最初是用在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上运行绘图运算工作的微处理器。因为对于处理图像数据来说，图像上的每一个像素点都有被处理的需要，这是一个相当大的数据，所以对于运算加速的需求图像处理领域最为强烈，GPU也就应运而生。

TPU: Tensor Processing Unit（张量处理单元）的处理器。在Google I/O 2016的主题演讲进入尾声时，Google的CEO皮采提到了机器学习的专属芯片。