[杂]大数据和深度学习（讲座总结）

河海大学 王志坚 学术报告

• 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
• 人工智能是对人的意识、思维的信息过程的模拟。

• 人工智能领域的研究包括:
  机器人、语言识别、图像识别、自然语言处理等。

• 机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。

• 人工智能的发展：
  *逻辑证明器、感知器（算法的NP问题）
  *专家系统（应用的封闭问题）
  *深度学习（特征的自动提取）

• P问题、NP问题
  *P多项式时间，一个复杂问题若能在多项式时间内解决，则称P问题，即计算机可在有限时间内完成计算。
  *NP非确定性多项式时间，一个复杂问题不能确定在多项式时间内解决。
  *若寻得算法使问题在多项式时间内解决，则证得：P=NP。
  *比NP更难：NP完全&NP-hard。

• 大数据
  *Volume
  *Variety
  *Value
  *Velocity

• 大数据与“大规模数据”区别：
  数据间的结构性、关联性。

• “大数据”概念包含着对数据对象的处理行为，即快速挖掘和展现其中蕴含着的有价值信息。

• “从特殊到特殊”：因为大数据中已经包含了足够多的“特殊”样本。

• 大数据处理平台Hadoop， Spark
  *Hadoop是最为流行的大数据处理平台，是一个开源的、可运行于大规模集群上的分布式并行编程框架，由分布式文件系统（如HDFS）、数据库（如HBase，属于NoSQL类型的数据库）、数据处理模块（如分布式编程模型MapReduce）等组成。
  借助于Hadoop，程序员可以轻松地编写分布式并行程序，将其运行于大规模集群上，从而完成大数据的计算。
  *Spark ：另一个高效的分布式并行计算系统，通用性更好、迭代运算效率更高、容错能力更强，目前其发展势头正逐渐盖过Hadoop。

• 大数据是指不能在期望时间能得到结果
  （知其存在，找不出来）
  深度学习是大数据处理的一种有效方法。
  （特征分层，自动提取）

• 深度学习（Deep Learning）

• “有监督的学习”：需要人工输入初始数据，有时候还要对识别结果进行判断，由此促进机器的学习速度．
• 深度学习是一种“无监督的学习”．它基于一种学术假设：即人类对外界环境的了解过程最终可以归结为一种单一算法，而人脑的神经元可以通过这种算法，分化出识别不同物体的能力．这个识别过程甚至完全不需要外界干预．
• 复杂由基本构成：
  不断迭代、不断抽象，大脑是一个深层架构，认知过程也是深度的。
• Low-Level sensing–>{ Pre-Processing–>Feature extract
  –>Feature selection }–>【Inference(推理）；prediction；recognition；】
  Ps：{}为特征表达，一般人工。【】为机器学习。
• 自动的特征提取–>深度学习
• 特征的表示粒度：特征具有结构性（或含义）时，学习算法才发挥作用。

• 对于深度学习，其思想就是堆叠多个层，即这一层的输出作为下一层的输入。
  实现对输入信息进行分级表达。

• 浅层学习（Shallow Learning）

• 20世纪80年代末期，出现了人工神经网络的反向传播算法（也叫BP算法）。
  利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型。

• 20世纪90年代，浅层机器学习模型：
  例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。

• 多隐层的人工神经网络

• 2006年，加拿大多伦多大学教授Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：
  1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
  2）深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。

• 利用大数据来学习特征

• 深度学习的实质：通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
• “深度模型”是手段，“特征学习”是目的。

• 区别于传统的浅层学习，深度学习的不同在于：
  1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；
  2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

• 深度学习动机是建立、模拟人脑进行分析学习的神经网络，通过模仿人脑的机制来解释数据，例如图像，声音和文本。

• 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
• 深度学习的局限性：
  *缺乏理论支持
  *缺乏推理能力
  *缺乏短时记忆能力