深度学习笔记1

    自学笔记

第1章 引言

    人工智能真正的挑战在于解决那些对人类来说容易执行、但很难形式化描述的任务。如何将非形式化的知识传给计算机呢？AI深度学习可以让计算机从经验中学习，并根据层次化的概念体系来理解世界。一些人工智能项目力求将关于世界的知识用形式化的语言进行编码（hard-code），使计算机可以使用逻辑推理规则来自动地理解这些形式化语言中的声明。人们设法设计足够复杂的形式化规则来准确的描述世界，这些项目没有取得巨大成功。

     依靠硬编码的知识体系无法解决事物之间的内在联系问题，AI需要具备自己获取知识的能力，从原始数据提取模式的能力称为机器学习。

     人工智能一般解决方式：先选取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。然而，很多任务，我们很难知道应该提取哪些特征。解决这个问题的的途径之一就是使用机器学习来发掘表示本身，不仅仅把表示映射到输出。这种方法称之为表示学习（representation learning）。

    表示学习的典型例子是自编码器（autoencoder），自编码器由一个编码器函数和解码器函数组成。编码器将输入数据转换为一种不同的表示，解码器将这个新的表示转换回原来的形式。

     当设计特征或设计用于学习特征的算法时，目标是分离出能够解释数据的变差因素，然而，多个变差因素是同时存在的，这需要我们理清变差因素并忽略我们不关心的因素。从原始数据提取高层次、抽象的特征是非常困难的。

    深度学习（deep learning）可以通过较简单的概念构建复杂的概念。典型例子如：前馈深度网络或多层感知机（multilayer perceptron，MLP）。多层感知机仅仅是将一组输入值映射到输出值的的数学函数。学习数据的正确表示是解释深度学习的一个视角，另一个视角是深度促使计算机学习一个多步骤计算机程序。

    主要有两种度量模型深度的方式：1、基于评估架构所需执行的顺序指令的数目；2、在深度概念模型中将描述概念彼此如何关联的图的深度。

    深度学习是通向人工智能的途径之一，是机器学习中一种能够使计算机系统从经验和数据中得到提高的技术，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次感念体系。

1.1 深度学习的历史

    一般认为，深度学习经历3次发展浪潮。20世纪40年代到60年代，深度学习的雏形出现控制论（cybernetices）中;20世纪80年代到90年代，深度学习表现为连结主义（connectionism）；直到2006年，才真正以深度学习之名复习。

     现代术语“深度学习”超越了目前机器学习模型的神经科学观点，它诉诸于学习多层次组合原理。20世纪50年代，感知机（Rosenblatt）成为第一个能够根据每个类别的输入样本来学习权重的模型。与此同时，自适应线性单元（adaptive linear element，ADALINE）简单地返回函数本身的值来预测一个实数。用于调节ADALINE权重的训练算法被称为随机梯度下降。基于感知机和ADALINE中使用的函数模型称为线性模型。然而线性模型无法学习异或函数，这导致神经网络热潮第一次大衰退。

    神经科学是深度学习研究的一个重要灵感来源，但它不是该领域的主要指导，主要原因是我们根本没有足够关于大脑的信息作为指导去使用它，我们现在甚至连大脑最简单、最深入研究的部分都还远远没有理解。

    20世纪80年代，神经网络研究第二次浪潮在很大程度上伴随被称为联结主义或并行分布处理潮流而出现的。联结主义的中心思想是，当网络将大量简单的计算单元连接在一起时可以实现智能表现。分布表示的思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。

    20世纪90年代，研究人员在使用神经网络进行序列建模的方面取得了重要进展。对长序列进行建模引入长短期记忆（LSTM）,来解决梯度消失或梯度爆炸的难题。

    20世纪90年代中期，基于神经网络的AI研究不能实现投资者的期望，于此同时，机器学习中核方法和图模型在取得突破，导致神经网络热潮第二次衰退。

    2006年，Geoffrey Hinton表明“深度信念网络”的神经网络可以使用一种称为“贪婪逐层预训练”的策略来有效训练。神经网络的这一次浪潮普及了“深度学习”这一术语。神经网络浪潮的重点开始着眼于新的无监督学习技术和深度模型在小数据集的泛化能力，但目前的兴趣点仍是比较传统的监督学习算法和深度模型充分利用大型标注数据集的能力。

1.2 与日俱增的数据量

    20世纪90年代深度学习就已经成功用于商业应用，但通常被视为只有专家才可以使用的艺术。不可否认，要从一个深度学习算法获得良好的性能需要一些技巧，幸运的是，随着数据量的增加，所需的技巧正在减小。截至2016年，一个粗略的经验法则是，监督学习算法在每类给定约5000个标注样本情况下将达到可以接受的性能，当至少有1000万标注样本是数据用于训练时，它将达到或超过人的表现。

深度学习在计算机视觉、语音和音频处理、自然语言处理、机器人技术、生物信息学和化学、电子游戏、搜索引擎、网络广告和金融取得巨大成功。深度学习的另一个最大的成就是其在强化学习（reinforcement learning）领域的扩展，在强化学习中，一个自主的智能体必需在没有人类操作者指导的情况下，通过试错来学习执行任务。