《gluon-动手学习深度学习》笔记-1 引言

https://zh.d2l.ai/d2l-zh.pdf

1.1 前言

《模式识别和机器学习》和《统计学习基础》

 计算机学科是动手的学科，没有足够的动手能力难以取得很好的成果。

 1.2 深度学习简介

  与其设计一个解决问题的程序，不如从最终需求入手来寻找一个解决方案。

   机器学习和深度学习：用数据编程。

   机器学习是一门讨论各式各样适用于不同问题的函数形式，以及如何使用数据来有效的获取函数参数具体值的学科。

    深度学习是机器学习中的一类函数，他们的形式通常为多层神经网络。

  1.2.1 起源

    数据分析是大部分自然学科的本质，我们希望从日常观测中提取规则，并找寻不确定性。

     图灵《计算机器与智能》-图灵测试：如果一个人在使用文本交互时不能区分他的对话对象到底是人类还是机器，那么可人为这台机器是有智能的。

     唐纳德.赫布《行为的组织》-赫布理论：强化合意的行为、惩罚不合意的行为、最终获得优良的神经网络参数。

      神经网络：

            -交替使用线性与非线性处理单元，“层”。

            -使用链式法则（即反向传播）来更新网络参数。

   1.2.2 发展

         机器学习和统计学习的最优选择从广义线性模型及核方法变化为深度多层神经网络。

        深度学习发展的原因：

        -优秀的容器控制方法，如丢弃法，大型网络训练不在受制于过拟合（大型神经网络学会记忆大部分训练数据的行为）。这是靠在整个网络中注入噪声，例如训练时随机将权重替换为随机数字。

        -注意力机制：如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。注意力机制使用了一个科学系的指针结构来构建出一个精妙的解决方案，。也就是说，与其在像机器需翻译这样的任务中记忆整个句子，不如记忆指向翻译的中间状态的指针。由于生成译文不需要存储整句原文的信息，这样的结构使准确翻译长句变成可能。

       -记忆网络和神经编码器-解释器这样的多阶设计使得针对推理过程的迭代建模方法变得可能。这些模型允许重复修改深度网络的内部状态，这样就能模拟出推理链条上的各个步骤，就好像处理器在计算过程中修改内存一样。

         -对抗生成网络的发明个。将采样部分替换成任意的含有可微分参数的算法，这些参数被训练到使得辨别器不能再分辨真实和生成的样本。

         -分布式并行训练算法。深度学习优化算法的很新：随机梯度下降需要相对更小的批量，更小的批量降低GPU效率。

        -并行计算的能力。

         -深度学习框架。

      1.2.3 成功案例

       -智能助手。

       -语音识别。

       -物体识别

        -游戏

        -自动驾驶。

        1.2.4 特点

         机器学习研究如何使计算机系统利用经验改善性能。

         表征学习关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出。

          深度学习是具有多级表示的表征学习方法。在每一级，深度学习通过简单的函数将该级的表示变换为更高级的表示，因此深度学习模型也可以看做是由许多简单函数复合而成的函数。当这些复合函数足够多时，深度学习模型可以表达非常复杂的变换。

         深度学习可以逐级表示越来越抽象的概念或者模式。深度学习将自动找出每一级表示数据的合适方式。

         深度学习是端到端的训练。并不是将单独调试的部分拼凑起来组成一个系统，而是将整个系统组建好之后一起训练。

        从含参数统计描述转向完全无参数的模型。当数据非常稀缺时，需要通过简化对现实的假设来得到实用模型，当数据充足时，更好地拟合现实的无参数模型来替代这些含参数模型。

       非最优解的包容、非凸非线性优化的使用以及用于尝试没有证明的方法。

       1.2.5 小结

• 机器学习：如何使计算机系统利用经验改善性能。
• 表征学习关注如何自动找出表示数据的合适方式。
• 深度学习是具有多级表示的表征学习方法。他可以逐级表示越来越多抽象的概念或模式。
• 深度学习所基于的用数据编程和神经网络的核心思想已经研究数百年。
• 深度学习是工程师和科学家普适工具。

1.2.6 练习

1.3 如何使用本书

1.3.1 面向的读者

中文教程：http://www.runoob.com/python3/python3-tutorial.html

1.3.2 内容和结构

1.3.3 代码

Apache MXNet