《Python深度学习》第一章读书笔记

《Python深度学习》读书笔记

第一章 什么是深度学习

1.1 人工智能、机器学习与深度学习

• 人工智能的简洁定义:努力将通常由人类完成的智力任务自动化。
• 机器学习与数理统计密切相关。

  1. 机器学习(尤其是深度学习)呈现出相对较少的数学理论（可能太少了)，并且是以工程为导向的。
     

1.2 机器学习是从数据中学习表示

1. 机器学习的要素
   • 输入数据点
   • 预期输出的示例
   • 衡量算法效果好坏的方法
2. 机器学习和深度学习的核心问题在于$有意义的变换数据$，换句话说：在预先定义好的可能性空间中，利用反馈信号的$指引来寻找输入数据的有用表示$。
   

1.3 深度学习之“深度”

1. 深度学习是机器学习的一个分支领域：它是从数据中学习表示的一种新方法，强调从连续的层( layer )中进行学习，这些层对应于越来越有意义的表示。

   1. “深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。数据模型中包含多少层，这被称为$模型的深度(depth)$。
   2. 与此相反，其他机器学习方法的重点往往是仅仅学习一两层的数据表示，因此有时也被称为$浅层学习(shallowlearning)$。

2. 深度学习的$目标$：寻找权重参数
   
3. 2 深度学习的$衡量标准$: 损失函数
   
4. 深度学习的$核心算法$：反向传播算法
   

1.4 机器学习简史

1. $概率建模$（probabilistic modeling）

   是统计学原理在数据分析中的应用。它是最早的机器学习形式之一，至今仍在广泛使用。其中最有名的算法之一就是朴素贝叶斯算法。

2. $核方法$（kernel method）

   核方法是一组分类算法，其中最有名的就是支持向量机（SVM，support vector machine）。用到核技巧（kernel trick，核方法正是因这一核心思想而得名）和核函数（kernel function）。

3. $决策树、随机森林与梯度提升机$

   1. 决策树（decision tree）是类似于流程图的结构，可以对输入数据点进行分类或根据给定输入来预测输出值。
   2. 随机森林（random forest）算法，它引入了一种健壮且实用的决策树学习方法，即首先构建许多决策树，然后将它们的输出集成在一起。
   3. 梯度提升机（gradient boosting machine）也是将弱预测模型（通常是决策树）集成的机器学习技术。它使用了梯度提升方法，通过迭代地训练新模型来专门解决之前模型的弱点，从而改进任何机器学习模型的效果。它可能是目前处理非感知数据最好的算法之一。

4. $深度学习$

   将特征工程完全自动化。优势有：

   1. 模型可以在同一时间$共同$学习所有表示层，而不是依次连续学习（这被称为贪婪学习）。
   2. 深度学习从数据中进行学习时有两个$基本特征$：
      • 第一，通过渐进的、逐层的方式形成越来越复杂的表示；
      • 第二，对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。

1.5 学习目标和发展方向

1. 学习目标：应该熟悉这两种技术:梯度提升机，用于浅层学习问题；深度学习，用于感知问题。用术语来说，你需要熟悉XGBoost和 Keras。
2. 发展方向：
   • 更好的神经层激活函数（activation function）。
   • 更好的权重初始化方案（weight-initialization scheme），一开始使用逐层预训练的方法，
     不过这种方法很快就被放弃了。
   • 更好的优化方案（optimization scheme），比如 RMSProp 和 Adam。