《动手学深度学习》学习笔记

全书结构图如下：

1. 深度学习简介

• 定义以及与机器学习的关系

  • 深度学习是指机器学习中的一类函数，能够逐级表示越来越抽象的概念或模式，他们的形式通常为多层神经网络，近年来，已逐渐成为处理图像、文本预料和声音信号等复杂高纬度数据的主要方法，属于机器学习的一类，外在特点是端到端的训练；
  • 机器学习研究如何使计算机利用经验提高性能，属于人工智能领域的分支，也是实现人工智能的一种手段；

• 神经网络核心原则

  • 交替使用现行和非线性处理单元，常被称为“层”；
  • 使用链式法则（即反向传播）来更新网络参数；

• 深度学习发展的原因

  • 优秀的容量控制方法，如丢弃法使大型网络的训练不再受制于过拟合（大型神经玩两个学会记忆大部分训练数据的行为）；
  • 注意力机制解决了“如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度”问题；
  • 记忆网络和神经编码器-解释器这样的多阶设计使针对推理过程的迭代建模方法的实现变成可能；
  • 对抗生成网络的发明奖采样部分替换成了任意的含有可微分参数的算法；

2. 预备知识

这一章节中，主要包含以下内容：

• 数据操作

详情请参见数据操作；

• 自动求梯度

3. 深度学习基础

这一章节中，主要有以下相关知识点：

• 线性回归
  详情请参见深度学习之线性回归；

• Softmax回归
  详情请参见深度学习之Softmax；

• 多层感知机
  详情请参见多层感知机

• 丢弃法