深度学习线路图

深度学习是机器学习的一种形式，它允许计算机从经验中学习并从概念层次理解事物，其中每个概念都是从更简单的概念定义的。这种方法避免了人类需要指定计算机所需的所有知识。概念的层次结构允许计算机通过具有多个层的深度设置将它们彼此叠加在一起来学习复杂的概念。

第一部分：应用数学

在学习深度学习时，您需要学习的第一件事是应用数学，这是深度学习的基础组成部分。

线性代数

线性代数是数学的一个分支，在整个工程中被广泛使用。然而，由于它不是离散数学的一种形式，许多计算机科学家对它没有多少经验。对线性代数的充分理解对于理解和使用许多机器学习算法至关重要，特别是那些涉及深度学习的算法。

从线性代数中了解对象：

标量、向量、矩阵、张量、乘法矩阵和向量、同一性和逆矩阵、线性相关性和跨度、规范、特殊矩阵和向量、特征分解、奇异值分解、Moore-Penrose伪逆、跟踪算子和决定因素。

概率论和信息论

概率论是我们用来表示不确定性的数学概念。它提供了一种量化不确定性的方法。在AI应用程序中，我们以两种主要方式使用概率：
首先是它告诉我们的AI系统应该如何推理。
第二，我们可以使用概率和统计来分析所提出的AI系统的行为。

从概率中了解的对象:

随机变量、概率分布、边际概率、条件概率、条件概率链规则、独立性和条件独立性、期望、方差和协方差、常见概率分布，常用函数的有用属性、贝叶斯规则、连续变量、信息论、概率论模型。

机器学习的数值计算

机器学习算法几乎总是需要大量的数值计算。这通常是指ML算法将用于解决数学问题的迭代过程。常见操作包括优化（找到最小化和最大化某些功能的值）以及求解线性模型和方程组。

学习机器学习中的数值计算的主题：

溢出和下溢、调节，基于梯度的优化和约束优化

机器学习基础

深度学习真的是一种特殊的机器学习方式。要理解深度学习，必须对机器学习有扎实的理解。您需要了解诸如学习算法之类的内容，例如线性回归算法，如何针对该算法适当的拟合数据，查找该数据中的模式以及超参数调整。机器学习最终只是非常复杂的应用统计，它使用计算机，因为它们可以更容易地估计复杂的函数。

学习机器学习的对象

学习算法、容量、过度拟合、欠拟合、超参数、验证集、估计器、偏方差、方差、最大似然、贝叶斯统计、监督学习算法、无监督学习算法、随机梯度下降、构建机器学习算法。

第二部分 ：深度学习现代实践

深度学习为监督学习提供了强大的框架。通过创建神经网络并在每个层中添加更多层和更多单元，您可以表示越来越复杂的功能。

深度前馈网络

深度前馈网络，也称为前馈神经网络，或者多层感知机，是典型的深度学习模型。这些前馈网络之一的目标是近似某个函数f。

从深度前馈网络学习的目标：

基于梯度的学习、隐藏单元、体系结构设计、反向传播、其他差分算法

深度学习的正规化

机器学习中的一个常见问题是如何创建一种算法，该算法不仅可以在训练数据上运行，而且还可以在新输入的数据上运行良好。ML中的许多策略旨在通常以增加的训练错误为代价来减少测试错误。这些策略称为正规化。深度学习的许多目标之一就是制定更有效的正规化策略。

学习正规化深度学习的对象

参数范数、规范惩罚作为约束优化，正则化和欠约束问题、数据集增强、噪声鲁棒性、半监督学习、多任务学习、参数绑定、参数共享、稀疏表示、其他集合方法、Dropout、对抗训练、切线距离、切线支柱、流形切线分类器。

深度模型训练的优化

深度学习模型涉及多种方式的优化。例如，主成分分析等模型中的推理涉及解决优化问题。深度学习中最困难的优化问题是神经网络训练。

从深度模型训练优化中学习的对象：

学习与纯优化，神经网络优化中的挑战，基本算法，参数初始化策略，自适应学习率算法，近似二阶方法，优化策略和元算法

卷积神经网络（CNN）

卷积神经网络是一种专门用于处理具有已知网格状拓扑的数据的神经网络。这样的例子是时间序列数据，其可以是以规则时间间隔采样的1-D网格，并且我们还具有可以被认为是2-D像素网格的图像。卷积是一种特殊的线性操作。

要学习CNN的对象：

卷积运算、Motivation、Pooling、Convolution、Pooling、基本卷积函数的变量、结构化输出、数据类型、高效卷积算法以及随机或无监督特征

递归神经网络（RNN）

递归神经网络是用于处理顺序数据的神经网络家族。这些非常类似于CNN，因为它专门用于处理值网格，但是它们使用系统来处理一系列值并在它们之间进行推广。

学习RNN的对象：

展开计算图、双向RNN、编码器-解码器序列到序列架构、深度递归网络、递归神经网络、长期依赖性的挑战、回声状态网络、泄露单元和多时间尺度的其它策略、LSTM和其他RNN、长期依赖性优化、显示内存。

深度学习方法论

成功应用深度学习技术不仅需要了解存在哪些算法以及解释它们如何工作的原理。在机器学习系统的日常开发过程中，从业者需要了解是否收集更多数据，增加或减少模型复杂性，添加删除函数，改进模型优化，改进模型中的近似推理，或调试模型的实施，等等。所有这些都非常耗时，因此能够确定正确的行动方案非常重要。

深度学习方法的对象：

性能指标、默认基准模型、确定是否收集更多数据、选择超参数和调试策略

深度学习应用

深度学习可以用于解决计算机视觉、语音识别、自然语言处理和其他领域中的应用。在设计算法时，每个任务都需要一定程度的专业化。

深度学习应用的对象

大规模深度学习、计算机视觉、语音识别、自然语言处理

深度学习研究主题

本节将列出更具有先进的深度学习方法的对象。

线性因子模型

概率PCA和因子分析、独立分量分析（ICA）、慢特征分析、稀疏编码和PCA的流形解释。

自动编码

欠完备自动编码器，正则化自动编码器，表征功率，层大小和深度，随机编码器和解码器，去噪自动编码器，带自动编码器的流形学习，压缩自动编码器，预测稀疏分解和自动编码器的应用

表征学习

贪婪的层次智能无监督预训练，转移学习和领域适应，因果因素的半监督解开，分布式表示，深度的指数增益，以及发现根本原因的线索。

深度学习的结构化概率模型

非结构化建模的挑战，使用图形描述模型结构，从图形模型中抽样，结构化建模的优势，学习依赖性，推理和近似推理，以及结构化概率模型的深度学习方法。

蒙特卡洛方法

采样和蒙特卡罗方法，重要性采样，马尔可夫链蒙特卡罗方法，吉布斯采样以及分离模式之间混合的挑战

分区函数

对数似然梯度，随机最大似然和对比发散，Psuedolometric,分数匹配和比率匹配，去噪分数匹配，噪声对比估计和估计分区函数

近似推论

推理作为优化，期望最大化，地图推理和稀疏编码，变分推理和学习，以及学习的近似推理

深度生成模型

玻尔兹曼机器、受限玻尔兹曼机器、深信念网络、深玻尔兹曼机器、用于实值数据的玻尔兹曼机器、卷积玻尔兹曼机器、用于结构或顺序输出的玻尔兹曼机器、其他玻尔兹曼机器、通过随机操作的反向传播、定向生成网络，从自动编码器，生成随机网络，其他生成方案和评估生成模型中抽取样本。

所有这些信息将导致对深度学习的深刻理解。