Deep learning笔记

深度学习是一种特征学习方法，通过非线性的简单模块组合成的表示模型可以将低级别的原始数据转换为高级别的抽象表示。它擅长从多维数据中获取有用推理，被广泛用于科学、商业和政府领域。更令人惊讶的是，深度学习在自然语言理解(NLP)的各项任务中产生了非常可喜的成果，特别是主题分类、情感分析、自动问答和语言翻译。
深度学习的核心方面是，上述各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的。

监督学习

监督学习是指用带有标签的训练样本来训练机器，最后的预测结果同样是标签的类型。
主要是通过计算一个目标函数可以获得输出标签和期望标签之间的误差。然后通过BP技术修改网络内部的可调参数，以减少这种误差。训练结束之后，使用测试集来衡量网络的泛化能力，是否在没有训练的样本上也能体现训练的效果。

反向传播

反向传播算法的核心思想是链式法则，目标函数对于某层输入的导数（或者梯度）可以通过向后传播对该层输出（或者下一层输入）的导数求得，这是深度学习能自动学习的关键技术。

卷积神经网络

1D用来表示信号和序列包括语言，2D用来表示图像或者声音，3D用来表示视频或者有声音的图像。卷积神经网络使用4个关键的想法来利用自然信号的属性：局部连接、权值共享、池化以及多网络层的使用。
2D卷积类似图像处理的算子，例如canny算子，高斯模糊算子，只是2D卷积的核是从数据中学习得出的。

基于深度卷积网络的图片理解

卷积神经网络被视觉和机器学习团队所重视，甚至从机器学习中分支出一大块内容，主要源于2012年的ImageNet竞赛。在该竞赛中，深度卷积神经网络被用在上百万张网络图片数据集，这个数据集包含了1000个不同的类。通过GPU训练的结果的错误率甚至是当时最好方法的一半。这也是之后被普遍认为的深度学习的蓬勃发展是由大数据，大计算量推动的。
卷积神经网络可以在芯片或者现场可编程门阵列（FPGA）中高效实现，许多公司比如NVIDIA、Mobileye、Intel、Qualcomm以及Samsung，正在开发卷积神经网络芯片，以使智能机、相机、机器人以及自动驾驶汽车中的实时视觉系统成为可能。

分布表示与语言模型

Word Embedding的概念，现有的机器学习没有直接处理文本数据。传统词的表示是使用one-hot，但这只表示词的位置，无法体现词的意思。而Word Embedding就可以表示词的向量空间的映射，在向量空间中，词与词的距离越近，意思就越近。
Word Embedding的具体算法有Word2Vec。

w1-3.png

循环神经网络

RNN在每个时间点连接参数值，参数只有一份；神经网络除了输入外，还会建立在以前的记忆基础上；内存的要求与输入的规模有关。
RNN是带有存储功能的神经网络，可以记忆以前的事件，所以这个对时间序列方面的预测会有好的结果。

w1-3_0.png

LSTM是特殊的RNN，有4个输入(3个Gate)，1个输出。主要是为了解决长序列训练中梯度消失和梯度爆炸的问题。可以相对于普通的RNN可以处理更长的序列，记忆更多的信息。

W1-3_2.png

深度学习的未来

• 非监督学习(对抗网络等一些算法)
• 强化学习
• GAN
• 自监督