每日一篇机器学习公众号D1-独家 | NLP的深度学习：ANN，RNN和LSTM详解

链接：https://mp.weixin.qq.com/s/uS-KLIQ23DXHctJalzcuSA

1、在这篇文章中，我们将学习人工神经网络，深度学习，递归神经网络和长短期记忆网络。

感知器Perception

1、一个神经元就是将输入***加权求和***

2、
当以这种方式构建网络时，不属于输入层或输出层的神经元叫做隐藏层，正如它们的名称所描述：隐藏层是一个黑盒模型，这也正是ANN的主要特征之一。通常我们对其中的数学原理以及黑盒中发生的事情有一些认知，但是如果仅通过隐藏层的输出试图理解它，我们大脑可能不够用。

什么是深度学习？

1、计算力的增加，以及用于训练模型的可用数据量的大量增加，使我们能够创建更大、更深的神经网络，这些深度神经网络的性能优于较小的神经网络。
2、
传统的机器学习算法（线性或逻辑回归，SMV，随机森林等）的性能会随着训练数据集的增大而增加，但是当数据集增大到某一点之后，算法的性能会停止上升。数据集大小超过这一值之后，即便为模型提供了更多的数据，传统模型却不知道如何去处理这些附加的数据，从而性能得不到进一步的提高。

这个图和观点可以应用到论文中去！

神经网络如何进行深度学习的呢？

当这个过程在进行中出现错误时，它会调整神经元之间连接的权重，以减少所犯错误的数量。正因如此，如前所示，在大多数情况下，如果我们为网络提供更多的数据，将会提高它的性能。

从序列数据中学习 –递归神经网络

1、递归神经网络是一种特殊的神经网络，旨在有效地处理序列数据，序列数据包括时间序列（在一定时间段内的参数值列表）、文本文档（可以视为单词序列）或音频（可视为声音频率序列）。
2、RNN获取每个神经元的输出，并将其作为输入反馈给它，它不仅在每个时间步长中接收新的信息，并且还向这些新信息中添加先前输出的加权值，从而，这些神经元具备了先前输入的一种“记忆”，并以某种方式将量化输出反馈给神经元。
3、记忆单元：来自先前时间步长的输入的函数单元
4、问题：随着时间的流逝，RNN获得越来越多的新数据，他们开始“遗忘”有关数据，通过激活函数的转化及与权重相乘，稀释新的数据。这意味着RNN有一个很好的短期记忆，但在尝试记住前一段时间发生过的事情时，仍然会存在一些小问题（过去若干时间步长内的数据）。

增强记忆力 - 长期短期记忆网络

1、
LSTM神经元通过三个不同的门的状态组合来实现这一点：输入门，遗忘门和输出门。在每个时间步长中，记忆单元可以决定如何处理状态向量：从中读取，写入或删除它，这要归功于明确的选通机制。利用输入门（左），记忆单元可以决定是否更新单元状态；利用遗忘门(中)，记忆单元可以删除其记忆；通过输出门（右），单元细胞可以决定输出信息是否可用。
2、LSTM还可以减轻梯度消失的问题

其他资源（有时间看！没有的话就用明天公众号时间看）

神经网络如何端到端地工作

https://end-to-end-machine-learning.teachable.com/courses/how-deep-neural-networks-work/lectures/9533963

YouTube视频系列，讲解如何训练神经网络的主要概念

https://www.youtube.com/watch?v=sZAlS3_dnk0

深度学习和人工神经网络

https://machinelearningmastery.com/what-is-deep-learning/

本篇主要收获

1、看到了一张Andrew Ng用过的证明深度学习、机器学习随着数据量的增加学习效果不同的图片，可以引用到论文中去。
2、本文中的神经网络的图太炫酷了叭！没有用一个圆圈，而是用了一个像眼睛一样到的东西。
3、本文对于LSTM的三言两语对理解很有帮助。三个门：遗忘门：可以删除记忆；输出门：决定输出信息是否可用；输入门：决定是否更新单元状态；优点：解决RNN短期记忆问题；解决梯度消失问题。【但具体内容还未掌握】