深度学习笔记

        博客用于记录深度学习各部分的学习记录，由于主要从事自然语言处理及数据挖掘方面的工作，CV方向常用模型不是很了解，大概整理的是NLP方向的学习脉络。陆续补充中。

大概目录会按照

1. 感知机（Perceptron； -> MLP，Multilayer Perceptron，多层感知机）

        主要介绍单层感知机，也即是一层神经网络的概念及计算方式。引出多层感知机的概念

        链接：感知机学习笔记

2. ANN（Artificial Neural Network，人工神经网络）

        在感知机的基础上介绍多层神经网络，也即是MLP，本质上MLP与ANN相同。

        链接：多层感知机（前馈神经网络）

3. CNN（卷积神经网络）

        卷积神经网络介绍，包括卷积、池化等方法。简要介绍IDCNN。

4. RNN（循环神经网络）

        循环神经网络介绍，基础RNN模型基础概念、适应场景、优缺点引出两种改进型。

5. LSTM（Long-Short-Term Memory，长短记忆网络）

        LSTM模型介绍，LSTM的基本单元介绍。双向LSTM介绍。

6. GRU（Gated Recurrent Unit / Neural Network，门控循环单元）

        GRU基本介绍，同LSTM的对比等。

7. Attention+Transformer（+ self-attention）

        注意力机制介绍，自注意力机制介绍。以及Transformer模型的介绍。

8. BERT（Bidirectional Encoder Representation from Transformers）

        BERT模型的介绍及集中改进型。陆续补充。