深度学习——编码器

1.复习CNN

在CNN中，输入一张图片，经过多层的卷积层，最后输出层判别图片中的物体的类别。

CNN使用卷积层做特征提取（编码），使用Softmax回归做预测（解码）

①编码器：将输入编程为中间表达形式（特征）

②解码器：将中间表示为解码成输出

2.复习RNN

 对于RNN来说，输入一个句子，然后对其进行向量输出

①将RNN的输出当成中间表示，是编码器

②最后通过全连接层得到输出，是解码器

③编码器：将文本表示为向量

④解码器：向量表示为输出

3.编码器——解码器的架构

 一个模型分为两块

①编码器处理输入：接受一个长度可变的序列作为输入，并将转换为具有固定形状的编码状态。编码器拿到输入之后，将其表示为中间状态或中间表示（隐藏状态，特征图）

②解码器生成输出：编码器将固定的形状解码状态映射到长度可变的序列。最简单的解码器能够直接将中间状态或中间表示翻译成输出。解码器能够结合一些额外的输入得到输出

【总结】

• “编码器－解码器”架构可以将长度可变的序列作为输入和输出，因此适用于机器翻译等序列转换问题。
• 编码器将长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。
• 解码器将具有固定形状的编码状态映射为长度可变的序列。