Pytorch(四)

目录

一、RNN(递归神经网络)

二、GAN(对抗生成网络)

三、OCR

四、注意力机制

---

一、RNN(递归神经网络)

主要应用于NLP(自然语言处理)

二、GAN(对抗生成网络)

原理:存在一个生成器与判别器，随着双方矛盾升级，从而双方性能不断增强。

GAN网络组成:生成网络、判别网络、损失函数

三、OCR

作用:提取图像中的文字，并转换为文本形式

步骤:

1. 检测到文本所在的位置(CTPN)
2. 识别文本区域内容(CRNN)

CTPN网络架构: 

VGG提取特征，BLSTM融入上下文信息，基于RPN完成检测

四、注意力机制

对于不同的输入数据，关注点不同

Attention整体计算流程:

1. 每个词的Q会跟每一个K计算得分
2. Softmax后就会得到整个加权结果
3. 此事每个词看的不只是它前面的序列而是整个输入序列
4. 同一时间计算出所有词的表示结果

multi-headed机制:

1. 通过不同的head得到多个特征值
2. 将所有特征拼接在一起
3. 可以通过再一层全连接来降维