26.深度学习之自然语言处理Seq2Seq-2

26.1 Seq2Seq应用

• 机器翻译
  
• 文本摘要
  
• 情感对话生成
  
• 代码补全
  

26.2 Seq2Seq存在的问题

• 压缩损失了信息
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FqHJGxB4-1619160315773)(https://upload-images.jianshu.io/upload_images/19745945-11aa60abc17e387f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
• 长度限制
  

26.3 Attention机制

• “高分辨率”聚焦在图片的某个特定区域并以“低分辨率” 感知图像的周边区域的模式
• 通过大量实验证明，将attention机制应用在机器翻译， 摘要生成，阅读理解等问题上，取得的成效显著
• 关注输入序列中某些状态下的内容
  
• 关注输入序列中某些状态下的内容
  
• 机器翻译：Cats eat mice
• 无Attention:y1=f(C1),y2=f(C2,y1),y3=f(C3,y1,y2)
• 加入Attention:
  • C1=g(0.6∗f(′Cats′),0.2∗f(′eat′),0.2∗f(′mice′))
  • C2=g(0.2∗f(′Cats′),0.7∗f(′eat′),0.1∗f(′mice′))
  • C3=g(0.3∗f(′Cats′),0.2∗f(′eat′),0.5∗f(′mice′))
    
• 对Encoder层状态的加权，从而掌握输入语句中的所有细节信息
  
• 加权效果
  

26.3.1 Bucket机制

• 正常情况要对所有句子进行补全
• Bucket可以先分组，再计算

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通