2020-11-16 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

注意力机制可以增强序列模型。这个算法将帮助你的模型理解，在给出一系列的输入时，它应该把注意力放在什么地方。本周，你还将学习语音识别以及如何处理音频数据。

3.1 基础模型 Basic models

2020-11-16 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.1 基础模型-seq2seq模型-机器翻译/image to sequence模型-图像描述)

3.2 选择最可能的句子 Picking the most likely sentence

2020-11-17 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.2 选择最可能的句子-条件语言模型，选择最可能结果。采用近似搜索，而不是贪心搜索)

3.3 定向搜索 Beam search

2020-11-18 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.3 定向搜索-集束搜索，集束宽。集束宽=1，只考虑1种可能结果，就变成了贪婪搜索，不好。)

3.4 改进定向搜索 Fefinements to beam search

2020-11-19 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.4 改进定向搜索-长度归一化，称为归一化的对数似然目标函数。取每个单词的概率对数值的平均。非精确搜索，速度快)

3.5 定向搜索的误差分析 Error analysis on beam search

2020-11-20 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.5 定向(束)搜索的误差分析-判断是RNN或者束搜索问题)

3.6 Bleu 得分（选修）Bleu score（optional）

2020-11-23 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.6 Bleu 得分-评估机器翻译/图像描述(生成文本算法)，判断输出结果是否与人工写出的参考文本含义相似。)

3.7 注意力模型直观理解 Attention model intuition

2020-11-24 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.7 注意力模型直观理解-注意力权重)

3.8 注意力模型 Attention model

2020-11-25 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.8 注意力模型)

3.9 语音辨识 Speech recognition

2020-11-27 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.9 语音辨识–音位表示法(人工设计)，注意力模型，CTC模型)

3.10 触发字检测 Trigger word dection

2020-11-30 吴恩达DL学习-C5 序列模型-W3 序列模型和注意力机制(3.10 触发字检测-声音唤醒设备)

3.11 结论和致谢 Summary and thank you

恭喜你能走到这一步，在最后这节课中，只想做个总结，并给你一些最后的想法。

我们一起经历了一段很长的旅程，如果你已经学完了整个专业的课程，那么现在你已经学会了神经网络NN和深度学习DL，如何改进深度神经网络，如何结构化机器学习项目，和卷积神经网络CNN。在最近的课程中还学了序列模型，我知道你为此非常努力，也希望你能对自己感到自豪，为你的努力，为你所做的这一切。

我想向你传达一个对你来说可能很重要的想法。就是我觉得DL是一种超能力，通过DL算法，你可以

• 让计算机拥有"视觉"（make a computer see），
• 可以让计算机自己合成小说（synthesize novel art），
• 或者合成音乐（synthesized music），
• 可以让计算机将一种语言翻译成另一种（translate from one language to another），
• 或者对放射影像进行定位然后进行医疗诊断（Maybe have it located radiology image and render a medical diagnosis），
• 或者构建自动驾驶系统（build pieces of a car that can drive itself）。

如果说这还不是超能力的话，那还能是什么呢？

当我们结束这一系列课程的时候，结束整个学习的时候，我希望你能够使用这些思想来发展你的事业，追逐你的梦想，但最重要的是，去做你认为最合适的能对人类有贡献的事。

这个世界现在面临着诸多挑战，但是在这种力量下，在人工智能和DL的力量下，我觉得我们可以让世界变得更美好。现在这种超能力就掌握在你的手中，去突破障碍，让生活变得更好，这不单单是为自己，也是为了其他人。

当然我也希望你能够对自己取得的成就以及你学到的一切感到自豪。当你完成这一系列课程的学习后，我想你可以把课程分享到社交媒体上，比如Twitter和Facebook，让你的朋友也能知道这门课程。

最后，我想告诉你的最后一件事，就是恭喜你完成了这门课程的学习，为自己所取得的成就欢呼吧！同时也非常感谢你们，因为我知道大家都很忙，即便如此你们还是花了很多时间来学习这些课程，可能还花了很多时间来做课堂测验还有编程练习，希望你们能够乐在其中，并学到很多算法流程。我很荣幸你们能够花费时间，付诸精力，来学习这些东西，非常感谢大家！

3.12 课后编程1

2021-2-6 吴恩达-C5 序列模型-w3 序列模型和注意力机制(课后编程1-Neural Machine Translation 神经机器翻译)