NLP-D33-毕设答辩-《人类语言处理》04-05-Location-aware-attention&CTC&大数据比赛报名&答辩被从源头上暴

—0452虽然今天答辩,还是很早就起了,ppt还想改一遍,论文还想读一下。早上听了会《人类语言处理》04,就是补昨天的坑啦。讲到的是Location-aware attention,主要是说我们直接用attention做语音辨识的话,弹性太大,我们在attention的时候,不让他乱跳了,用上一个时间步z0的在hx附近(一个窗口大小)查询结果一同输入到这次match(z1和hx)中,完成查询。由于考虑到了之前(上一个时间步)的查询,所以加入了过去的、hx附近一些信息,模型就会把注意力一步步跟随hx附近变动的脚步,进行调整。达到attention从左到右移动的效果。
***为什么考虑的是上一个时间步的hx附近的值呢?***我感觉是因为这个时间步的还没算出来hhh!重点在于,考虑的是hx附近某个窗口的查询结果,这个窗口会不断移动,也就把它在移动这件事传递给查询信息,最后就实现“注意力平移”(鹅鹅鹅我起的名字。。。)这件事啦

—0501鹅鹅鹅我要去改下ppt

—0507改完啦~也给负责人发了消息呜呜呜,去写一下今天的计划叭!

—0524答完辩还有好多事情要做哦~但也都很幸福的啦!!!先干个饭,把《人类语言处理》04看完,然后读读自己的论文嘿嘿嘿!

—0552看完了《人类语言处理》04,开05了,讲CTC。LAS有一个好的是可以理解语义,也就是说可以做的aaa与triple a的相互通融;此外,LAS还可以通过硬train一发,直接实现从台语音频到中文汉字的转换。但是LAS也有缺点:必须要听完整句话才能做attention,不能做online的翻译。

看论文突然想起来,自己precision和recall总是傻傻分不清,顺便查一下。
precision是所有预测为正确的里面,真正正确的。
recall是所有真正正确的里面,被预测正确的。
NLP-D33-毕设答辩-《人类语言处理》04-05-Location-aware-attention&CTC&大数据比赛报名&答辩被从源头上暴_第1张图片
—0642很快就看完了hhh还可以去躺一会,静待花开。

----1251答完辩啦!!!拍完照啦!!!还勇了之前超级fancy的师兄!!!开心!!!不过师兄给了ddl,现在要赶快把答辩记录写一下,然后去看论文了!!!呜呜呜!!加油!!

另外,《人类语言》05里讲了CTC,是一个online model,会有“结巴”的问题。一对一输出,加入了一个“不知道”的“neural”。

哦对,还给舍友买了瓜hhhh!!!现在只能靠瓜和快乐水续命了!去干活咯!

----1340整好了嘿嘿嘿呜呜呜呜,评委老师真的好棒啊,虽然一针见血,但是我好爱啊啊啊啊。开始整比赛了!

太忙了。。。。下午去和小朋友们合照,实验室合照,毕业材料还没写呜呜呜。
读论文的方法论有待提高。

你可能感兴趣的:(python,自然语言处理,人工智能,nlp)