硬核解读《隐秘的角落》:AI带你去“爬山”!

2020人工智能大会云端峰会于今天在上海开幕了,此次大会主要围绕人工智能产业或行业趋势以及造福人类的主题。

由此可见,人工智能的重要性。其实,人工智能已经走进我们的生活并活跃在我们的周边。

硬核解读《隐秘的角落》:AI带你去“爬山”!_第1张图片

近期,《隐秘的角落》迎来大结局。豆瓣评分9.1、占据无数热搜以及相关话题阅读量惊人的,无疑不在彰显出该剧变成了一部口碑与剧情均为爆款的网剧。

该口碑爆棚的网剧衍生出“一起爬山吗”等话题梗,关于结局的解析讨论也异常火热。

硬核解读《隐秘的角落》:AI带你去“爬山”!_第2张图片

在众多结局解析中发现该剧主人公的口型与台词竟然对不上,这是怎么回事呢?

众所周知,在我国国产剧的过审原则主要有两个:没有悬案;坏人必须绳之以法。由此,便知道该问题出现的原因。

程序员东泽通过人工智能技术,硬核还原被修改的台词。

在该剧的12集中,朱朝阳和严良从凶手的手中死里逃生,开始讨论之后的对策但此时出现了朱朝阳和严良的部分口型和字幕中的台词对不上的问题。于是,通过训练人工智能模型,还原了两人原本的台词。

在台词与口型不一致的问题中,使用Facemesh模型获取人物的面部表情特征,并在此基础上进行了二次训练,让模型通过分析人物嘴唇的运动特征来预测说话内容。

其实,使用AI识别唇语并不是第一次出现了。

经过资料得知,曾2003年Intel就开发了唇语识别软件DeepMind公司和牛津大学也曾联手研发唇语识别算法,并在2016年平均达到了52.3%的准确度……

其实,唇语识别的算法门槛不算高,但中英文不同,而大多唇语识别资料都是关于英文的中文唇语识别的资料很少,因而在类似停顿、爆破音、声调等地方,让模型适应中文的发音需要花费部分时间。

《隐秘的角落时》解析中,由于直接预测汉字的难度太大因而采取让模型预测每个字的拼音策略之后,便根据拼音和前后的剧情,还原出了朱朝阳口型原本对应的台词。

硬核解读《隐秘的角落》:AI带你去“爬山”!_第3张图片

硬核解读《隐秘的角落》:AI带你去“爬山”!_第4张图片

值得注意的是,除了天台上朱朝阳、严良的对话,剧中另一主人公、凶手张东升也出现了台词与口型不一致的问题在最后一集中,张东升被警察击毙之前,对朱朝阳说了一句话,台词字幕显示为“你可以相信童话”,但很多网友觉得张东升的口型看起来像是在说“高手”。

对于张东升的这句话,用模型预测出的拼音是“hai shou”,所以他最初也认为是“高手”。不过,在看到他的分析后,有电视剧制作人表示张东升说的其实是“你还有”。“如果是这样的话,那么剧情应该是张东升对朱朝阳说:我没机会了,但是‘你还有’。”

硬核解读《隐秘的角落》:AI带你去“爬山”!_第5张图片

在大约一周的训练过程中,为了让识别数据更加准确,因而搜集大量相关演员数据,最终使用了超过1T的视频数据来提高了模型的准确率。

一般而言,我们对于程序员的印象就是,他们的工作类型是很枯燥、很乏味的以及别人看不懂

通过程序员用AI解读《隐秘的角落》这件事中可以看出,当程序员把技术应用到生活中来,其实是很酷且很有意思的事情。

相关阅读:

人社部揭秘:李佳琦为何能落“沪”

萝卜章,电子封条……区块链风口将至?

高考利器分享,防止信号乱入!

替考门、抄袭党……高考完全公正,硬核科技来守护!

长按二维码,关注我们

新睿云,让云服务触手可及

云主机|云存储|云数据库|云网络


看都看完了,还不点这里试试

你可能感兴趣的:(硬核解读《隐秘的角落》:AI带你去“爬山”!)