或许你还以为视频仅能依靠用户数据“间接地”进行理解,那么,本文带你认识一下你所不知道的“短视频AI”~
每当你观看短视频的精彩内容时,可曾想过,这或许是你这一天距离AI最近的时刻?也许你是互联网圈的业内人士或者互联网技术的爱好者,你会说:“知道啊,不就是智能推荐、分发系统吗?很多产品都有啊。”然而,AI对于短视频的应用仅限于此吗?
Of course not!事实上,从视频的录制,到视频的编码,从视频内容的理解,到用户画像的建模,从审核过滤,到分发推荐,AI几乎走完了每一个环节。其中,最让人意想不到的是,在视频理解环节,AI是用“看”的!
那么下面就为大家科普一下,共同揭开快手AI的神秘面纱!
“视频一直被视为计算机视觉里的暗物质。”谷歌云首席科学家、ImageNet发起人李飞飞曾这样描述,视频理解之难可想而知。为了更好的理解视频,我们通常会为它打好标签,下面是几种常见的方法:
1.发布者或审核人员人工添加标签:发布者添加标签不需要依赖算法技术,但容易出现未标注、弱标注和误标注的情况。而审核人员逐个标注视频,对于每日产生1500万条视频的快手来说,将会带来巨大的人力成本。
2.将视频看作黑盒,直接依靠用户行为数据进行推荐:比如,与你有着相似用户画像的人中,大多数都点赞了的某个视频,就把它直接推荐给你。这种方法不需依靠计算机视觉这种高难度技术,且能取得不错的效果,目前非常主流。
3.用户行为数据与视频内容理解相结合:也是快手正在使用的,更考验技术人员对“多模态”技术的理解(视频的多种模态可以理解为视觉、听觉、文本的综合信息形式),再加上用户行为数据也是另外一种模态的数据,所以理解短视频成了一种极为复杂的多模态问题。
那么,如此高深的视频理解技术是如何发展出来的呢?又将走向何方呢?且听小编慢慢道来。
一切的一切,从认识事物开始——最初的它
为了让AI识别物体,科学家们可谓是煞费苦心,甚至为此建立了世界上最大的图像数据库——ImageNet,里面的每张图片都人为打好了标签,来让AI进行视觉训练。在去年的ImageNet视觉识别挑战赛中,有八成参赛队伍的图像识别准确率超过95%。
别小看了这个基础的物体识别,实际上它大大丰富了短视频的趣味性! 其中,正是因为有了人脸关键点的识别,才有了“快手时光机”等众多魔法表情;正是因为有了肢体识别技术,才有了“跳舞机”有趣的魔法表情游戏;也正是因为有了对平面、边角的识别,才有了逼真的AR玩法。
今年乌镇的世界互联网大会上,快手科技的展台被围得水泄不通,人们都想体验一把“找到世界上另一个自己”的黑科技。如图,体验者走到屏幕前,点击拍摄按钮,右边的屏幕上就会出现了一个与自己长相非常相似的人!并播放这段用户公开视频。其实,这些数据是事先提取出来的,在用户将视频上传到服务器后,AI就会根据视频的内容进行理解,提取一些基本信息,包括面部的三维特征,另外,AI还会进一步分析,进而得出人脸的年龄、性别、甚至是颜值。
知晓你的忧,洞悉你的愁——现在的它
前面提到了AI对图像的物体识别有了巨大突破,那么一组图像和一个视频有什么差别吗?视频不就是由图片组成的吗?
其实两者之间是有区别的。首先,视频的图像间是有时间顺序的,比如,运动的物体的通常具有特殊语义,把一组舞蹈动作图片分开来看,就很难知道这是什么舞,而识别物体的移动、变化对AI来讲不是一件易事。再者,正如前面提到的,视频是多模态的,包括图像、人脸、音频、文本多个部分,AI需要对同一时刻的音频、视频等多个维度综合分析,才能形成更为“立体”的认知,而这对于技术人员又是巨大的挑战。
而为了丰富AI的认知,我们又不得不为它创立一套认知体系——知识图谱。知识图谱可以理解为AI的“记忆”,图谱里面的每一个概念都不是简单的文本,而是立体的形象,比如一只小狗,在AI的印象里,会有它的大量照片,以及狗叫声,还会知道它爱吃骨头,这和我们人类对狗的记忆颇为一致,但是也存在着遗漏,像是触觉这种,目前无法达到。在快手的知识图谱中,除了种类繁多的实体概念,还存在着高级的精神概念,如喜怒哀乐、亲情和爱情。
那么短视频是如何被读懂的呢?我们举个实际的例子,一场球赛的最后几分钟(视频):梅西带球破门,踢出关键一球,全场观众欢呼庆祝,解说员宣布比赛胜利。在这个视频中,AI首先进行人脸识别,识别出梅西和其他球员;同时,场景识别和物体识别会确认“球场”和“足球”,确定这是场足球比赛;而在情绪识别上面,AI会通过观众的欢呼和球员的表情确定“喜悦、庆祝”的氛围;并且,解说员的语音,也会被读懂,更直观地理解视频里发生的内容(即便是非常嘈杂的比赛环境,聪明的AI也会智能地为其降噪)。
机器亦有“心”——未来的它
虽然目前的AI在情感层面的理解上,无法达到较高的准确性。但是,以现在的AI发展速度来看,相信在不远的将来,AI就会成为精神世界的一道风景线。
关于未来的AI(视频理解、视觉理解方向),小编想到了未来可能发生的三种应用,一起来分享给大家。
率先发生的是无人驾驶,AI对于物体(尤其是运动的物体)可以无障碍识别,完美解决路况分析问题。第二阶段是影评大师,AI对于人类的情感以及电影的艺术手法有了深刻的认识,可以做出权威的评价。第三阶段是AI男/女朋友,各项人工智能技术发展成熟,相互融合,而计算机视觉不再是一个独立体,而更像是一个器官——“眼睛”,最终的AI成品可以作为我们的灵魂伴侣(完美解决我国男性的单身问题,笑~)。
无论如何,AI的萌芽已经被种下了,到底会结出怎样的果实呢,相信大家也满怀期待吧,欢迎大家在评论区留言,说说自己心中未来的“它”!