【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验...

640?wx_fmt=gif

作者|震霆           
出品|遇见人工智能        公众号|GOwithAI


先想象这样一个场景:当你看到一个画面时,通过一个小应用,能随时配上一首契合图像意境的音乐,是不是看起来更酷?


【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验..._第1张图片


有这样一种假象:当音乐响起,结合画面图景,会让你产生一种远离办公室或卧室,坐在森林旁边的潺潺流水中,甚至分身到暴露的山坡上的情景感。


日本研究人员的一个新项目就利用了这种想象力的潜力,并将其与AI算法结合,实现了这种奇妙的效果。


具体说来,是通过一款叫“Imaginary Soundscape” 的网络应用程序,使用机器学习来将您上传的任何图片和最符合的音频配对。(http://imaginarysoundscape2.qosmo.jp/)


【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验..._第2张图片

图注:官方首页


上图为这款产品的首页,简单明了,你要做的就是上传一张图片,然后进入另外一个页面,显示你上传的图片同时,同时就会放出经过AI算法匹配后的背景音乐。


例如,上传日本的渔船木刻,这个系统会匹配波浪和水声;加载一幅抽象的夜莺画作,人工智能会给你搭配一首风铃和鸟叫的音景音乐。


【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验..._第3张图片


再比如上传上面这个画面,系统匹配的音乐就是一首相当古典的交响乐。


通常来说,结果正如你所期望的那样,画面什么样,匹配的音乐也近乎切合。但更有意思的是,当系统接收到你上传一些稀奇古怪的元素时,系统反馈的配音也会带来惊喜,比如将擎天柱与拖拉机声音配对。


【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验..._第4张图片

图注:系统如何工作的示意图

研究人员:Yuma Kajihara,Shoya Dozono和Nao Tokui


所有这些都是一个相对简单的AI算法的产物。它使用物体识别来识别图像中的元素,然后将这些元素与超过52,000个声音文件的数据集进行匹配。


这个产品的研究人员,东京大学的Yuma Kajihara,Shoya Dozono和Nao Tokui多年来一直在研究这种“交叉模式”模型。 


Imaginary Soundscapes的早期版本于1月份推出,旨在将音频与Google街景视图中的图像进行匹配。


这是一个有趣的小应用程序,也是AI支持的新型创意表达的绝佳示例。该系统并不完美,比如模糊识别会造成错误,而声音数据库无可避免地不完整,但这也是其魅力和神奇所在,你永远不知道它会给你匹配什么美妙的音乐。


如果有的话,它产生的偶然和意想不到的音乐背景比“正确”的匹配更有趣。


注:本文综合The Verge、qosmo.jp、github.io等。

Tips:点击阅读原文,即可体验


----End----

加·真社群|国内顶级人工智能公司已集结,每天分享激动人心的AI大事、新应用。如想进入,加微信:623974966,备注:遇见人工智能+单位和职位,符合条件,择优邀请。
领·好福利|点标题下蓝字,或微信搜“遇见人工智能”,关注后回复"报告",1秒钟获取麦肯锡、德 勤等198份顶级最新AI报告。


独家精选栏目文章合集(点击图片即可进入

640?wx_fmt=jpeg

640?wx_fmt=jpeg



640?wx_fmt=png

兼具内容品质和设计颜值的AI全媒体

「AI名利场」  「这很AI」  「AI新声」 

商务合作、转载、投稿请联系微信 

▼ 

Lxz216216216




640?wx_fmt=jpeg


你可能感兴趣的:(【这很AI】又一全新交互技术?用人工智能给图像配音乐,看声音景象下的神奇体验...)