Meta与Ray-Ban合作推出了一款全新智能眼镜外观时尚,而且搭载了能够“看到“你所看到的一切的人工智能技术

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

“嘿,Meta,看看这个,告诉我哪些茶是无咖啡因的。”

当在Meta位于纽约总部戴着一副Meta Ray-Ban智能眼镜说出这句话时,正盯着桌上用记号笔涂黑了咖啡因标签的四个茶包。耳边传来轻微的点击声,紧接着Meta的AI声音告诉我,洋甘菊茶可能是无咖啡因的。它正在阅读标签并使用生成式AI做出判断。

这是我正在测试的一个功能,从今天开始就会推出到Meta的第二代Ray-Ban眼镜上 —— 这个功能是Meta首席执行官马克·扎克伯格在去年九月新眼镜发布时已经承诺的。这些AI功能,可以通过Meta眼镜上的摄像头查看图像,并用生成式AI进行解读,原本计划于2024年推出。Meta比我预期的更早引入了这些功能,尽管早期访问模式仍然非常是测试版。除了将Bing支持的搜索添加到Ray-Ban的新更新中,这增强了眼镜已有的语音激活功能,Meta的眼镜正在迅速获得新能力。

这次演示让我惊叹,因为我从未见过类似的东西。我看过一部分:Google Lens和其他手机上的工具已经在使用相机和AI,而Google Glass —— 十年前 —— 有一些翻译工具。然而,Meta眼镜调用AI来识别我周围世界中的东西的方式简单直接,感觉相当先进。我很兴奋能够尝试更多。

这些眼镜没有显示屏,AI只回应声音。但Meta View手机应用程序会保存照片和AI的回应以供日后查看。 Meta 多模态AI:目前的工作方式 目前这项功能还有限制。它只能通过拍照来识别你所看到的东西,然后AI进行分析。在发出语音请求后,你会听到快门声,然后几秒钟后会有回应。语音提示也很长:Meta眼镜上的每一个语音请求都需要以“嘿,Meta”开始,然后你需要跟上“看看并”(我最初以为需要说的是“嘿,Meta,看看这个”)来触发拍照,紧接着是你想让AI做的事情。“嘿,Meta,看看并告诉我用这些食材有哪些食谱。” “嘿,Meta,看看并编一个有趣的标题。” “嘿,Meta,看看并告诉我这是什么植物。”

每个请求都会触发快门声,然后是AI阅读图像并解释它的几秒钟暂停。这与手机上的AI相机应用程序的工作方式类似,除了戴在你脸上并且通过声音控制。

每个AI的回应和它查看的照片都储存在与眼镜配对的Meta View手机应用程序中。我喜欢这一点,因为它是后来的视觉/书面记录,就像记忆提示的笔记。我可以想象在某处漫步并提出问题,将其用作我的眼睛的某种头戴式Google搜索,无论是购物还是其他。

Meta的这款智能眼镜,不仅仅是科技的尖端产物,它的辅助功能也非常值得关注。想象一下,当我戴着这副没有配我视力的试验款Meta眼镜,询问它我正在看什么时,尽管回答在细节和准确性上有所不同,但它确实能给出一个大概的指引。它甚至能识别出我手中的眼镜,注意到镜片带有蓝色调(蓝黑框架,相当接近实际情况)。

不过,这副眼镜有时也会“产生幻觉”。比如我问桌前碗中的水果,它正确地列出了橙子、香蕉、火龙果和苹果,但错误地认为还有石榴(其实并没有)。当我让它为窗前的一个大毛绒熊猫编写标题时,它创造了一些可爱的标题,但有一个与实际情况不符,描述了一个孤独地看手机的场景。

当我看着一份西班牙语菜单,询问眼镜显示辛辣菜肴时,它能读出一些菜名并为我翻译关键食材,但当我再次询问含肉的菜肴时,它又用西班牙语回答了。

这项技术的可能性令人兴奋,而且可能极其有用。Meta承认,这次早期推出旨在发现漏洞并帮助改进眼镜上的AI工作方式。我发现有些时候需要频繁说“嘿,Meta,看看”,但这个过程可能会随着时间改变。当进行即时图像分析时,提出直接的后续问题有时可以不用再说“看看”,但这种做法的成功率可能会有所不同。

这种AI被Meta称为“多模态AI”,因为它结合了相机和语音聊天的功能,是公司计划将来将多种形式的输入混合在一起的AI的先驱,包括更多的感官数据。Qualcomm专注于AI的芯片组在Meta的新款Ray-Ban上已经准备好承担更多任务。Meta还计划随着时间的推移使这一过程更加无缝。

Meta首席技术官Andrew Bosworth曾在去年九月说,尽管眼镜现在需要语音提示来激活和“看到”以节省电池寿命,但最终它们将“配备足够低功耗的传感器,能够检测到触发意识的事件,进而触发AI。这正是我们正在努力实现的梦想。” Meta还在研究将多种形式的感官数据融合在一起的AI工具,以备更先进的未来可穿戴设备。

现在,这还是一个早期访问的测试版。Meta在这一阶段使用匿名查询数据来帮助改进其AI服务,这可能会引起一些关注隐私的人的担忧。我还不清楚具体的选择加入细节,但一旦最终的AI功能推出,可能是明年,更多离散的数据共享控制似乎可能到位。

你可能感兴趣的:(人工智能,语言模型,学习,自然语言处理)