7年憋出最强头显，苹果Vision Pro一夜封神！革了计算机的命
作者 | 新智元 编辑 | 新智元
点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
新智元报道
编辑：编辑部
【新智元导读】终于来了！苹果首款头显Vision Pro深夜登场，令人叹为观止的设计、无与伦比的交互，必将引领下一个十年智能终端设备新形态！
苹果的头显，终于让我们等到了！
为了这一天，苹果已经酝酿了7年。
鸽了太久，当它终于到来的时候，竟显得有一丝不真实。
库克面带微笑，宣布了这次的One More Thing——全世界都在屏息等待的头显终于出场。
售价3499美元，合人民币24000多元，是普通人无法拥有的价格了。
只不过，这张通往「苹果元宇宙」的门票，有效期太短了……
出道即巅峰！苹果首款AR头显发布
苹果现场，Vision Pro现场展示区人满为患。而且还不能上手体验，只能外观拍摄。
不得不说，屏幕的幻彩效果真的很炸裂。
仅从外观上看，苹果的首款头显Vision Pro就像一副滑雪护目镜。
当然，它的设计可是大有玄机——据说，头显有一个独立的电池组，可以通过眼睛、手和声音进行控制。
虽然被定位为AR设备，但在苹果看来，Vision Pro完全可以看作一个无缝融合现实世界和电子世界的新型计算机。
苹果的说法是，这是第一款「不见却可透见」的苹果产品。
只用眼睛/手/声音就可以控制，让「可透见」成为可能，让我们离科幻电影越来越近了。
更科幻的是什么？我们不再受限于屏幕了。
周围的空间，都变成了无限的画布。
在这里，你不仅可以随意使用任何APP，而且可以把它们调成你喜欢的任意尺寸。
M2+R1双芯加持
Vision Pro能够带来非一般的体验，是苹果2颗芯片带来的性能提升。
内置一块冷静且性能强劲的M2还不够，苹果还打造了一块全新R1芯片，确保眼前所见毫无延迟且真实自然。
R1这颗芯片是专门为实时传感器处理这一具有挑战性的任务而设计的。
从12个摄像头、5个传感器（包括1个激光雷达传感器）和6个麦克风中获取输入。
苹果声称，它可以在12毫秒内处理传感器数据，比眨眼快8倍，这将大大减少眩晕现像。
革命性的3D交互界面
史上首次，苹果把Home View搬到了你的家里、你的公司，你所在的任何地方。
这无疑是电子产品交互界面史上革命性的一步。
而每个元素，都被赋予了绝对真实的存在感，让我们能很真实地感受物体的规模和距离。
嫌app太小、用起来不够畅快吗？你可以把它无限放大，大到冲出宇宙。
你想把APP放在哪里，就能放在哪里。
更绝的是，你还可以通过控制数码旋钮，来调节自己的沉浸程度。
而只要用眼睛看一眼，APP就会自动被你选中。
只要用手指，界面就能轻松滑动。
动动嘴皮子，就能自动开始搜索你想要的东西了。Siri也在其中起着作用。
Vision Pro最神奇的一点在于，它不会把你和旁边的人隔绝。你看得到他们，他们也看得到你。
这个独创性的技术，叫做EyeSight。它让别人能看到你的眼睛。
而如果你处于全VR状态，一个发光的屏幕将遮住你的眼睛，告诉其他人你正忙着呢。
最强办公神器要来了
而在你工作时，整个世界都变成了APP画布。
这些应用，现在都冲出了你的屏幕！
只需看一眼，就可以从一个APP丝滑地过渡到下一个APP，办公体验从未有过的畅快。
而且，头显和iPhone、iPad、Mac都是同步的。备忘录、信息、照片、文档，都可以通过iCloud自动更新。
你还可以接收3D信息，把它拉到现实中，从各个角度观看。
因为你可以看到其他人，也不会因为用头显办公而与现实脱节。
多任务处理，就是这么轻而易举。这也太梦幻了吧！
Mac还能和Apple Vision Pro无线相连。只要看一眼，Mac的屏幕就能放到你想要的位置，然后展开。
主打的就是一个沉浸
在家居环境中，头显会给你一个环绕的全景照片。
可以说，Vision Pro是苹果的第一台3D相机。
而你的房间，会变成私人影院。电影会自动改变空间、自动调优光线，将屏幕放大，超越你的房间。
电影会自动改变空间、自动调优光线，将屏幕放大，超越你的房间。
VR体验绝配3D音影效果，让你真的身临其境，恐龙仿佛真的向你探出了头。
或者在任何地方，直接就生成一个无限大的游戏屏幕。
在迪士尼100年之际，苹果还联合了迪士尼内容生态。
随时随地，你都可以进入漫威宇宙，成为超英传奇的一部分。
视觉+听觉全部拉满
这款头显具有2块2300万像素Micro OLED显示屏，提供目前VR设备中最佳的视觉体验。
专门定制的三层镜头配合高分辨率Micro OLED，确保了极高的视觉清晰度，通透感和便携性。
整个视觉解决方案和市面上主流的消费级VR设备相比，就像这个定制的三层镜头一样，简直是Next*3 Level。
它还拥有独一无二的VR声效体验。
现有的VR设备声音效果只能说是「听个响」，苹果却能帮你还原整个声音世界。
「苹果级别好用」的手部追踪技术让Vision Pro原生就消灭了手柄。
这和Meta在Quest的努力方向也是一致的。
双手掌控一切，让Vision Pro的使用门槛变得无限低。
元宇宙大本营visionOS
当然，苹果也要为Vision Pro打造一套全新的操作系统——visionOS。
新操作系统的发布，标志着苹果以及开发者的一个重要时刻。
随着苹果发布全新Vision Pro，可以肯定未来将有一大批开发者开发APP。试图利用这个新平台，希望成为下一个大热门。
苹果表示，visionOS是专门为空间计算而设计的操作系统，专注于在现实世界上显示各种虚拟数字元素。
如前面所提到的，Vision Pro的交互方式包括眼睛、手势和声音。
正是visionOS才得以驾驭这些交互，并在工作、看电影、游戏等场景下，满足现实的扩展需求。
VisionOS与MacOS和iOS共享核心模块，不一样的是，Vision Pro上增加了一个用于处理交互式视觉效果的「实时执行引擎」。
还有首个多APP专用的3D引擎。
visionOS的三维界面将APP从传统显示器的边界中拓展出来，这样这些应用可以以不同的大小并排显示。
此外，VisionOS推出了一些应用程序，包括在Vision Pro上本地运行的Unity，微软的Team和Office等主要软件。
有医疗软件可以看解剖图，还有一个工程APP可以看到物理现象，比如真实世界物体上的气流。
值得一提的是，Vision Pro头显将采用独特的生物识别身份验证方法，首次采用虹膜扫描。
Optic ID使用耳机中的摄像头扫描眼睛，就像Face ID扫描面部一样。
事实上，它几乎与Face ID相同，但它使用一个人虹膜的独特布局来验证身份。
开发者大礼包，无缝迁移新平台
苹果给开发者提供了几乎和之前生态一样的开发环境，确保所有开发者都能直接上手和苹果共创新生态。
部分开发者已经提前体验，展示了未来新平台丰富生态的无限可能。
不论是生产力工具还是娱乐应用，都已经有了全新高质量的开发范例。
现有的应用，大部分也会首发上线。
而原生支持Unity，为全面迈入「苹果元宇宙」做好了技术保障。
库克现场表示，Vision Pro预计在2024年年初发布。
那么，它会成为下一个十年的新「iPhone」吗？看完这届发布会的网友，感慨颇多。
ChatGPT + Apple Vision Pro，人工智能 + 元宇宙，无限算力 + 数字孪生，人类终于来到有史以来「真」与「假」的界线最微小与最模糊的时代。也许会有更多人明白我们一直以来都生活在虚拟中，这可能正是整个地球觉醒的开始。
但当One More Thing在Keynote上亮起时，都代表着这家公司，和地球上的人类又一次对科技的重新思考。Vision是一切奋斗的起点，它更具野心，虚拟与现实，只是一种可能，但Vision，无限可能。
M2 Ultra
除了备受期待的头显外，最新的M2 Ultra芯片也相当炸场。
苹果将其描述为「芯片中的怪物」。
它本质上是2个与苹果的UltraFusion技术连接的M2 Max芯片，具有24核CPU和高达76核的GPU。
它有一个20核的GPU，有16个高性能核心和1个效率核心。性能上比原始芯片有了极大飞跃。
M2 Ultra支持高达192GB的内存，比M1 Ultra多出 50%。总共有800GB/s的可用内存带宽，以及32核神经引擎和1340亿个晶体管。
与M1 Ultra相比，M2 Ultra的Octane 3D渲染速度最高可达三倍。在DaVinci Resolve中，调色师的视频处理速度可提高50%。
苹果表示，具有这种类型GPU的单个系统，可以训练因独立GPU的内存限制而无法处理的机器学习任务。
Mac Studio
得益于M2 Ultra芯片， 新款Mac Studio在性能上得到了大幅的提升。
具体来说，新Mac Studio不仅比搭载了M1 Ultra的前辈快了1倍，而且能让使用After Effects的设计人员将渲染速度提高50%，还能使开发人员以极快的速度使用 Xcode构建新版本的应用程序，性能提升高达25%。
不仅如此，使用Octane工作的3D设计师能够将渲染速度提高3倍，使用DaVinci Resolve的调色师的视频处理速度要比之前快50%。
Mac Studio新版还有更高带宽的HDMI，可以轻松实现高达8K的分辨率和240Hz帧率。
Mac Pro
M2 Ultra的到来，除了加持Mac Studio以外，还意味着沉寂已久的Macbook Pro回来了。
这是Mac Pro 4年来的第一次重大更新，苹果终于完成了向自研芯片的过渡。
新版的Mac Pro和过去英特尔的版本看上去没什么不一样，但里面可是大有玄机。
除了芯片的重大革新，新款的Mac Pro还包含6个开放的PCIe Gen 4扩展插槽，以及8个内置的Thunderbolt端口。
此外，Mac Pro还包括三个USB-A端口、两个支持高达10K分辨率的高带宽HDMI端口、两个以太网端口和一个耳机插孔。
iOS 17：码字更快，iPhone变身床头钟
一年一度iOS更新来了，一大波果粉最期待的体验。
这次，iOS 17的巨变让每个人的iPhone更加个性化。
它主要升级了电话、 FaceTime和Messages的通信体验，让AirDrop更容易分享。
当大模型融入键盘
最最重要的是，苹果这次把键盘，直接智能化新升级。
几个月前，英伟达首席科学家Jim Fan在推特上分享了自己的这一「天才创意」，甚至得到了马斯克的转发，称「这是有价值的idea」。
苹果这就给你实现了不是。
Jim Fan今天还激动地转推表示，看了WWDC，苹果真的实现了我3个月前提到的LLM驱动的键盘！原生的Transformer模型在设备上运行推理，并学习你的打字模式。也许这是由LoRA在晚上完成的？
新升级后的键盘自动纠正的功能得到全面更新，由Transformer模型加持。
这是一个最先进的设备上机器学习语言模型，用于单词预测，能够改善你每次打字时的体验和准确性。
为了更好地支持打字，句子自动更正可以修正更多类型的语法错误。
此外，你在打字时，还会得到在线预测文本建议。
这意味着，当你添加整个单词、或完成句子就像点击空格键一样容易，使文本输入比以往更快。
同时，键盘的听写功能利用了新的语音识别模型，识别更加准确，「某些词」也可以心领神会。
StandBy（待机）
除此之外，iOS 17还推出了新的体验，比如手写APP「Journal」。
还有，就是你的iPhone也能变成床头时钟了。
iOS 17引入了全新的StandBy功能，可以提供全屏信息体验。
当你手机横向充电时，可以将屏幕变成带有日期和时间的状态显示。
它可以显示来自Live Activity、小部件和智能栈的信息，并且只要你将手机侧身横放，随时就能开启。
另外，StandBy可以在晚上将显示屏转为红色，以避免打扰睡眠。
同时，Siri也得到了提升。
以后，你不用说「Hey Siri」，直接Siri完事。
macOS：小组件随心移
这次，苹果还揭开桌面操作系统MacOS14的神秘面纱——Sonoma。
这一名字来源于加利福利亚一个小镇Norther California的葡萄酒产区。
Mac也有桌面小组件了
Sonoma的更新，带来最有亮点便是可移动的小组件。
以往，MacBook端的小组件都只能从屏幕滑动最右侧呼出。
而现在，Sonoma的小组件和iPhone/iPad一样可以随心移动和定义。
一边工作，一边浏览信息，不会占据屏幕，分分钟提高效率。
由此，MacBook上的小部件互动性大大提升，你可以随时播放或暂停媒体，访问家庭控制等各种任务。
此外，通过Continity，你也可以在Mac上联通和iPhone的小组件。
只需要把iPhone靠近，或者链接同一个WiFi，一键搞定。
有趣的是，这些小组件，可以根据你的壁纸颜色，智能变色，提供更好的视觉体验，让你同时保持专注。
视频会议
macOS Sonoma带来了增强的视频会议功能，让你能够在任何视频会议App中更有效地展示和分享工作。
Presenter Overlay，是一种全新的视频效果，能够将共享的内容夹在人物和背景之间。
这样，演讲的人就出现在共享屏幕之前了。
此外，Reactions还能让你营造快乐的氛围，比如在视频中无缝添加气球、五彩纸屑、心形来表达现在感受。
领导看了也欢喜。
改进的屏幕共享选择器简化了在视频通话期间共享应用程序的过程。
你可以简单地点击应用程序左上角的绿色按钮，然后选择在通话中共享，这样就可以方便地从当前打开的窗口共享内容。
小岛秀夫：把游戏带进Mac，从死亡搁浅开始
现在，苹果电脑玩游戏炸裂效果即将开启。
最新电脑操作系统引入了游戏模式（Game Mode），提供了一个更流畅和更一致的帧速率优化游戏体验，确保游戏获得最高优先级的CPU和GPU。
值得一提的是，苹果还带了一款全新游戏「死亡搁浅 导演剪辑版」，这是由著名的日本游戏制作人小岛秀夫制作。
参考资料：
https://www.apple.com/apple-events
（一）视频课程来了！
自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、多传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）
（扫码学习最新视频）
视频官网：www.zdjszx.com
（二）国内首个自动驾驶学习社区
近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！
（三）【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；
添加汽车人助理微信邀请入群
备注：学校/公司+方向+昵称