AI未来已来:VR与AR的颠覆性应用,但前路依旧未知
1 周前 / 阅读约14分钟
来源:CNET
VR/AR设备将加入更加智能的AI层,如Google的Gemini AI和Meta的Ray-Bans,提供实时AI辅助和翻译。AI与XR的结合成为自然趋势,未来的头戴设备和眼镜可能通过更多传感器和AI实现类似脑机接口的体验。

VR头盔与AR眼镜的下一场革新:融入日益增强的AI感知能力。Google Image/Zooey Liao/CNET

我沉浸在一个由虚拟事物构建的世界:从家的3D地图到远方未至之地的景观,环绕四周的视频,以及漂浮在眼前的浏览器页面。我并不孤单,一个友善的声音伴我左右,倾听我的提问,理解我所见的一切。这位伴侣仿佛能洞察我的所见所闻。那么,是Google的Gemini AI在我身后徘徊、环绕,还是已融入我的体内?我的感知与AI的感知,界限何在?

时至2024年末,我正体验一款内置Google Gemini AI 2.0的未来三星混合现实头显。尽管这款产品要到2025年末才会正式上市,但它无疑是一个强有力的信号——不仅预示着未来,更是对个人科技发展趋势的一次预警。多年来,AI始终在倾听并回应我们,无论是通过语音指令、文字提示,还是图像扫描,它都在我们的笔记本电脑、手机及云端默默运作。而今,AI的目光已聚焦于我们的双眼。

这些构想并非新鲜事物,但我们正站在企业变革的门槛上,即将见证头显与眼镜上令人惊叹的变化——部分技术已触手可及,而另一些则尚在探索之中。Google的Android XR战略仅是第一步,预计Meta、Apple、Microsoft等众多企业也将紧随其后,部分公司已悄然启程。从我所目睹的一切来看,这将彻底颠覆我们对AI的现有认知。

Google Android生态系统总裁Sameer Samat认为,AI与XR(即“扩展现实”,涵盖VR、AR及AI辅助的可穿戴设备)的结合将是水到渠成。“AI能助力操控用户界面,与你携手解决问题,并在虚拟空间中与你并肩作战,”Samat如是说。我在Android XR上的体验完美诠释了这一点,它带来的AI伴侣感受与以往截然不同,更加个性化,仿佛AI已融入我的思维,洞悉我所见的一切。

未来已至。Meta更新的Ray-Ban眼镜现已融入实时AI辅助与翻译功能,这一切尽在售价300美元的眼镜之中,触手可及。

这两款设备间,或将构建一个共享内存系统。Scott Stein/CNET

交织与挑战

近年来,AI成为科技领域过度炒作的焦点,这主要归功于OpenAI等公司在生成式AI领域的卓越成就。AI的魔力时而令人惊叹,时而令人失望,时而充满希望,时而又沦为笑柄。与众多被过度吹捧的技术一样,AI的承诺与现实往往交织在一起,导致混乱与破坏,直至我们真正理解其真正影响。

即便在科技新闻行业浸淫多年,我仍对AI领域感到困惑。我难以判断其益处与危害究竟几何,或许两者兼而有之。我时常思考其复杂性与加速性,当新技术获得关注并成为主流时,其结果往往出人意料——正如智能手机所展现的那样。目前,大多数人并不常戴VR与AR头盔及眼镜,但这一现状或将改变。随着AI通过面部传感器收集更多数据,若其真能大规模普及,那么未来的可能性将难以估量。

我已窥见潜力的冰山一角。三星与Google的演示向我展示了如何让眼镜或头盔成为我的记忆载体,回溯我所见的一切。我可随时询问关于所做之事的详情与澄清,仿佛身边常伴一个活生生的搜索引擎。一年多来,我始终佩戴着Meta的Ray-Ban眼镜——自2023年末便已成为我日常佩戴的普通眼镜。如今,它们能通过语音指令与快速快门捕捉即时识别物体或翻译语言。我漫步在社区中,向眼镜询问所见之物,有时它们极为有用,有时则不尽如人意。

我愈发沉迷于头盔与眼镜的世界。诚然,这出于工作的需要,作为一名科技先驱探索者,我深感其魅力。VR曾以新奇体验与游戏著称,但如今已成为我日常生活的一部分。我用Quest头盔与虚拟教练进行每周锻炼,监测心率。我佩戴Vision Pro眼镜投入工作,环绕的曲面显示器让我沉浸于音乐之中,仿佛坐于月球之上,在观赏浮动电影的同时悠然小憩。我戴着播放冥想与音乐的眼镜漫步,接听电话,捕捉生活中的点滴记忆。科技正日益融入我的日常生活,而AI正蓄势待发,准备加入这场旅程。未来又将如何演绎?

Meta的AR眼镜“猎户座计划”配备了神经输入手环,未来或将涌现更多新型接口。Celso Bulgatti/CNET

AR与AI:脑机接口的曙光?

诸如Meta等公司已开始探索神经输入设备,我曾亲身体验过其Orion眼镜原型。小型手环利用肌电图(EMG)检测电信号,并将其转化为预测性手势。AI在VR与AR头盔中已无处不在,用于预测头部运动、追踪眼球运动、将手势转化为动作,并同步体验,使其既逼真又无眩晕感。更先进的生成式AI助手更可让头盔成为除植入物外,最接近脑机接口的存在。

我曾探访过的公司如OpenBCI,已开始探索EEG传感器与VR/AR的结合。AI与视觉、听觉提示及手势协同工作,几乎能达到读心术的境界。眼球追踪领域充满可能与风险,因眼球注视能极大程度地反映我们的思维与认知状态。

面对复杂性,我时常想起雷·库兹韦尔。这位著名(有时也颇具争议)的AI先驱,现任Google工程总监,数十年来始终著书立说,探讨AI的崛起。其2004年著作《奇点临近》描绘了由加速发展的AI所塑造的奇异未来,书中满是图表与图形。2024年,库兹韦尔推出《奇点更近了》,作为对其早期论点的精炼回顾,距上一部作品已逾二十年。我注意到,自库兹韦尔上一部作品问世以来,其众多关于AI的构想已成为现实。他的未来预测从奇异到难以置信,涵盖使我们重生的纳米机器人、能源危机的解决方案,乃至经济不平等的终结。库兹韦尔构想了一个连接他所预测的奇点与我们当下的桥梁,他认为这座桥梁便是AR与VR。

在去年与库兹韦尔的对话中,他坦言:“这远比仅仅操控手机要强大得多。在AR环境中,事物能更直观地呈现给你,你能更快地吸收信息。这比直接接入大脑更为便捷,我认为这将是下一步。我确实认为,最终我们或将希望将大脑扩展至云端。但AR,我认为它是我们当前所在之处与最终目的地之间的桥梁。”

混合现实头盔与智能眼镜虽尚无法直接与我们的大脑接口相连,但与日益增多的摄像头与麦克风相连的生成式AI已开始让我们向这一愿景迈进。今年,我们或将见证众多新实验推动这一方法的边界。

Snap的AR眼镜目前面向开发者,可通过其摄像头与OpenAI集成。Scott Stein/CNET

群雄逐鹿,壮志凌云

Google是最新一家旨在将AI融入XR的企业,但Meta已在此领域深耕多年。Meta首席技术官安德鲁·博斯沃思一年多前便透露,随着时间推移,AI将在Meta眼镜与Quest VR头盔中发挥更大作用。Meta Reality Labs首席科学家迈克尔·阿布拉什长期将AR眼镜视为辅助记忆系统与基于代理的AI接口。我在去年秋天体验的一次Meta Orion原型眼镜演示中见证了部分功能,而最新的Ray-Ban眼镜则通过始终开启的摄像头引入了提醒与持续辅助。

与此同时,VR中的生成式AI至少迄今仍主要聚焦于创意工具。“我们开始在Horizon [Quest头盔]中运用生成式AI构建世界,以及打造个性化身份与定制内容,包括化身、服装、配饰及角色动画,”Meta Horizon平台负责人马克·拉布金在去年9月公司Connect开发者大会上透露。但拉布金认为,在VR与AR领域内,如Android XR的Gemini般的视觉感知AI将是下一步关键。“你几乎能用Ray-Ban做的一切,最终都可在元宇宙中实现。但要使其发挥作用,Meta AI需为你提供元宇宙的全方位信息。”

博斯沃思在2024年末的一次对话中提及,AI识别虚拟事物的训练数据仍显不足。基于照片与视频的训练在识别现实世界方面表现更佳,而这正是摄像头眼镜的强项。随着Meta眼镜从语音操控设备发展为配备显示屏的设备,它们还能融入手势追踪与手环配件。

Apple现已推出自家尖端混合现实头盔,但摄像头密布的Vision Pro尚未深度集成生成式AI层……至少目前尚未实现。Apple正通过去年6月宣布的Apple Intelligence将其生成式AI点滴融入手机、iPad及Mac中。Apple Vision Pro作为一款早期采用者头盔,目前尚未搭载Apple Intelligence,但很可能是下一个融入的对象。

Apple混合现实AI的工作方式已初露端倪。视觉智能刚在iPhone上亮相,通过按下侧边按钮即可扫描并识别世间万物,与Google Lens功能颇为相似。预计Apple将在今年尽早推出更实惠的Vision Pro版本,可能与iPhone首次实现连接。若Apple已做好准备,那么届时在头盔中增添更多基于摄像头的辅助AI功能将极具意义。

还有众多其他参与者参与其中。去年秋天,Snap推出了面向开发者的独立Spectacles AR眼镜,我有幸体验了一番。这些眼镜已经具备与ChatGPT集成的生成式AI功能。而Xreal的最新款眼镜则配备了可选的摄像头,专为未来的AI功能而设计。

现如今,几乎所有的AR和VR头盔都装备了高质量摄像头,这些摄像头已用于混合现实创建,将真实世界的视频与虚拟叠加层相融合。通过加入更深层次的AI技术,这些传感器能够成为构建连续代理式感知的关键。同时,这些AI层也可能颠覆应用程序和游戏的制作方式。未来的头盔不太可能长时间停留于单一体验,而是更可能同时融合多种体验,而AI将负责统筹管理这一切。

手机也将开始与这些新型头盔和眼镜建立更直接的联系。正如Android XR所预示的,我们预计管理这些头盔上额外服务的方式将是手机功能的延伸。

我们如何界定隐私界限?

AI已深入扫描我们的文字、声音和照片。而集成到头显和眼镜中的AI则让我们窥见了一个世界——摄像头将全面扫描我们的生活,或者至少是我们所目及的一切。这无疑是一个令人不安的想法。为了使这一切运作起来,摄像头需要接入AI,而公司则需制定权限和隐私功能,以确保这一切不会让人感到被侵犯或冒犯。

在我的Android XR演示中,我感觉Gemini不仅能看到我头盔内的一切,还能窥见我房间周围的情况。Microsoft在其Windows PC上的Recall功能引发了强烈反对和担忧,因为其持续开启的计算机活动感知可能会触及私人数据,暴露人们不希望被AI服务共享或知晓的瞬间。对隐私的担忧阻碍了Meta和Apple等公司在其混合现实头盔中为开发者开放摄像头访问权限。但这些障碍正在逐渐消除。Meta正在开放摄像头访问权限,Apple也紧随其后——至少是从企业用户开始。

Meta的Ray-Bans能够识别多种物体,但有所限制。我常常不被允许识别汽车或特定位置、地址——Meta AI表示这违反了隐私条款。然而,在正确的提示下,我有时也能成功识别。但我不能询问产品或健康、营养信息。在我最近与Gemini的Android XR演示中,我甚至无法尝试识别我同事的脸。

那么,这些AI记忆在何处会让我们感觉像是自身的延伸,又在何处需要设置防护栏——无论是为了我们的隐私,还是为了制造AI的公司的法律保护?

我们已经拥有了可以通过摄像头以各种方式与AI连接的手机。但似乎由某个应用程序或操作系统施加的任何限制,有时都可能被另一个所绕过。

然而,为了让未来的头盔和眼镜真正具备辅助性和感知世界的能力,它们需要将AI与摄像头和其他传感器更紧密地连接起来。我们在2025年所见的或许只是冰山一角,但其潜力——无论好坏,或是完全新奇而混乱——都即将显现。我们很难想象其真正的意义所在。

“无论你正在通过眼镜、手机、账户还是服务传输何种数据,你都非常关心这些数据的安全。你希望确保掌握这些数据的人是值得信赖的,理想情况下,他们应尽可能少地收集数据,尽可能实现数据本地化,并尽可能减少在服务器上保存的数据量。但另一方面,你确实需要一个特别了解你的AI。”Meta首席技术官安德鲁·博斯沃思在2024年底通过Zoom告诉我,“我认为我们将从个性化AI中受益匪浅。没有理由让我们的个性化AI以牺牲隐私为代价。”

但博斯沃思认为,在AI中持续访问你的生活是接下来必然发生的一部分——在眼镜上、在耳机上、无处不在。“我认为这是我们的社会将会非常适应的事情。我确信消费者对它的需求将会非常高。”

与此同时,也有众多警告之声。Better Offline播客主持人、长期批评AI炒作周期的埃德·齐特伦表示:“当生成式AI面向用户时,它带来的隐私问题相对较少,但当它能看到世界的其他部分时,问题就来了。能够观察和处理现实世界的应用程序必须受到监管,而且要迅速,否则,我们将见证历史上最严重的隐私侵犯事件之一,在社会网络规模上加剧最恶劣的监控资本主义。”

当我在纽约漫步,测试Meta为其眼镜提供的最新实时AI更新时,它能够连续录制视频并在我漫步时观察现实世界,我从未像现在这样清晰地感受到事物正在迅速变化。目前,我和其他人一样,对这一切感到惊讶、困惑和担忧。