Google/Getty Images/CNET

我体验过众多VR和AR头显，但直到本周在谷歌纽约总部，我才首次感受到身边有个无所不知的AI助手陪伴的震撼。

Android XR目前以早期形式供开发者使用，预计于2025年全面发布。它承诺为各类头显和眼镜提供一个完整的操作系统，并与Android手机无缝连接。而其核心亮点，即谷歌寄予厚望的AI助手Gemini，预示着头显和眼镜将在未来几年迎来巨变……不过，我仍对其如何融入日常生活抱有诸多疑问。

体验后，我脑海中满是回忆。在AI助手的陪伴下，我仿佛穿梭于各个世界。例如，我站在自家3D地图上，家就在脚下。我放大地图，悬停在屋顶上，直至能看到地平线及远处几座建筑。我指向它们。

“那边的建筑是什么？”我问。

“那是高中，”Gemini答道，准确识别出我所在城镇的学校名称。

我靠近一些，又询问旁边的市政大楼。我和Gemini一起探索着小镇，使用的是一款与苹果Vision Pro头显颇为相似的新款三星混合现实头显。但当Gemini带我穿梭于地图、Chrome、YouTube之间，助我识别视频中的事物，即时叙述场景，甚至在谷歌纽约总部的一个模拟客厅中指出并搜索现实物品时，我已分不清自己在使用哪个应用。Gemini始终陪伴在侧。几次演示后，它甚至能提醒我做过的事，以防我遗忘。

这一切开始让人感觉像是科幻助手的梦想成真，这并非偶然。谷歌Android生态系统总裁萨米尔·萨马特将多模态AI比作“钢铁侠”时刻：“这些[AI]模型能使用手机摄像头与世界交互，这着实让我们大吃一惊。对一副眼镜来说，这岂不是绝配？”

在与萨马特的深入对话中，我深切感受到AI正促使谷歌重新规划其未来AR/VR计划，并重返多年前因结束对Google Daydream支持而退出的领域。

没错，谷歌和三星对2025年的AR/VR计划充满期待：届时Android XR将发布，三星的头显也将面世。但Android XR还将与Android手机及其他各类头显和眼镜（从VR到AR，再到类似Meta Ray-Ban的智能眼镜）配合使用。眼镜在谷歌的规划中占据重要地位。我还体验了多款启用显示屏、搭载Gemini的智能眼镜，每款都配备浮动抬头显示。这些眼镜是谷歌代号为Project Astra的AI计划的一部分，也是即将推出的产品之一。

信息量巨大，但这仅是AI即将在XR领域大放异彩的冰山一角。这既有趣又充满挑战，值得我们深入消化。

连接手机的桥梁，构建适用于各种硬件的生态系统

多年来，我一直强调：VR和AR中缺失的重要一环便是我们的手机。迄今为止，iOS和Android尚未与VR和AR头显及眼镜深度整合。但Android XR这一将于2025年发布的新平台，于周四向开发者宣布，将打破这一僵局。从三星类似Vision Pro的混合现实头显起步，谷歌旨在打造一个与Google Play互联的眼镜、护目镜和头显宇宙，同时运行多个2D应用，并利用Gemini AI。

谷歌视AI为Android XR的重要组成部分和最大特色。从这个意义上说，它与Meta和苹果已有所不同，后两者在VR和AR中对AI持谨慎态度。Apple Intelligence尚未在Vision Pro上亮相，但预计明年将推出。虽然Meta的Ray-Ban智能眼镜已运行生成式AI，但Meta Quest VR头显中尚未内置太多AI工具。

Android XR仍处于早期阶段，是一个供早期合作伙伴开始适应的预览版。谷歌首先与三星合作作为其起始硬件合作伙伴，我短暂试用的混合现实头显将是明年推出的首款产品。三星也在制造眼镜，但我们对此知之甚少……与此同时，谷歌也有自己的内部智能眼镜，名为Project Astra（我也试用了这些眼镜）。

还将有其他合作伙伴和产品加入：Xreal已拥有广泛的显示眼镜和一套新的AI就绪型Xreal One眼镜，便是其中之一。但对于接下来的一年，主要是谷歌和三星的天下，硬件均采用高通制造的芯片组。

尽管Android XR的起点是高端VR头显，但其目标是推出一系列即将面世的产品。“这不仅仅是一款产品，”三星沉浸式技术和硬件执行副总裁金基焕表示。他认为，这是包括眼镜在内的一系列设备的基础。“这更像是开拓这个市场的途径，”金基焕说。

我今年秋天早些时候看到的Meta Orion眼镜距离成为现实还有数年之遥，但它们展示了AR眼镜可能的面貌。然而，目前尚无人实现这一目标，谷歌正与其他公司一道，朝着这个目标努力。

“我们采用了这种并行方法，”谷歌XR副总裁兼总经理沙拉姆·伊扎迪在谈及头显/眼镜战略时说。“一种是从多功能起步，一种是从有限功能开始，但锁定外形。大多数人正从这两个方向入手，以实现全天候可穿戴AR眼镜。”

Project Moohan是一款外观熟悉的混合现实VR头显，将是明年首款启用Android XR的产品。三星

三星的Project Moohan迈出第一步

我是少数几个能提前上手三星Android XR头显的人之一，且仅体验了大约半小时。它被称为Project Moohan，谷歌不允许我拍摄演示或头显的任何照片、视频。硬件感觉颇为熟悉：贴合度和手感与Meta Quest Pro相似，但视频质量与Apple Vision Pro相当。头显采用透明镜片和护目镜式设计，悬于额头，置于眼前，无需面部按压件。头带设计于后部收紧，且非常轻便，但附带一个有线电池组，与Vision Pro颇为相似，我将其置于口袋中。

谷歌为我配备了处方镜片进行演示，这对我帮助很大，因为头显似乎不适合戴眼镜的人使用。该硬件具备眼球追踪和手部追踪功能，与Vision Pro相同，并使用彩色摄像头将现实世界与头显上显示的VR内容叠加，从而创建混合现实，与Meta的Quest 3或Vision Pro颇为相似。

Project Moohan是谷歌和三星在生成式AI兴趣和能力迅速提升前便已启动的项目。据萨马特介绍，这促使团队转向基于代理的Gemini系统，该系统将在头显和眼镜上运行。但Moohan是谷歌认为能覆盖足够多交互基础、Google Play应用兼容性、AI和界面的起点，它能激发其他更小、可能最终不具备所有这些功能的眼镜的灵感。

Android XR的窗口化感觉与Vision OS颇为相似，但Gemini AI也能看到你看到的内容。谷歌

熟悉中带着AI的魔力

轻触头带侧面即可打开一个Google Play应用网格，这与Vision Pro（或我的Meta Orion演示）的工作方式颇为相似。我可通过在空间中投射指针，用手捏合打开应用，应用窗口可通过边缘拖动并调整大小。头显顶部的一个按钮可带我返回主屏幕，其中包括一个沉浸式的3D景观，这再次与Vision Pro颇为相似。

谷歌的演示均基于谷歌应用，其中有几个尚未在其他头显上使用，即Maps和YouTube。Google Maps以2D模式开始，但可启动完整的3D视图，感觉就像我几年前在VR中尝试的Google Earth体验。景观神奇地展开，遍布可搜索的位置。谷歌还使用称为高斯溅射的技术逐渐添加完整的3D扫描位置，该技术将2D照片编织成逼真（但略显模糊）的可行走房间。我进入了一家名为Scarpetta的纽约餐厅的扫描图，并走了进去。我在Meta、Varjo、Niantic等公司见过这种类型的扫描，但将它们编织到Maps中颇为有趣。

YouTube感觉像一个带有弹出面板供评论和元数据查看的标准播放器，但它也能播放YouTube上已存在数年的沉浸式3D、180度和360度视频。还有另一个技巧：谷歌正在使用AI将2D YouTube视频转换为3D。它看起来还不错，更令人印象深刻的是，它还能与Photos应用中的家庭视频一起使用，以及进行2D到3D的照片转换。苹果已在Vision Pro中将2D照片转换为3D，但视频技巧是沉浸式回忆的更高层次操作。

Android XR能显示照片和视频，并将它们全部转换为3D。谷歌

我还将Chrome浏览器拖到桌面上，以演示如何从手部追踪切换到鼠标和键盘，过渡非常顺畅；鼠标光标在房间内四处移动，而不仅仅是在浏览器窗口中。当我抬起手离开鼠标时，手部追踪会立即恢复。我的演示未启用眼球追踪（可能是因为我的处方镜片），但头显和Android XR旨在适应任何可用的输入：手、眼睛、语音或键盘、鼠标或连接的手机等输入设备。（顺便说一句，头显具备自动眼距调整功能。）

三星的头显设备——其官方名称、价格及发布日期均未公开（Moohan在韩语中意为“无限”）——目前仅供开发者使用。然而，这款设备给人的感觉异常真实，它搭载了高通今年1月宣布的XR2 Plus Gen 2芯片。但需要强调的是，Gemini AI似乎是其中的独特亮点。我的演示是在预设空间内，使用预配置的应用进行的，而Gemini的表现极具说服力，这种魔力在另一个房间的眼镜上同样得到了展现。

谷歌的Project Astra原型智能眼镜看似普通，但其中一个镜片内藏有显示屏。谷歌

眼镜：全视AI与抬头显示

三星的下一款产品将是智能眼镜，更多细节将于2025年揭晓。但目前这些眼镜尚未面世。相比之下，谷歌正在内部测试自己的眼镜，作为名为Project Astra的AI计划的一部分。这些眼镜正在进行实地测试，以收集使用感受和效果反馈。我进入的第二个房间中摆放着几副这样的眼镜，其中一副还为我配备了临时处方镜片。这些眼镜外观普通、轻便且无线（类似Meta的Ray-Ban），镜臂上装有摄像头、扬声器、麦克风及一些输入按钮。

眼镜的右镜片内嵌有显示屏，通过镜臂上的Micro LED芯片将图像投射到镜片玻璃上的小型方形贴片上，再经波导技术呈现。它们仿佛是谷歌眼镜的现代升级版，但技术更为先进。显示屏主要用于展示文本，如方向信息或Gemini通过扬声器可能对我说的话的字幕。

谷歌智能眼镜的抬头显示效果展示。我的体验与此非常接近，但我没有设置书架。谷歌

我在房间内自由走动，浏览书架上的书籍并与之互动（例如，我询问了杰夫·范德米尔的《救赎》，以及阅读前是否需要先了解其他作品）。我打开了一本尤瓦尔·赫拉利的书，并让Gemini为我总结了书中的内容。我还请它翻译了墙上的一张海报。虽然Meta的Ray-Ban眼镜已具备这些功能，但一旦调用Gemini，它便会持续保持活跃状态，无需额外提示。我无需频繁重新激活，只需保持其开启……当我需要休息时，轻触眼镜侧面即可暂停。

我还体验了实时翻译功能。房间内的另一个人先用英语后用西班牙语与我交谈。她所说的一切都在抬头显示中自动加上了字幕，即使她更换了语言，字幕也始终保持英文显示。

我在双屏原型机上体验的眼镜版地图即为此类效果，但此次是在封闭的演示空间内。谷歌

另一段简短的演示揭示了这项技术的未来发展方向：一副配备双显示屏的眼镜为我提供了模拟的地图信息。当我低头时，3D地图随之显现，指引方向并展示我所面对的街道。抬头环顾四周时，地图随我移动而出现，静止时则消失。我还观看了一段简短视频片段，展示了显示屏的潜在分辨率；微LED的色彩和像素密度表现出色，但方形视野相对较小。谷歌认为这将随时间逐步扩大，但目前仍明显小于Meta的Orion原型机、Xreal眼镜，甚至Snap的开发者眼镜Spectacles。然而，谷歌及其硬件合作伙伴（如三星）可能正在逐步增加眼镜上显示的视觉细节，以避免使用时感到被打扰或在公共场所行走时感到不安全。

Meta将耳机和眼镜视为与PC和手机并列的产品类别，谷歌亦持相同观点。伊扎迪表示：“你可能会使用更类似于笔记本电脑的沉浸式产品。而在眼镜方面，它们更像是未来的智能手机或可穿戴设备，如手表或耳机。因此，必须同时支持这两类产品。”

即时翻译效果展示。在户外日常生活中，这将带来怎样的体验呢？谷歌

Gemini作为随时待命的助手：我准备好了吗？

在这些演示中，Gemini的一键启动功能表现稳定，这显然是谷歌的精心设计。但这也是我在体验中最感惊讶的部分。无论你对AI有何担忧，在头戴式设备或眼镜中，当键盘或触摸屏等输入方式难以使用时，AI都将变得极为有用。我在使用Vision Pro或AirPods时会更频繁地调用Siri。Meta的雷朋眼镜也采用语音作为更深入的控制方式。然而，当前的VR/AR设备在AI感知方面存在局限。Gemini能够实时查看你所见的一切，因此它就像一个伙伴……但也许并非你时刻都想要的伙伴。

起初，我觉得Gemini活泼友好（它说“嗨！”而我尴尬地回应了“嗨”），但随后它进入了一种倾听模式，我说的话都可以被解释为指令——无需“嘿，Gemini”这样的提示。这既提供了帮助，也带来了侵扰。停止它的方法是暂停或再次关闭，这与当前AI助手的工作方式相反：不是通过点击来调用，而是通过点击来停止。毫无疑问，从电池角度来看，Gemini在小型眼镜上连续运行的能力有限。据谷歌介绍，在如Moohan项目这样的混合现实VR中，Gemini作为一个层工作，使用投射来解释所见的一切。它甚至可以在玩游戏时使用，尽管可能会对性能产生一定影响。

其优势在于能够在一定程度上不断打破混合现实的“第四面墙”：我可以在Chrome中“画圈搜索”事物并让响应弹出，或根据需要将3D对象拉入我的世界，或在应用之间跳转以获取位置或视频信息，或请求播放我看到的一张专辑中的音乐（这在我的演示中已实现）。三星的金某建议，如果Gemini能察觉到我在头戴式设备或眼镜中的行为，我在玩游戏时或可获得教程。当然，它也能记住我做了什么以及何时做的。然而，当我请Gemini识别与我同处一室的同事丽莎·埃迪西科时，它表示目前尚不能用于识别人（但未来可能会实现）。

谷歌已为刚刚宣布的Gemini 2制定了广泛计划，即成为一个跨设备的代理式系统。将摄像头输入纳入AI输入组合也意味着需要收集和训练更多数据。这不仅局限于头戴式设备和眼镜，且谷歌并非唯一追求此愿景的公司。其影响深远。

伊扎迪表示：“无论是你的眼镜、耳机、手机还是手表，助手都将陪伴着你。”

我是否希望Gemini看到我所做的一切？当然不希望。微软曾在Windows中尝试一种始终开启的Recall AI模式，但因反对声音而推迟了实施。谷歌将如何处理随时提供帮助与侵犯隐私之间的平衡尚不清楚，尽管谷歌承诺用于AI识别的视频流将保持私密和本地化。

未来Android XR产品的形态尚不确定，但可以期待大量眼镜产品的涌现。Getty Images/CNET

Android XR将打通手机、耳机与其他设备之间的通道

然而，有一点是明确的：有了Android XR，各种头戴式设备和眼镜将能够比以往更容易地与手机连接。这可能会使许多原本孤立的产品感觉更加紧密相连，而苹果和Meta尚未做到这一点（尽管谷歌也尚未明确说明如何实现）。谷歌的萨马特指出，三星是首个共同探索该软件的合作伙伴，但高通现有的骁龙Spaces软件（已将手机与眼镜连接）也将兼容并成为Android XR的一部分。谷歌还使WebXR和Unity工具能够与Android XR协同工作，且只要开发者同意在那里列出它们，现有的2D Google Play应用都将在Android XR上运行。

个别硬件制造商应能够定制自己的软件和工具，并保持与Google Play的连接，但谷歌已广泛使用的服务能否也部署在其他设备上呢？目前，谷歌尚未提供具体信息，但如果在Quest和Vision Pro耳机等设备上拥有XR Maps、YouTube和Gemini，将极具实用性。

这也可能改变开发者对未来VR和AR应用的设想。Resolution Games的负责人汤米·帕尔姆告诉CNET：“虽然我们正在考虑将《Demeo》等现有游戏带到Android XR上，但该平台也为我们打开了开发全新想法的大门。”“Android XR的开放性、对开发者的友好态度以及独特创新不仅使其可行，还让我们能够考虑使用混合现实进行故事讲述的新颖方式。例如，聊天机器人的自然语言接口可能是XR和游戏的强大扩展。”

这些举措尚处于初期阶段，但它们预示着未来的发展趋势。未来几年，苹果和Meta无疑将在AR和VR中提供更多AI服务，苹果也可能会找到让Vision与iPhone协同工作的方法。或者他们必须这样做。谷歌的计划极具意义，它们可能会让耳机和眼镜成为手机的真正外设，并最终与手表配合使用。在这个等式中，谷歌、三星和高通作为三大合作伙伴，还有其他制造商的参与，情况可能会变得复杂。但这也是一个统一进展，而一个已经碎片化的未来景观正需要这种进展。到2025年，我们将更清楚地了解实际发生了什么，而那一天其实并不遥远。