端侧强智能推动智能汽车功能革新,汽车智能体不再是未来?
16 小时前 / 阅读约9分钟
来源:36kr
汽车软硬件全栈技术与AI的深度融合推动智能汽车向AI Car持续发展。

终端侧智能是今年科技行业的主议题,从目前市场的动向来看,消费类设备、汽车、机器人这几个终端是目前最受关注的AI硬件方向。在汽车市场,随着电动化、智能化、网联化汽车在全球市场的加速推进,全球主要车企在智能座舱、智能驾驶领域纷纷加快了布局,年初的CES展上海内外众多车企的最新进展以及众多算力芯片厂商的新品都印证了这股风潮。

通用人工智能技术的快速发展,已经驱动汽车行业进行一波产业升级,在此期间各类云端大模型被引入应用来支持车载智能功能的迭代。随着AI处理的重心正逐渐从云端向终端转移,优化后的端侧模型在隐私保护、低延迟响应及个性化定制等方面具有显著优势,汽车端侧算力与模型的部署正成为发展的又一风向标。

从传统汽车到智能汽车,这一转变不仅仅是技术的革新,也在重塑人们对出行方式的理解。如其中的智能座舱,作为人机交互的主要窗口,率先开启了AI进程。去年新旧造车势力,中外汽车品牌就启动了AI大模型在座舱领域的全面应用,从语音、交互、个性化场景等多个维度,来重新定义智能座舱的应用创新与人机交互体验。到今年,端侧模型上车更多本地智能的支持也将开始推动智能汽车向汽车智能体转变。

在AI落地的新半场,端侧AI推动的智能汽车革命已经到来,进一步改变人们的出行方式引领着交通领域的全面升级。

端侧强智能拓展汽车智驾、座舱功能

当前,终端侧AI在汽车智能驾驶升级、智能座舱升级(特别是端侧大模型应用以及多模态交互融合)上有着明显的推动作用。国内华为、比亚迪、蔚来、小鹏、理想等厂商,国外特斯拉、丰田、宝马等均在在这些领域均有着深厚的布局,不仅致力于研发先进的智驾软硬件,还在智能座舱、语音识别与自然语言处理等方面取得了显著成果。

智能驾驶

智驾一直都是汽车科技的前沿阵地,2024年中国发布首个自动驾驶国标,年底北京、武汉多地出台相关条例似乎预示着L3级自动驾驶即将迈向商用,2025年智驾领域的动静肯定不会小。

比亚迪已经明确表示在2025年聚焦于“智驾平权”,即通过规模化推广智能驾驶系统,完成智驾在主流车型上的落地。

目前智驾方案可以分为算力方案与算法方案,蔚小理、比亚迪、吉利等主机厂走从算法到芯片的发展路线,蔚来“神玑NX9031”已搭载于蔚来 ET9、小鹏和吉利已成功流片、而理想和比亚迪正在推进自研智驾芯片项目。

华为是非常特殊的玩家,既是供应商也有终端品牌,华为车BU从算法到算力全栈自研,基于昇腾的算力方案只供给鸿蒙智行车型以及阿维塔、深蓝这些。

芯片厂商也开始做智驾算法上的突破,像英伟达、地平线,算力和算法供应商都开始往软硬一体的方向在走,增大自己在智驾产业链上的价值空间。

回到智驾功能本身,算力硬件和传感硬件是智驾得以实现的基础。终端侧AI对算力需求引领了算力平台的持续革新。极具代表性的高通智驾Snapdragon Ride至尊版平台就在SoC中添加了面向多模态AI设计的专用神经网络处理器NPU以及为汽车定制的Oryou CPU,该平台采用的NPU配备了Transformer加速器和矢量引擎,并支持混合精度,旨在实现低时延、高精度且高效的端到端Transformer,从而保持最佳能效和性能。

英伟达的Thor处理器算力更强劲,这款计算能力达上一代产品Orin 20倍的芯片也正式进军汽车市场,不仅限于自动驾驶芯片,更是为汽车的中央计算架构量身打造。黑芝麻智能的华山A2000内置高性能NPU核心,支持高阶智驾和具身智能等多种终端算力需求。当前汽车终端侧算力的提升为智驾落地提供了充足动力。

图源:英伟达官网

在传感硬件上,TI1近期发布的60GHz毫米波雷达传感也体现了硬件向终端侧智能发展的风向,该毫米波雷达传感,整合了乘员检测、儿童存在检测和入侵检测三项车内传感安全功能,并采用运行终端侧AI算法的单芯片,在端侧直接进行数据处理与分析决策,提高准确性并且缩短处理时间,实现更安全的驾驶环境;飞凌微车载视觉应用M1系列芯片在支持高性能图像处理同时也能支持端侧视觉感知预处理。

在智驾领域,传感会吃掉汽车终端侧很多算力,导致规划定位环节算力紧缺。现在整个汽车终端算力的提升以及传感端侧智能的优化,算力更加充裕,传感侧响应时间大幅缩短,在这种端侧强智能的背景下全场景智驾实现的脚步会越来越快。

值得一提的是这些其实和人形机器人很像,相关软硬件技术栈也较为重合,所以不少车厂都开始入局人形机器人,把握未来智能时代最大的两个端侧硬件方向。

智能座舱

智能座舱绝对是国内车厂卷得最厉害的方向,从前单一的驾驶空间现在已转变为集资讯、娱乐、交互、控制于一体的智能空间。智能汽车研究院监测数据显示,2024年1-11月,中国市场(不含进出口)乘用车前装标配智能座舱搭载率从上年同期的61.06%,进一步提升至72.36%。

根据毕马威分析数据,2026年中国智能座舱市场规模将达到2127亿元,2022年至2026年的年复合增长率约17%,渗透率有望从59%提升至82%。

全场景AI智能语音交互,传感器接入实现舱驾监测已经不再是新鲜的功能。端侧大模型应用以及多模态交互融合才是未来智能空间的必需。

传统智能座舱的AI也是由端侧和云端构成,但重心在云端,端侧普遍只支持10亿参数以下小规模的模型。这样的智能座舱体验已经有些落后。往后智能座舱中,将支持几十亿参数以上端侧大模型,做到端侧强智能,并实现以端侧本地智能为侧重的端云混合。

在CES上亮相的DESAYSV座舱产品NPU性能最高算力性能提升12倍,已经能够运行几十亿参数的座舱端侧模型。端侧强智能是智能座舱内卷的确定方向。

除了华为、理想、蔚来、北汽等汽车厂商在持续推进汽车端+云模型的升级,像科大讯飞去年也针对汽车端侧发布了星火大模型,该模型在车载应用中的效果损失小于等于1%,并且在端侧的首次响应时间仅需40毫秒,端云融合交互时间更是低至1.3秒,这种及时性是端侧优势也是智能座舱急需的。英特尔也正在推动和合作伙伴把端侧大模型、AI智能体部署到汽车本地。

端侧的多模态应用同样重要,人车交互体验的关键恰恰取决于理解和生成能力,依靠多模态的理解和生成,可以处理和生成多种类型数据的大模型,通再过量化、剪枝和蒸馏的方式将其部署到端侧,可以提供实时的更真实的交互,这些更主动更懂用户意图的多模态交互引领的是一个全新汽车智能空间生态。

出于实时响应的要求以及对用户隐私数据的保护需求,用于多模态感知的大模型肯定是部署在端侧,换言之,端侧部署的多模态感知大模型将成为已经内卷严重的智能座舱又一个激烈战场。

实现AI Car仍有不少难关

在此前的《机器人与模型深度融合开启智能升级下半场,智能终端的未来终局是物理AI》中提到过,终端侧智能正在将AI从数字世界带入物理世界。

和被寄予厚望的人形机器人一样,目前目标是端侧强智能的智能汽车,未来同样有望借助多模态原生世界模型,打通物理世界和数字世界,成为整合人的需求并能与交通系统协同优化的具身智能实体,成为真正的AI Car。但在整个实现路径上,仍旧面临着不少挑战。

首先,端侧算力虽然在不断提高,但端侧大模型在算力资源利用上仍要与终端芯片架构、算力性能协同适配,端侧模型架构和模型压缩等技术仍需进一步研究。

其次,与AI PC、AI Phone等消费类终端设备相比,智能汽车感知来源多,既有对车外环境的感知也有车内空间的感知,且这些感知数据大部分是动态的。内外多传感器的输入,使得多模态信息融合异常困难。需要同时处理视觉、音频、空间等动态信息,构建能在不确定的环境下具备理解空间与物理过程并提供泛化决策能力的多模态模型。

第三,强感知理解高实时性响应之外,车内感知会收集到大量用户隐私数据。端侧智能将数据处理集中在本地,一定程度上避免了数据频繁上传云端能更好地保护用户隐私。但在有限的端侧设备算力和存储资源下实现隐私保护需要更多技术手段介入。以及当端侧AI智能体基于第三方应用完成任务时,数据的控制权和保护责任也需要进一步明确划分。

虽然端侧AI推动的智能汽车革命已经到来,但在实现真正的AI Car的道路上,仍需要克服诸多挑战。汽车软硬件全栈技术与AI的深度融合的同时完善相关法律法规,提升用户接受度,才能推动智能汽车向AI Car的持续发展。

写在最后

在新能源进程的下半场与AI开始拥抱终端硬件重合的时间节点,汽车行业正在加速向数智化新阶段迈进。在这场变革中,谁能率先利用端侧智能完成赋能,谁就将在未来的市场竞争中抢占先机。