Nature重磅:改写AI气象预测,可在台式电脑上运行,速度快千倍
4 天前 / 阅读约9分钟
来源:36kr
更便宜、更准确、更高效

作者|锦鲤 

在全球变暖、自然极端天气频发的当下,准确的气象预测对于人类生命健康与社会发展至关重要

例如,在农业方面,为播种、灌溉和收割等农事活动提供参考,减少自然灾害对农作物的影响,提高产量和经济效益;在航空领域,帮助航空公司合理规划航班,避免因恶劣天气导致的延误和事故;在公共安全领域,为应急管理部门的工作提供参考,减少人员伤亡和财产损失……

从科学研究的角度来看,气象预测能够帮助科学家更好地理解大气的物理过程和气候变化的趋势。分析气候系统的复杂性,探索极端天气事件的成因,以及评估人类活动对气候的影响。

然而,现有的人工智能(AI)气象预测领域面临诸多挑战。传统数值天气预测(NWP)系统依赖复杂流程和超级计算机,难以快速改进,且改进成本高昂。AI 模型虽具潜力,但多依赖 NWP 初始状态,性能受限,且在数据处理上面临数据缺失和融合难题,影响其预测性能和实际应用。

谷歌 GenCast、GraphCast、NeuralGCM 等 AI 气象预测技术取得了显著进展,但它们在数据依赖性、预测时效和分辨率、模型复杂性和计算成本以及实际应用的局限性等方面仍存在一些缺点。

作为新一代 AI 气象预测系统,由来自剑桥大学和艾伦图灵研究所的研究团队开发的 Aardvark Weather 有望带来气象预测的范式转变。

Aardvark Weather 是首个可用在台式电脑训练和运行的单一 AI 模型取代天气预报流程所有步骤的系统,速度快数千倍,可处理来自卫星、气象站和气象气球的多模态复杂数据,生成 10 天全球预报。

相关研究论文以“End-to-end data-driven weather prediction”为题,已发表在权威科学期刊 Nature 上。

论文链接: https://www.nature.com/articles/s41586-025-08897-0 

研究团队表示,这将为缺乏超级计算机、复杂基础设施和专业知识的发展中国家带来真正的价值,以及在任何地方发挥作用,提高效率和准确性,甚至减少天气预报的大量碳足迹。

AI气象预测:更便宜、更准确、更高效

传统的数值天气预报(NWP)需 3 步,包括:收集信息估计大气当前状态、用复杂计算模型产生预报、处理预报确保其在特定位置可用。

过去两年,AI 虽用于流程第二步,使其速度更快、更准确,但第一步尚未取得更大进展,仍需消耗大量资源。NWP 依赖数据同化、流体力学方程求解、后处理等多个步骤,需超级计算机支持,这使得其运行成本高昂,且难以快速迭代和改进。生成全球预报需约1000节点小时,且依赖高分辨率模型。

在这项研究中,Aardvark Weather 通过其端到端的数据驱动方法,显著降低了气象预测的计算成本。它还能够在几秒钟内生成全球天气预报,相较于传统方法需要数小时甚至数天的计算时间,极大地提高了预测效率。

此外,Aardvark Weather 在多个气象变量和预测时效上展现出与传统 NWP 系统相当甚至更优的准确性,尤其是在处理小范围极端天气事件时表现出色。这种高效、经济且准确的特性,使其成为未来气象预测领域的一个重要发展方向。

具体而言,Aardvark 的速度更快。它是首个完全数据驱动的端到端天气预报系统,比传统 NWP 更快、成本更低,其生成速度比现有系统快几个数量级,并且不依赖 NWP 预报产品。

在 4 个 NVIDIA A100 GPU 上,Aardvark 由观测数据生成完整预报大约只需要一秒钟。相比之下,高分辨率预报(HRES)仅执行数据同化和预报就需要大约 1000 个节点小时,这还未考虑下游本地模型和处理。

而且,Aardvark 是端到端的。Aardvark 学习端到端模型提供了额外的功能,即能够优化系统,以在任意感兴趣的变量或区域上实现性能最大化。与传统 NWP 系统相比,机器学习系统不仅速度更快、计算成本更低,而且改进和维护起来也容易得多。

该系统的简单性,不仅使其更容易被已经运行 NWP 的用户部署和维护,还为发展中国家的一些地区提供了运行定制 NWP 的潜力,这些地区的机构通常缺乏运行传统系统的资源和专业知识。

此外,端到端预测还展示了能够针对特定区域和变量优化定制模型以最大化预测能力的潜力,这引起了农业、可再生能源、保险和金融等多个领域终端用户的极大兴趣。

那么,Aardvark Weather 是如何做到这些的呢?

Aardvark Weather 是一个深度学习模型,能够从多种观测数据源中摄取信息,并生成全球网格化预测和本地站点预测,三个主要模块组成:编码器(encoder)、处理器(processor)和解码器(decoder)。它在训练阶段利用高质量的再分析数据,而在部署阶段完全独立于传统 NWP 产品。

图|三个模块各自的功能

首先,编码器模块整合多种来源的观测数据,包括网内和网外观测数据,并生成网格化初始状态。网内观测数据是规则网格上的数据模态,而网外模态则是一组经纬度位置上的数据。

为此,他们利用了深度学习在处理离网数据和缺失数据方面的最新进展。这一过程采用非递归方法进行状态估计,以避免传统数据同化系统中的复杂性。

对于编码器模块,他们通过掩码通道区分缺失数据与真实观测数据,使用 SetConv 层处理非网格化数据,并利用 ViT 提取特征,最终输出 24 个大气变量的初始估计值,训练过程中采用 VLW-RMSE 损失函数,并通过 AdamW 优化器进行优化。

其次,处理器模块以编码器估算出的初始大气状态作为输入,会在 24 小时内生成网格预报。通过自回归方式生成未来 24 小时的天气预测。对于更长的预测时间,处理器模块会将其自身的预测作为输入,逐步推算未来的天气状态。

该模块由 10 个独立的 ViT 串联构成,每个 ViT 负责预测未来 1 天的气象状态残差(residual,即当前预测与真实状态的差异),并通过叠加残差逐步生成 1 至 10 天的全球网格化预报。

例如,第一天的 ViT 以初始状态为输入预测第 1 天残差,第二天的 ViT 则以第 1 天修正后的状态为输入,依此类推。

最后,解码器模块收到处理器模块输出的网格化预测数据,任务特定的解码器模块将网格化数据转换为具体的本地气象预测。

该模块采用 U-Net 为主架构,对全球预报数据进行空间特征提取,捕捉局部气象细节,随后通过 SetConv 层将网格数据插值到任意目标站点坐标,并结合多层感知机(MLP)融入地形辅助信息(如海拔、坡度)。

迈向新一代端到端气象预测系统

虽然 AI 气象预测工具正在快速发展,但这仍然是一项实验技术,需要在一段时间内进行严格的评估。要想在实际中部署 Aardvark Weather 这样的端到端数据驱动模型,必须考虑当前模型的局限性。

与所有当前的 AI-NWP 系统一样,Aardvark Weather 尚未以 IFS 的分辨率运行。需要进一步研究以提高网格分辨率,并通过扩散等方式生成预报集合。

此外,Aardvark Weather 在观测数据的使用上也存在一些局限性。增加更多的观测方式很可能会提高预报能力。同时,还需要考虑如何将那些尚未有训练数据的新仪器的数据有效地整合到系统中。例如,可以通过对模拟数据进行训练来实现。

对于气象预测工具来说,飓风和洪水等极端天气尤其重要。不幸的是,这类罕见事件在训练数据中较少出现,这意味着人工智能系统在这些现象上可能会遇到更多困难。

另一个需要考虑的问题是应对观测数据漂移以及数据随时间的其他变化,比如气候变化,这可能会降低基于过去数据训练的模型的准确性。这可以通过定期使用最近几个月的数据对所有模块进行微调,从而适应仪器特性的变化。

对此,研究团队表示,他们将在未来的工作中通过扩展 Aardvark Weather 以支持更多其他预报变量,无论是在其网格化预报中,还是通过其解码器模块,都可以进一步增加其功能。例如,Aardvark Weather 可以支持多种解码器模块,以提供不同类型的终端用户预报,如飓风、洪水、严重对流、火灾和其他极端天气预警。

另一个令人兴奋的方向是,利用端到端系统进行更长时间的预报,来生成季节性预报产品

此外,增加更多的观测模式将允许对地球系统的其他组成部分进行建模。例如,用于空气质量预报的大气化学和用于海洋预报的海洋参数。

他们设想,Aardvark Weather 将成为新一代端到端气象预测系统中第一个能够应对这些多样化任务的系统