转载于EarthAi 公众号  原创 ECMWF 2023-06-21 15:59 发表于美国

基于机器学习的天气预测模型在过去一年中发展迅速，取得了令人兴奋的成果，ECMWF的一群科学家讨论了发展及其对未来的潜在影响。

机器学习 (ML) 一直是今年全球热议的话题之一。每个人似乎都在享受对生成式人工智能 (AI) 的探索，以语言和图像模型的形式写无聊的电子邮件、做作业或甚至修复他们的照片。

在 ECMWF，过去几年探索了用于地球系统建模的 ML 技术，例如，使用神经网络更好地结合卫星观测。2021 年，我们发布了路线图，试图完成不可能的事情：预测该领域在未来十年的发展方向。今年，我们在该路线图中达成了一个重要的里程碑：在 ECMWF 业务上首次使用现代ML，使用神经网络来监控观测结果。

虽然诸如 ChatGPT 之类的大型语言模型一直占据着头条新闻，但在幕后却发生了一场更安静的革命。 ML 模型正在与数值天气预报模式竞争。

我们对基于 ML 的天气预报主题的探索始于 2018 年，当时 ECMWF 的 Peter Dueben 和 Peter Bauer 发表了一篇论文，内容是使用 ECMWF 的最新再分析 (ERA5) 在大约 500 公里的分辨率下预测未来 500 hPa 的位势高度。

紧随其后的是 WeatherBench，它为基于 ML 的中期天气预报创建了一个基准问题。基准问题一直是许多研究领域 ML 发展的关键，它提供了一个数据集和一组分数。这使得这个问题对于来自不同背景的研究人员来说非常容易理解。

在接下来的几年里，许多作者探索了这个主题，但是基于 ML 的模型具有与 ECMWF 的综合预报系统 (IFS)（例如大约 200 公里的网格）的非常粗分辨率模拟相当的技能。

初步结论是，这是一个值得探索的有趣研究问题，但实现可操作性的可能性很低，因此对 ECMWF 资源的投资不是明智的。

从 2022 年 2 月到 2023 年 4 月，情况变化很快。

在主要来自 NVIDIA、华为和谷歌 DeepMind 等大型科技公司的一系列论文中，基于 ML 的天气预报质量取得了快速进步。目前，每隔几个月就会对该领域做出新的贡献。

这些基于机器学习的天气预报，先是逼近了IFS的技巧（作为高质量预报的基准），然后匹配了IFS的技巧，然后声称超过了我们的分数。更重要的是，用这些模型进行预测只需要一个单个 GPU，耗时不到一分钟，消耗的能量只是 IFS 预测所需能量的一小部分。但这就是全部吗？

这些完全由 ML 驱动的方法仍然严重依赖 IFS。IFS 用于创建训练和验证数据 (ERA5)，这对于任何 ML 模型都是必不可少的。此外，在训练之后，这些模型依赖于来自 IFS 的初始条件.

此外，天气预报的质量不仅仅是分数，因此出现了一个问题：这些基于 ML 的模型是否产生了物理上一致且具有气象意义的预报？

其中有几个模型已经公开，即华为的 Pangu-Weather 和 NVIDIA 的 FourCastNet。在过去几个月中，ECMWF 工作人员构建了基础设施，以便在易于使用的流水线中运行这些模型。这些模型现在可以从我们的存档数据运行，输出以标准化格式保存，并且它们可以连接到我们的验证工具。这项工作的工具已在 https://github.com/ecmwf-lab/ai-models 上发布任何用户都可以探索这些预测的技巧。

首先，已发布的基于 ML 的模型的总体分数经得起独立评估。当使用均方根误差 (RMSE) 或异常相关系数 (ACC) 等确定性分数进行评估时，Pangu-Weather 是 IFS 的合法竞争对手（例如，见图 1）。这不仅适用于根据分析进行评估，而且适用于观测，以及使用与 IFS 相同的初始条件（与在公共论文中完成的 ERA5 初始化相反）。

图 1：IFS 高分辨率预报 (HRES) 和 2022/23 冬季欧洲盘古天气在第 6 天的 500 hPa 位势高度的均方根误差 (RMSE) 得分，根据业务分析进行测量。Pangu-Weather 和 IFS 的预报相对准确，但在接近 1 月底时均出现了预报“崩溃”。

但是，可以优化分数，并且训练 ML 模型来做到这一点。Pangu-Weather 和 FourCastNet 接受了最小化 RMSE 的训练。针对此类目标的训练可以平滑预测，并惩罚极端情况的预测。但当然，天气预报对于危及生命的极端事件最有价值。

图 2：2018 年 IFS 高分辨率预报 (HRES) 和盘古天气的平均热带气旋路径误差，根据 IBTrACS 测量。该统计数据基于热带风暴强度至少为 17m/s 的事件，条形图突出了 95% 的置信区间。

检查 Pangu-Weather 的热带气旋路径精度，我们发现该 ML 模型在前五个预测日内的整体性能与 IFS 模型一样好（图 2）。两天后 Pangu-Weather 的微弱优势主要是由于沿航迹误差减少。

查看 2023 年热带气旋 Freddy 的案例研究（图 3），我们还看到虽然 Pangu-Weather 很好地捕获了该位置（FourCastNet 的准确度略低），但与气旋相关的风的极端性和对称性要小得多与分析和 IFS 相比。这是另一个效果，可归因于当前一代 ML 模型中使用的训练方法，通过训练优化 RMSE。

图 3：IFS HRES、Pangu-Weather 和 FourCastNet 对 2023 年热带气旋弗雷迪的预测与第 2 天的分析和 ERA5 进行比较。色标表示风速 (m/s)，黑色等高线表示平均海平面压力. Pangu-Weather 和 IFS HRES 具有非常相似的准确中心，但 Pangu-Weather 低估了风速。

此外，对一系列案例研究的评估产生了一个相当一致的画面。数据驱动的 ML 模型显示了预测极端事件的技巧（例如，最近在伊比利亚半岛发生的春季热浪），但可能缺乏 IFS 预测的强度。这不是 ML 模型的根本问题，而是源于训练方法。这可以通过一系列方法来解决。例如，采用生成建模方法会鼓励更极端的预测，尽管它通常会使这些模型的训练成为一种更微妙的艺术。

在我们看来，我们目前正处于天气预报历史上一个激动人心的时刻。使用这些基于 ML 的模型进行预测的分钟成本意味着可以设想构建具有 500 个成员而不是 50 个成员的高分辨率集合。可以通过传递初始条件和模型来提供传播，允许用户快速运行模型和只提取他们感兴趣的数据。

这绝不是传统建模的消亡。基于物理的模型（例如 IFS）一直是生成 ERA5 数据集和运行这些 ML 模型所需的初始条件的关键要素。如果 ML 可以学习预测天气，那么它可以与物理模型以混合方式部署，以验证、增强和改进系统。这些最近的 ML 发展进一步激励我们继续我们的混合项目作为路线图的一部分。

ECMWF 和气象中心拥有无与伦比的地球系统数据和领域专业知识，这是进一步改进 ML 模型的两个关键因素。现在是采用该技术并建立物理建模和 ML 之间的最佳平衡以继续改进预测的时候了。

我们有额外的路线可以添加到我们的路线图中！

Banner image: LV4260 / iStock / Getty Images Plus

Zied Ben Bouallegue Linus MagnussonMichael Maier-GerberJesper Dramsch

https://www.ecmwf.int/en/about/media-centre/science-blog/2023/rise-machine-learning-weather-forecasting

Google translator