转载于 EarthAi   李建兴

Google发布WeatherBench 2框架，用于评估基于机器学习和物理学的天气预报模型，其提供完整且统一的评估方式，可促进天气预报技术创新

Google释出了一个用于评估和比较各种天气预报模型的框架WeatherBench 2，该框架可以计算包括机器学习模型和物理模型的天气预测分数，使研究人员有微调和改进模型的依据。官方还开源WeatherBench 2评估代码，以及针对云端优化的真实数据和基准数据集。

由于天气预测技术的发展发向，正从物理模型逐渐转移到机器学习模型，因此需要模型基准来评估模型间的能力，并确保机器学习模型值得信任。随着运算能力提升，Google提到，当今7日天气预报的准确性，相当于2000年的5日预报，也相当于1980年的3日预报，这些预测准确度的提升，对物流规划、灾害管理、农业甚至是能源，都有极大的价值。

不过，除了运算能力的提升外，当前另一股天气预测的变革从算法开始，较新的方法是使用机器学习技术，通过查看大量过去的天气数据，预测接下来天气的变化，有别于现行基于物理模型的天气预测，是以数学方程式描述和模拟大气、海洋、陆地和相关过程的动态和互动。

机器学习天气预测目前已经有部分成果，像是Google DeepMind所开发的图神经网络GraphCast，就可以在25公里的水平分辨率下，预测10日天气，结果也已经可以和先进的物理模型相比较。

机器学习模型的重要优势，在于模型经过训练之后，可以仅使用成本远低于超级计算机的硬件运算，在数分钟内计算出结果，而这对天气预报领域带来重大的效率提升和成本降低的可能性，因此无论是在欧洲中期天气预报中心（ECMWF）的机器学习发展路线，还是美国国家海洋暨大气总署（NOAA）的人工智能战略都可见端倪。

在发展机器学习天气预测上，需要一个能够反应天气和下游应用各面性质的基准，而且能够以公平且可重复的方式比较新旧模型。Google所推出的WeatherBench 2全球天气模型基准，可提供一个可信、可重复的框架，评估和比较不同的预测方法。目前WeatherBench 2官方网站公开的模型比较，包含Keisler、GraphCast和Pangu-Weather机器学习模型，还有一些ECMWF高分辨率整合预报系统，作为传统天气预报模型的代表。

天气预报的评估存在一些挑战，因为高分辨率的天气预报数据可能非常庞大，因此Google在开源统一程序开发模型Apache Beam上建置评估代码，供用户将运算分割成小区块，以分布式的方式进行评估。另外，Google 针对不同分辨率，并以云端最佳化的数据格式，提供用来训练大多数机器学习模型的ERA5资料集，官方提到，因为从各别档案下载数据并进行转换，非常耗时且需要大量运算资源，因此透过公开已经就绪的资料，可以大幅降低研究进入门槛。

Google与ECMWF合作，共同定义了天气预报质量评分指标，更好地捕捉全球天气预报的质量，WeatherBench 2能够以同一标准评估不同的模型，包括机器学习模型与物理模型。除此之外，WeatherBench 2也考虑到更先进的概率预测，提供概率指标和基准。

比起传统「明天下雨机率80%」，概率预测可以提供不同情境下的概率分布，像是「明天降雨量在0-10毫米的机率为60%，10-20毫米的机率为20%」这类预测，以捕捉更多天气预报的不确定性。

同时，WeatherBench 2也针对机器学习预测的限制，提供研究范例，Google解释，机器预测模型相对物理模型，在大气不确定性上倾向采取保守策略，这会让预测更为平滑（下图），因此与真实情况不一致缺乏真实性，同时缺乏小尺度的结构。WeatherBench 2对此提供了研究范例，并且添加光谱指标来量化模型的模糊性，以评估模型是否倾向预测平滑的场景。

研究人员仍会继续完善WeatherBench 2，添加包括站点观测和降水数据集，并且尝试将临近预报和次季节预测纳入基准中。

来源：ithome