联系方式 Contact

天气在线(北京)气象科技有限公司

地址:北京市海淀区海淀西大街36号9层

电话:010-58995339

手机:18611808504

传真:010-58995339

网址:www.weatheron.cn

搜索 Search
你的位置:首页 > 新闻动态 > 热点新闻

数据驱动:理查孙手工NWP实践百年后的新引擎

 2023-03-20 21:33:10  点击:

原创  贾朋群等 气象科技进展

大约100年前,现代动力气象的鼻祖,巧妙绕过了难以得到解析解的偏微分方 程组,通过向观测数据学习,用天气图上不断丰富的各自物理量的观测和计算(如 通量)、借助模型对复杂问题的简化(如涡度守恒、正压近似等),让现代动力气 象学,在大气运动偏微分方程数值解被得到前数十年,就被有效用于天气预报。

即将过去的2022 年,是理查孙最早探索 数值天气预报(NWP) 的著作《数值过程 天气预报》(Weather Prediction by Numerical Process,图1)发表100 年。

1922年,英国人理 查孙通过这部著作的发 表,总结了他在第一次 世界大战的硝烟中,如 何通过计算,尝试预报 天气变化的可行之路。这次没有成功的探索,却在科学和应用上,具有划时代的意义。

NWP从那时起步,逐渐进入了人们的视野 并成为很多气象学者终生探索的目标。我们纪念理查孙在百年前开创性的工作,回顾自 20世纪50年代初NWP借助电子计算机的出现获得成功,并在随后70余年持续进步的历程。

面对未来,审 视以人工智能(AI)为代表的新技术“是否”和“怎 样”为NWP的发展带来新的机会。这样的回顾和审视具有特别的意义。

首先,NWP在过去数十年里,实现 以大约每10年有效预报天数延长1天的速度不断改进, 在20世纪后期全面超过预报员的预报能力,在世纪之 交已经接近可预报性的天花板,同样的改进速度在未来难以为继。

再者,NWP模式已经成为高维、高度复 杂的系统,模式运行对高速计算资源的要求,如果没 有量子计算等实质性的突破,在未来同样难以为继。

第三,以数据驱动和机器学习(ML)为代表的、瞄准 复杂过程给出预测的新技术,有可能在使得NWP在 动力驱动确定性预报发展走向“内卷”或“锢囚”时,打开“数据驱动”的新窗户和新路径。

上述演变和趋 势,都在不同侧面孕育着气象和大气科学研究和发展 范式的改变,不仅与快速发展的智能技术快速融入科 学研究相呼应,更是具有“统计”和“混沌”视角和传 统的现代气象科学,实现快速华丽转身的优势所在。

1 《数值过程天气预报》封面

1 1920年代气象先贤靠向稀疏的观测数据 学习提出天气模型并开始科学预报

100年前,在理查孙尝试数值求解大气运动偏微 分方程组的同时,包括现代气象学理论的提出者皮叶 克尼斯在内的早期气象学家,却另辟蹊径,尝试基于物理合理性的简化,使用绘图工具进行“图形演算”。

例如,1908年准平衡近似被提出,随后,大气正压假 设等框架和针对大气点和线的物理近似,也相继被应用。

这些起到简化作用的猜想或定律,如果从大气运 动偏微分方程组的视角考量,在某种意义上具有了 “过滤”方程的效果,并支持在获得方程组的解析解或数值解之前,以简驭繁实现“图解”天气过程,这与 1950年查尼等基于正压涡度方程这一简化方程的数值 解法首获NWP成功具有异曲同工之效。

气象观测数据首先带来的最珍贵的信息,是系 统演变背后对其发展规律的感悟、认知和提出模拟模 型,这样的初步“数据训练”或“数据驱动”的过程, 在针对北半球主要天气系统——温带气旋的认识过程 中具有很好的代表性。

百年前,气象预报员的先驱基 于稀疏的地面气象观测和更少的利用热气球和风筝等得到的高空气象观测,从这些数据的蛛丝马迹中不断 挖掘,尝试提出和不断改进了温带气旋模型,开启了 科学意义上的经验预报,为后续包括NWP的发展打下了基础(图2)。

2 现代天气学伴随对温带气旋的认知发展历程回顾(19002000年)

善于向观测数据不断学习的卑尔根学派,在历史 上几乎与理查孙发表手工数值天气预报著作的同时,于1920年代提出和不断完善了极锋理论,该理论基于 20世纪初大气运动为物理初值问题的理论,定义了大气运动物质面上的主要特征,如冷暖峰、槽脊线等。

当这些特征在不断完善的天气图上,与温度、气压等 气象变量等值线碰撞,就构建了最初科学意义上的天 气预报的基础。这样的基础,既有动力气象方程原理 的神韵,而以数据驱动的观点看,更是基于对(按照 科学原理)大气运动的观测结果,构建天气系统模型并利用模型预报天气的过程。

在这里,大约100年前, 现代动力气象的鼻祖,巧妙绕过了难以得到解析解的偏微分方程组,通过向观测数据学习,用天气图上不断丰富的各种物理量的观测和计算(如通量)、借助模型对复杂问题的简化(如涡度守恒、正压近似等),让现代动力气象学,在大气运动偏微分方程数值解被得 到前数十年,就被有效用于天气预报。

2 数据驱动或将带来动力系统的另类通解

可以说,百年前现代气象科学建立之初的两个发 展方向,即理查孙数值求解方程组和卑尔根学派基于 物理定律向观测学习开展天气诊断预报,或许已经再次上演。

两位主角,一方是理查孙的后辈,在查尼等 人借助电子计算机使得NWP1950年获得成功后,全 球气象界一支最强大的天气气候模拟,并且开展走向 地球系统模拟的研究和业务力量;另一方则是刚刚兴起,借助AI技术试图再创以数据驱动为特征的全新 NWP

再次的碰撞或许更加精彩,这是因为,不仅前 次双箭齐发的共同“底蕴”犹在,而且,一方面,借助于大量数据而存在的ML等技术,“吃掉”的数据中大量依靠来自动力模式的输出数据;另一方面,ML等 新技术作为一种工具,还可以在完善动力模式,特别是在提高参数化精确度等方面带来突破。两者你中有我、我中有你的格局业已形成。

即将在2023年初举办的美国气象学会(AMS)年 会,主题为“数据:驾驭科学、信息决策、充实人文 (Data: Driving Science. Informing Decision. Enriching Humanity)”。这一主题的选择具有多方面的意义,其 中的一个重点就是数据驱动科学的探究。今天,我们具有了百年前理查孙时代难以想象的数据,从数量质 量、到数据的实时性、到数据的快速处理和应用。

丰富的数据本身,已经可以通过挖掘数据,对其表征主体的演化规律加以认识的阶段,而当这种认识处于目前科学研究的空白或准空白时,这种挖掘和规律认知 的新范式,无疑具有了更加重要和新方向的意义。

2022年,著名科学期刊《哲学学报A-数学、物理 和工程科学》出版了“动力系统中的数据驱动预测”。 该专辑的内容以及该刊2021年出版的其他相关主题专 辑,如“物理流体动力学中的数学问题”“复杂系统中 的传输现象”“天气和气候模拟的机器学习”等,从动力学、物理学、复杂系统、计算数学和气象科学等多个视角,全面介绍了ML为代表的AI技术对包括天气气候预测等不同领域,数据驱动模拟技术革命性的促进所涉及的各种科学问题。

数据驱动在过去10年里受到越来越多的重视。一 是因为传感器、信息存储等技术进步带来大量可用数据;二是对更多复杂系统的认知过程中,迫切需要从数据中揭示潜在的物理原理或规则,特别是针对尚无 法进行定量分析描述,甚至还没有找到描述的变量的系统,后者几乎成了唯一可能的手段。7

数据驱动的一 些方法,如无方程模拟、人工神经网络、非线性回 归、经验动力学模拟、范式识别、非线性拉普拉斯分析和动力学自动推理等。我们在表1中列举了与NWP 有关、以AI技术为特点的一般性动力系统解决方案的 相关领域。

1 动力系统的数据驱动相关领域

数据驱动预测研究在气象领域取得进步,由于物 理气象预报的目标系统,向着越来越复杂、规模或体 量越来越大的方向快速转变,这样的系统受到更多的 高维度、高复杂性和混沌行为的限制。

此外,天气气 候模式能力数十年的持续提升,让模式输出数据 比肩甚至超越观测数据,为方便地利用各种AI技术 从数据中提取动力规则、知识打下了基础。这时,AI 技术在面对复杂问题的优势,如降维等技术就排上了 用场。

除了气象预报以外,还有数据驱动用于预测生 态系统、流行病学系统、交通系统等各种复杂系统动 力学中的关键转变和极端事件的例子。

这些通用的技术在大量动力系统的研究和应用中 落地,涵盖了气象、生态、生物、交通和金融等大量看似形态各异的领域。其中,针对气象尤其关键的技术,如物理约束等,我们在下节展开讨论。

3 天气气候模拟的数据驱动:硬 AI、中度 AI和软AI 3个融入机制

沿着理查孙开辟的道路,借助现代计算机的出现, 由冯·诺伊曼和查尼等于1950年最终让NWP取得成功。NWP技术随后先后“入驻”各国气象中心,逐步成为天 气预报的主要工具。

不仅如此,随着这类被称为基于第一原理(first-principle)的确定性模式预报能力持续 提升,导致气象统计经验模型预报日渐衰落。神经网络(NN)等ML技术的兴起,让气象统计 经验模型又见生机。

借助AI技术的统计经验预报是否 会取代目前的NWP动力模式,或者二者之间更多地融 合、促进,携手发展,成为21世纪第3个十年到来时, 理查孙开创的事业百年是否有了新拐点的学科提问。

当深度神经网络等AI技术面对天气气候模拟和预 报问题时,预测的时空尺度依然是绕不开的问题,尤 其是时间尺度,反映了面对的天气气候系统,其复杂 性的主要来源和应对的主要方向。

对比相对成熟的 NWP,目前AI技术渗透到NWP乃至地球系统预测领 域,可以划分为硬AI、中度AI和软AI的三种介入方式 (表2)。

2 天气气候模拟中的硬AI、中度AI和软AI的介入

不同方式即表明了传统预报被“取代”的程 度,也划分出AI技术和动力模式各自优劣的领域。未来NWP的“硬核”技术是否改弦虽然还不得而知,但 这些与AI捆绑的新技术,每项都已经有很多应用的例子,诠释着数据驱动如何从3个层面改变和改进当前的预报。

例如,中等AI通过学习观测数据和模式输 出数据,尤其是高分辨率的模式结果数据,一旦能够 得到更好的模式组件,就有可能将目前还知之甚少的 更多复杂物理过程,例如云物理过程等给出更好的表 达(算法),从而减少模式系统中参数化代表的“灰色 地带”,实现对尚无物理规律可循或半经验的大气过 程相对准确的模拟。

串联NWP动力模式与数据驱动的一个关键要素, 是与物理约束相关的问题。确信使用的AI技术值得信任,这在气象预报相关研究和应用中尤其重要。

针对更广泛问题时提出的PIMLphysical-informed ML,有物理依据的ML)和其他类似概念,如PCNNphysicsconstrained neural networks,物理约束NN)等AI技术, 是气象领域引入智能技术时的首选。

这些概念中的PI PC,是指对物理方程进行编码以得到残差,即动力 系统的控制方程,也被AI吸纳和参与运算。而控制方程转化为损失函数,就让物理要素抵达AI核心。

在具体AI技术方案中,物理约束的程度,一般可以从NN的选择、物理知识的表达方式和物理信息的整合方法等划分,但添加了物理约束后,“硬AI”相对难以企及,这也是为什么在表2中硬AI涉及的领域, 或者是“一瞬间”短临预报,或者是预报机理尚不清 晰的季节预报的原因。

而在地球系统中,人类尚没有掌握动力机理的过程,或大或小还有很多,因此硬AI 的作用,依然不可限量。

4 结语:AI已呈现超越当年理查孙,或引 领气象发展的新范式

我们今天纪念理查孙百年前完成的探索,其中 一个重要的原因,就是当天气预报问题是物理初值问题已经被学界接受,但面对一组动力学和热力学非线性方程组而无能为力时,他巧用空间和时间分别离散化的方法,化解了困难,从而完成了气象学历史上一 次最重要的、将气象科学带入现代化的研究范式的改变:即从理论走向数值模拟。

近年来,AI技术实际上已经开始为气象科学发展 范式的下一个改变做好了准备。从ECMWF当前业务链已经和将要融入的ML要素(图3)来看,现代天气 气候预报系统,尤其是包括多圈层耦合的地球系统预 测,AI化已经呈势不可挡之势。

3 ECMWF的观测、同化、预报和后处理环节计划、进行中和已经发布的融入了AI技术的内容

特别是,地球系统中 除了表征其动力核心的大气环流模式以外,更多的过 程是无法用物理定律描述,甚至是随机发生的(如火山喷发等),带来更高复杂性的耦合,也正是AI技术 的优势领域。

20世纪初给出完整大气运动偏微分方程组的 皮耶克尼斯,虽然没有实际尝试解这组方程来预报天 气,但他在1914年还看不到高性能数值计算的曙光时 就颇具前瞻性地指出:“只要(基于大气运动方程)计算与事实相符,就可以赢得科学的胜利”。

他进一步 用挖掘隧道进行比喻:人类挖掘穿越大山的隧道,许 多工人可能无法活着见到隧道贯通,然而,这不会阻 止后来者以特快列车的速度穿越隧道。如果说理查孙 当年面对NWP发展隧道挖下第一铲,那么,今天更多 后来者或许借助AI技术,改变隧道挖掘和加快进程的方式。

虽然开始时可能存在诸多疑问,但面对AI技术 在分析复杂数据、提取海量数据中的非线性关系和建 立预测模型方面的强大优势,加上以数据再分析为代表的气象大数据方面的优势和考虑动力预报传统方法未来面临的后劲不足等,当前需要保持当年皮耶克尼 斯的态度和前瞻视野,学习理查孙有了信念就动手实践,借AI技术曲尽原始动力方程之幽深,气象和大气 科学以新范式迎接获得更大发展的未来,完全可期!