原创 Rice University     转发EarthAi 

原标题：傅立叶变换揭示AI如何学习复杂物理

一项新的研究发现，傅立叶分析（Fourier Analysis）是一种已有200年历史的数学技术，可以用来揭示深层神经网络如何学习执行复杂物理任务（如气候和湍流建模）的重要信息。这项研究突出了傅立叶分析作为深入了解人工智能内部运作的工具的潜力，可能对开发更有效的机器学习算法产生重大影响。

科学人工智能的"黑匣子"无法与200年前的方法匹敌

傅立叶变换揭示了神经网络学习复杂物理的深度

一项新的研究表明，计算物理学中最古老的工具之一， 一种已有200年历史的数学技术——傅立叶分析，能够揭示一种叫做深度神经网络的人工智能是如何学习执行复杂物理任务的关键信息，比如气候和湍流建模。

莱斯大学机械工程研究人员的这一发现发表在《美国国家科学院院刊》(Proceedings of the National Academy of Sciences)的姊妹刊物《PNAS Nexus》上的一项开放获取研究中。

注： 由于与PNAS的密切关系，PNAS Nexus将鼓励向PNAS提交手稿但手稿可能不适合PNAS的作者无缝地将手稿转移到PNAS Nexus。与PNAS不同，PNAS Nexus将没有特殊的院士提交渠道，也不会为院士提供特殊访问权限。副编辑和审阅编辑委员会（BoRE）横跨三院，包括各自领域的国家和国际专家。

该研究通讯作者Pedram Hassanzadeh表示：“这是第一个解释和指导使用深度神经网络处理复杂动力系统(如气候)的严格框架。它可以大大加快科学深度学习在气候科学中的应用，并带来更可靠的气候变化预测。”

莱斯大学的研究人员训练了一种称为深度学习神经网络的人工智能,以识别复杂的空气或水流,并预测水流将随着时间的推移而变化。该可视化说明了模型在训练期间(上)显示的特征尺度的实质性差异,以及它学习识别(下)以进行预测的特征。图片来源:P. Hassanzadeh/Rice University

在这篇论文中，Hassanzadeh以前的学生Adam Subel 和Ashesh Chattopadhyay，以及博士后研究助理Yifei Guan， 他们详细介绍了利用傅立叶分析研究深度学习神经网络的方法，该神经网络被训练用来识别大气中复杂的空气流动或海洋中水流，并预测这些流动将如何随时间而变化。Hassanzadeh说，他们的分析揭示了"不仅神经网络学到了什么，它还使我们能够将网络学到的知识直接与它所建模的复杂系统的物理学联系起来。"

他说:“深部神经网络以难以理解著称，通常被认为是'黑匣子' ，这是将深度神经网络应用于科学领域的主要问题之一。另一种是概括性：这些网络无法在一个不同于他们训练的系统上工作。”

训练顶尖的深神经网络需要大量的数据，而用目前的方法进行再训练仍然很费劲。赖斯大学的研究人员在训练和再训练一个深度学习网络，以完成涉及复杂物理学的不同任务后，利用傅立叶分析，比较了两次迭代中的4万个内核，发现99%以上相似。这张图显示了四个核的傅立叶谱，这些核在（左）和（右）再训练前最不同。这些发现表明，该方法在识别更有效的再培训路径方面具有潜力，而这些路径需要更少的数据。来源：Hassanzadeh/赖斯大学

Hassanzadeh说，他的团队在论文中提出的分析框架“打开了黑匣子，让我们看看里面，了解网络学到了什么，为什么，也让我们把它与所学的系统的物理学联系起来。”

Subel是该研究的主要作者，他最初是赖斯大学的本科生，现在是纽约大学的研究生。他说：“该框架可以与转移学习的技术结合使用，以实现泛化并最终提高科学深度学习的可信度。”

虽然许多先前的研究试图揭示深度学习网络如何学习做出预测，但Hassanzadeh说，他，Subel，Guan和Chattopadhyay选择从不同的角度来解决这个问题。

Hassanzadeh说：“用于理解神经网络的常见机器学习工具在自然和工程系统应用方面并没有取得多大成功，至少这些发现可以与物理学联系起来。我们的想法是让我们做些不同的事情。让我们使用一个学习物理的常用工具，并将其应用于学习物理学的神经网络的研究。”

他说：“傅立叶分析是在1820年代首次提出的，是物理学家和数学家最喜欢的用于识别时空频率模式的技术，从事物理学的人几乎总是看傅里叶空间的数据，它使物理和数学更容易。”

例如，如果某人有一分一秒地记录一年的室外温度读数，那么信息就会是一串525600个数字，物理学家称之为时间序列的一种数据集。为了分析傅里叶空间中的时间序列，研究人员将使用三角法来转换序列中的每个数字，从而创建出另外一组525600个数字，这些数字将包含来自原始集合的信息，但看起来很不一样。

Subel说：“与其每分钟都能看到温度，不如只看到几个尖峰。其中之一是24小时的余弦，即昼夜高点和低点循环。这种信号一直存在于时间序列中，但傅立叶分析可以让你很容易地在时间和空间上看到这些类型的信号。”

基于这种方法，科学家开发了其他时频分析工具。例如，低通转换滤除背景噪声，高通滤波器则相反，允许人们关注背景。

Hassanzadeh的团队首先在其训练有素的深度学习模型的方程上进行了傅立叶变换。模型的每个大约100万个参数都像乘数一样，在模型计算中或多或少地应用于方程中的特定运算。在未经训练的模型中，参数具有随机值。当算法逐渐学会到达更接近训练案例中已知结果的预测时，这些会在训练过程中进行调整和磨练。从结构上讲，模型参数被分组到大约 40000 个 5x5 矩阵或内核中。

Hassanzade说：“当我们把方程的傅里叶变换,这告诉我们,我们应该看看这些矩阵的傅里叶变换。我们不知道以前没有人做过这部分,研究过这些矩阵的傅里叶变换,并试图将它们与物理学联系起来。”

“当我们这样做时，突然发现神经网络正在学习的是低通滤波器、高通滤波器以及加博滤波器的组合”，他说。

Hassanzadeh说：“最美妙的是神经网络没有发挥任何魔力。它没有做任何疯狂的事情，它实际上是在做物理学家或数学家可能试图做的事情。当然，如果没有神经网络的力量，我们不知道如何正确组合这些过滤器。但是当我们和物理学家谈论这项工作时，他们喜欢它。因为他们就像，‘哦！我知道这些东西是什么’。这就是神经网络所学到的，我明白了。”

Subel说：“这些发现对科学深度学习有重要意义，甚至表明科学家从其他环境中学习机器学习中学到的一些东西,如静态图像的分类,可能不适用于科学机器学习。我们发现，机器学习文献中的一些知识和结论，例如从商业和医学应用方面获得，并不适用于许多科学和工程方面的关键应用，如气候变化建模，这本身就是一项重大意义。”

Chattopadhyay在2022年获得了博士学位,现在是帕洛阿尔托研究中心的研究科学家。

这项研究得到了海军研究办公室（N00014-20-1-2722）、国家科学基金会（2005123，1748958）和施密特期货计划的支持。计算资源由国家科学基金会（170020）和国家大气研究中心（URIC0004）提供。

参考文献

1. Subel, A., Guan, Y., Chattopadhyay, A., & Hassanzadeh, P. (2023). Explaining the physics of transfer learning in data-driven turbulence modeling. PNAS nexus, 2(3), pgad015.https://doi.org/10.1093/pnasnexus/pgad015

2. Fourier Transformations Reveal How AI Learns Complex Physics. https://scitechdaily.com/fourier-transformations-reveal-how-ai-learns-complex-physics/

翻译工具：Google Translate，翻译不当之处欢迎批评指出！