物理信息神经网络
物理信息神经网络(英語:physics-informed neural network,简称PINN) 是一种通用函数近似器,可以在学习过程中嵌入特定物理定律的信息,这些定律满足给定数据集并以偏微分方程的形式描述。[1]一些生物和工程系统存在数据稀缺性的问题,使得大多先进的机器学习技术在这些情境下缺乏鲁棒性并变得无效,而PINN则能够克服这种缺陷。[1]这一技术将一般物理定律的先验知识以正则化的方式用于神经网络训练以限制解空间的大小,从而提高函数近似的准确度。通过将先验信息嵌入神经网络,不仅增强了可用数据的信息利用,使得算法能够学习到正确的解,并且也能在训练样本数量较少的情况下提升泛化性能。
函数近似
[编辑]大多数控制系统动力学的物理定律都能够以偏微分方程来描述。例如,纳维-斯托克斯方程(N-S方程)是从控制流体力学的守恒定律(即质量、动量和能量守恒)[2]推导出的一组偏微分方程。满足适当的初值和边界条件的N-S方程可以定量描述特定几何形体中的流动动力学现象。然而N-S方程无法精确求解,通常需使用有限差分、有限元、有限体积等数值方法得到数值解。在此情形下,需要考虑先验假设、线性化、适当的时间和空间离散化等才能求解控制方程。
利用深度学习求解描述物理现象的偏微分方程现已经成为科学机器学习的一个新领域,得益于神经网络的通用逼近性[3]和高表达能力。一般而言,只要提供足够的训练数据,深度神经网络就能近似任意高维函数。[4]然而,单纯的神经网络并未考虑问题背后的物理特性,它们提供的近似精度仍然严重依赖于问题的几何形状以及初始和边界条件。在没有这些初步信息的情况下,问题的解并不唯一,同时也可能不符合物理实际。与此相对,PINN在神经网络训练过程中利用了物理上的控制方程。换句话说,PINN的设计使其不仅能经过学习以满足给定的训练数据,同时还能满足相应的控制方程。通过这种方式,神经网络可以在缺乏庞大完整数据的情形下进行训练。[4]有时还可能在不知道确切边界条件的情况下找到偏微分方程的解。[5]总体而言,当对问题的物理特性有一定了解并能提供某种形式的训练数据(即使是稀疏和不完整的数据)时,PINN可以用于获得高保真度的最优解。
PINN能够解决各类科学计算问题,是一种用于偏微分方程数值求解的开创性技术。PINN可被视为是传统计算方法(如计算流体力学 )的无网格替代方案,以及用于模型反演和系统识别的新型数据驱动方法。[6]值得注意的是,经过训练的PINN网络可在无需重新训练的情况下在不同分辨率的模拟网格上求解。[7]此外,PINN还能利用自动微分[8]来计算偏微分方程中所需的导数。
建模与计算
[编辑]一般的非线性偏微分方程可表示为:
其中表示方程的解,表示一个以的参数的非线性算子,而则是的一个子集 。这种一般形式的控制方程适用于众多数学物理中问题,例如守恒定律、扩散过程、对流扩散系统以及动力学方程等。对上述方程描述的通用动力系统,假定得到含噪声(不确定性)的测量数据,可将PINN用于解决偏微分方程中的两类问题:数据驱动求解(data-driven solution)与数据驱动发现(data-driven discovery)。
偏微分方程的数据驱动求解
[编辑]偏微分方程的数据驱动求解[1]用于计算系统的隐藏状态,此时需要给定系统的边界数据、测量数据𝑧以及固定的模型参数𝜆。问题的控制方程为
。
通过定义残差
可以用深度神经网络近似。该网络可使用自动微分技术进行微分。和的参数能通过最小化以下损失函数来学习:
其中是指经PINN求得的解及相应的边界条件和点集上的测量数据之间的误差,而则表示定义了测量数据和边界条件的点集。则是指残差函数的均方误差。其中用于鼓励PINN在训练过程中学习由偏微分方程表达的结构信息。
这一方法已用于生成计算高效并内嵌物理信息的代理模型,应用于物理过程预测、建模预测控制、多物理场和多尺度建模及仿真等。[9]已证明它能收敛至偏微分方程的精确解。[10]
偏微分方程的数据驱动发现
[编辑]给定系统中含噪声、不完整的测量数据,偏微分方程的数据驱动发现[6]是指通过计算发现最符合观察数据的未知状态和模型参数。问题的控制方程表示为
通过定义
可使用深度神经网络近似。和的参数以及模型参数能通过最小化以下损失函数来学习:
其中,和分别指稀疏点集上的数值解与测量数据,而则表示残差函数。损失函数的第二项用于在训练过程中满足偏微分方程所表示的结构化信息。
该策略能够发现由非线性偏微分方程描述的动力模型,构建计算高效且完全可微的代理模型,适用于预测、控制、数据同化等领域。[11][12][13][14]
参考文献
[编辑]- ^ 1.0 1.1 1.2 Raissi. Physics Informed Deep Learning (Part I): Data-driven Solutions of Nonlinear Partial Differential Equations. arXiv:1711.10561 .
- ^ Batchelor, G. K. An introduction to fluid dynamics 2nd pbk. Cambridge, U.K.: Cambridge University Press. 2000. ISBN 978-0-521-66396-0.
- ^ Hornik, Kurt; Tinchcombe, Maxwell; White, Halbert. Multilayer feedforward networks are universal approximators. Neural Networks. 1989-01-01, 2 (5): 359–366 [2023-12-08]. ISSN 0893-6080. S2CID 2757547. doi:10.1016/0893-6080(89)90020-8. (原始内容存档于2024-02-16) (英语).
- ^ 4.0 4.1 Arzani, Amirhossein; Dawson, Scott T. M. Data-driven cardiovascular flow modelling: examples and opportunities. Journal of the Royal Society Interface. 2021, 18 (175): 20200802. PMC 8086862 . PMID 33561376. arXiv:2010.00131 . doi:10.1098/rsif.2020.0802.
- ^ Arzani, Amirhossein; Wang, Jian-Xun; D'Souza, Roshan M. Uncovering near-wall blood flow from sparse data with physics-informed neural networks. Physics of Fluids. 2021-06-07, 33 (7): 071905. Bibcode:2021PhFl...33g1905A. S2CID 233289904. arXiv:2104.08249 . doi:10.1063/5.0055600.
- ^ 6.0 6.1 Raissi, Maziar; Perdikaris, Paris; Karniadakis, George Em. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics. 2019-02-01, 378: 686–707 [2023-12-08]. Bibcode:2019JCoPh.378..686R. ISSN 0021-9991. OSTI 1595805. S2CID 57379996. doi:10.1016/j.jcp.2018.10.045 . (原始内容存档于2023-03-28) (英语).
- ^ Markidis, Stefano. Physics-Informed Deep-Learning for Scientific Computing. 2021-03-11. arXiv:2103.09655 [math.NA].
- ^ Baydin, Atilim Gunes; Pearlmutter, Barak A.; Radul, Alexey Andreyevich; Siskind, Jeffrey Mark. Automatic differentiation in machine learning: a survey. 2018-02-05. arXiv:1502.05767 [cs.SC].
- ^ Raissi. Hidden Fluid Mechanics: A Navier–Stokes Informed Deep Learning Framework for Assimilating Flow Visualization Data. arXiv:1808.04327 .
- ^ Doumèche. Convergence and error analysis of PINNs. arXiv:2305.01240 .
- ^ Fu, Jinlong; Xiao, Dunhui; Fu, Rui; Li, Chenfeng; Zhu, Chuanhua; Arcucci, Rossella; Navon, Ionel M. Physics-data combined machine learning for parametric reduced-order modelling of nonlinear dynamical systems in small-data regimes. Computer Methods in Applied Mechanics and Engineering. February 2023, 404: 115771. Bibcode:2023CMAME.404k5771F. S2CID 254397985. doi:10.1016/j.cma.2022.115771.
- ^ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em. Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations. Science. 2020-02-28, 367 (6481): 1026–1030. Bibcode:2020Sci...367.1026R. ISSN 0036-8075. PMC 7219083 . PMID 32001523. doi:10.1126/science.aaw4741 (英语).
- ^ Mishra, Siddhartha; Molinaro, Roberto. Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs. 2021-04-01. arXiv:2007.01138 [math.NA].
- ^ Ryck, Tim De; Jagtap, Ameya D.; Mishra, Siddhartha. Error estimates for physics informed neural networks approximating the Navier–Stokes equations. 2022. arXiv:2203.09346 [math.NA].