深度学习物理通知:修改Korteweg-de弗里斯方程的数值解

文摘

本文借助符号计算系统的Python和基于深层神经网络(款),自动分化(广告),和内存有限Broyden-Fletcher-Goldfarb-Shanno (L-BFGS)优化算法,我们讨论了修改Korteweg-de弗里斯(mkdv方程得到数值解。从预测解决方案和预期的解决方案,由此产生的预测误差 。本文中使用的方法,我们已经展示了强大的深度学习数学和物理能力灵活地模拟所代表的物理动态微分方程也使我们了解更多的物理现象。

1。介绍

近年来,非线性现象已经广泛应用在数学等领域,物理、化学、生物、金融、和工程技术。因为大量的科学和工程问题的数学模型简化为常微分方程的问题确定解决方案(常微分方程)和偏微分方程(pde)和问题是复杂和计算量巨大,除了少数特殊类型的微分方程,可以通过分析方法解决,获得的解析表达式是在大多数情况下是极其困难的。因此,对PDE的数值方法的研究已经成为一个流行的主流方向。数字解决方案吸引了科研人员的关注,也是大规模科学与工程计算。

PDE的数值方法是基于正则网格法和gridless法是否在离散化时使用。由于困难在数值格式和啮合的结构,它是在实践中受到很多的限制。在获得高精度和高分辨率的解决方案,而不是经验计算数学家将有困难的原因,数值格式的结构非常复杂。

人工神经网络(ANN)的简化模型的生物神经系统代表了一个技术领域的各种应用程序的数学建模、文字识别、语音识别、学习和记忆、模式识别、信号处理、自动控制、信号处理、决策支持和时间序列分析等。1]。安已经应用于解决常微分方程和偏微分方程早在20多年前。我们都知道,解微分方程通过神经网络可以被视为一个无网数值方法。由于微分方程的重要性,许多方法已经开发在文献中解决他们(2]。Rosenblatt介绍第一个模型基于单层神经网络的监督学习与单个神经元(3]。三个研究具有任意不规则边界的边值问题在2006年被一个人工神经网络方法(4]。商场和Chakraverty解决常微分方程的应用勒让德2016年神经网络(5]。

然而,由于计算方法和计算资源的限制,这项技术没有得到足够的重视。近年来随着深度学习的发展,应用数学教授Karniadakis布朗大学和他的同事进行了复查深度学习的技术,发展出了一套基于最初的算法框架。它被命名为“physics-informed神经网络(PINN)”,最初是用来解决前进和偏微分方程的逆问题。这也引发了大量的后续研究工作,已逐渐成为一个新兴的跨学科领域的研究热点科学机器学习(SCIML)。从功能的角度近似理论在数学中,神经网络可以被视为一个通用非线性函数的估计值,以及偏微分方程的建模过程也在寻找满足约束条件的非线性函数,它有一些共同点。由于广告技术广泛应用于深学习神经网络,微分方程的微分形式约束条件是集成到损失函数神经网络的设计,以获得神经网络受到物理模型这是最PINN的基本设计思想。

PINN的网络结构和损失函数需要根据微分方程的形式,它不同于当前的工作直接利用机器学习算法在计算物理学。不同于经典的监督学习任务,PINN正则化系数的微分方程和初始边值条件除了监督数据部分的损失函数的设计。这些正则化因子是不同的,需要根据实现的最优设计问题。传统计算微分方程数值解是通过有限差分、有限元、和其他数值方法,但缺点是它需要提供明确的初始值条件,边界和数值解算法敏感地区;必须重新计算条件略有改变,很难用于实时计算和预测。PINN克服了问题,传统的数值模拟方法是敏感地区和初始和边界条件。Raissi等人介绍了physics-informed神经网络数据驱动的解决方案,他们介绍了他们的发展的背景下,解决两个主要类型的问题:数据驱动的解决方案和数据驱动的发现2017年的偏微分方程6]。Raissi等人利用神经网络多步研究非线性动力系统的动力系统在2018年(7]。薛定谔,Raissi Karniadakis研究navier - stokes Kuramoto-Sivashinsky,时间线性分式方程通过机器学习(8]。刘等人在2019年与神经网络解决微分方程(9]。汉等人解决高维偏微分方程利用深度学习在2018年(10]。

在目前的研究中,我们利用快速发展的机器学习和使用方法提出的PINN Raissi et al。11]研究mkdv方程。广告和L-BFGS12)优化算法被用来训练损失函数。首先,我们介绍了该算法的主要思想。其次,我们使用这种方法来研究两种mkdv方程的初始方案,预测孤波是第一所示。我们也显示出相对的 - - - - - -标准误差和预测之间的精确解 不同数量的初始和边界训练数据和不同数量的搭配点 。三维图和投影图像的精确解,并预测mkdv方程的解具有不同初始解决方案如图1- - - - - -4。最后,我们得出结论。从获得的结果在实验中,一些新奇的和重要的发展寻找分析PDE孤波解。这个手稿的结果很可能补充现有文献如下:扩展和修改直接代数方法,扩展映射方法,Seadawy技术来找到解决色散等一些非线性偏微分方程孤波解的Kadomtsev-Petviashvili-Burgers动力学方程(13];亮和暗孤子,椭圆函数和高阶NLSE孤波解的14];丰富的肿块的解决方案和交互现象( )- - -维广义Kadomtsev-Petviashvili方程(15];描述小振幅的双向传播长毛细管表面重力波浅水(16];色散equal-width equal-width和修改方程的行波解(17];周期(孤波解的 )- - -维经典李群Caudrey-Dodd-Gibbon-Kotera-Sawada方程(18];rational解决方案和肿块解决广义( )- - -维浅水样方程(19];新的孤波解耦合Maccari系统(20.];把解决方案( )- - -维四阶非线性PDE拥有一副大臣双线性形式(21]。因此,本研究的意义后孤子的研究解决方案。

2。该算法的主要思想

2.1。算法的说明

深入学习是机器学习研究的新领域。它的动机在于建立和模拟人类大脑的神经网络进行分析和学习。它模仿人类大脑的机制来解释数据。深度学习的概念来自于人工神经网络的研究。多个隐藏层的多层感知器是一种深度学习的结构。我们给一个简单的神经网络的结构和深层神经网络在图5。摘要网络被用作监督网络意味着多层感知器神经网络需要一个老师来告诉所需的输出是什么。深度学习形成一个更抽象的高层表示属性类别或特性结合低级特征发现分布式特性表示的数据。深度学习使用一个类似于神经网络的层次结构。组成的多层网络的系统由一个输入层、隐藏层(多层),和一个输出层。只在相邻层节点相连。彼此之间没有连接,每一层可以被看作是一个逻辑回归模型。深度学习允许计算机构造复杂的概念通过简单的概念与强大的功能和灵活性。款显示巨大的潜力在近似高维函数相比,传统的基于拉格朗日插值近似或光谱方法(22]。

深度学习的典型例子模型前馈网络或多层感知器深处。多层感知器是一个数学函数,输入映射到输出值。这个函数是由许多简单的功能。每一层的完全连接款可以表示如下: 在哪里意味着输入向量和是我们选择激活函数(双曲正切函数作为激活函数在哪里 :

, 层的重量吗为层 ,和意味着之间的重量 - - - - - -输入和 - - - - - -隐层的神经元。是偏见向量。 可以被认为是一个近似的解决方案吗 PDE。最后一个近似解是通过调整参数来解决最小化误差的近似解和精确解。

一个完全连接的神经网络之前证明(23,24琼斯和卡罗尔和迪金森,任何连续函数定义在有限域可以近似。在这篇文章中,我们介绍了解决方案的形式和建筑使用physics-informed PDE的神经网络方法。physics-informed神经网络的示意图如图mkdv方程6。考虑PDE的一般形式如下: 在哪里是一个非线性函数的时间吗 ,空间 ,解决方案 ,及其衍生物和下标表示偏微分法在任何时间或空间 。例如,的二阶导数吗关于 。

2.2。算法的细节

根据方程(1),让我们定义 如下:

目标函数的试探函数可以定义为25] 均方误差的定义,分别是和 :

款培训的目标函数是由网络输出的均方误差。

神经网络之间的重量和偏见 和 可以学到通过最小化均方误差损失, 域数据,边界上的采样点数量,是采样点的数量, , 初始和边界训练数据 ,和 预计的解决方案。

3所示。示例修改Korteweg-de弗里斯方程

修改后的Korteweg-de弗里斯(mkdv)方程可以写成26]

如果 , 。我们得到了训练和测试数据通过使用传统的光谱方法和使用Chebfun包(27)光谱傅里叶与256年离散化模式和四阶显式龙格-库塔时间积分器与时间步大小 。

有两个部分的数据点形成搭配点的训练 :一部分用拉丁超立方体抽样策略生成10000数据点和另一部分使用随机抽样产生456数据点。随机抽取 从初始和边界数据作为训练数据点,我们学习潜在的解决方案 通过使用L-BFGS算法来优化最小化误差函数方程的参数(7)。我们有显示预测的解决方案 在图7由11-layer深层神经网络中,每个隐层神经元包含30。相对 - - - - - -对于这种情况是标准错误 。代码运行在个人电脑中与英特尔®核心™i5, 2.50 GHz,运行时间是930.9392秒。从物理图的精确解是孤子传播解决方案通过Chebfun方案和预测方案图的底部7,单孤波的波形并没有改变。准确的动力学和学习动力 如图8。我们选择训练点的数量 和搭配点 ;在这种情况下,我们研究了影响不同层次和不同神经元的相对的 - - - - - -标准错误。相对 - - - - - -标准错误倾向于减少随着层次的增加和神经元,它如表所示1。我们还研究了影响建筑构造的9款不同层和隐层神经元20每训练点和搭配点在相对 - - - - - -标准错误表所示2。三维图和投影图像的精确解,并预测mkdv方程的解与初始状态 如数据所示1和2。

为了进一步研究算法的性能的有效性近似mkdv方程的精确解,我们改变初始条件如下28]:

我们得到了训练和测试数据通过使用传统的光谱方法和使用Chebfun包和光谱傅里叶离散化与256年模式和一个四阶显式龙格-库塔时间积分器与时间步大小 。获得使用的数据点 分为两部分,一部分用拉丁超立方体抽样策略生成10000数据点和另一部分使用随机抽样产生456数据点。随机抽取 从初始和边界数据作为训练数据点,我们学习潜在的解决方案 通过使用L-BFGS算法来优化最小化误差函数方程的参数(7)。我们有显示预测的解决方案 在图9由11-layer深层神经网络中每个隐层包含15个神经元。代码的运行时间是439.9942秒。相对 - - - - - -对于这种情况是标准错误 。从物理传播图精确解的孤子解Chebfun方案和预测获得的解决方案在图9,单孤波的波形并没有改变。准确的动力学和学习动力 如图10。我们选择训练点的数量 和搭配点 ;在这种情况下,我们研究了影响不同层次和不同神经元的相对的 - - - - - -标准错误。相对 - - - - - -标准错误倾向于减少随着层次的增加和神经元,它如表所示3。我们也研究了影响架构由9层有15款每隐层神经元不同训练点和搭配点在相对 - - - - - -标准错误表所示4。三维图和投影图像的精确解,并预测mkdv方程的解与初始状态 如数据所示3和4。

4所示。结论

随着数据量的增加,计算能力的提高,以及新出现的机器学习算法(深度学习),人工智能已成为一个领域,有许多实际应用和活跃的研究课题。深入学习是人工智能的一种方式。它是一种机器学习的技术,使计算机系统需要改进的经验和数据。

在本文中,我们简要描述算法的DNN。数据5- - - - - -10显示简单的神经网络的基本结构和深层神经网络,physics-informed神经网络的原理,和比较图的精确动力系统和预测mkdv方程的动力系统。表1和3显示 - - - - - -规范的预测和精确解之间的误差 不同的隐藏层个数和不同数量的每层神经元。表2和4显示了相对预测和精确解之间的误差 不同数量的训练点和搭配点 。表1- - - - - -4说明了相对错误往往与层的增加减少,神经元。这种方法演示了深度学习的数学和物理能力强模拟所代表的物理动态微分方程也使我们了解更多的物理现象。

数据可用性

手稿中的数据可以通过MATLAB软件生成。使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金(11571008、11661060、11661060)和中国内蒙古自治区自然科学基金(2018 lh01013)。

引用

1. n Yadav, a Yadav, m·库马尔“微分方程,介绍了神经网络方法”SpringerBriefs在应用科学和技术施普林格,伦敦,2015年。视图:出版商的网站|谷歌学术搜索
2. y z . Liu Yang,问:d . Cai”解微分方程约束的多层前馈网络,”2019年,https://arxiv.org/abs/1904.06619。视图:谷歌学术搜索
3. f . Rosenblatt“感知器:一个概率模型为信息存储和组织在大脑中,“心理评估,卷65,不。6,386 - 408年,1958页。视图:出版商的网站|谷歌学术搜索
4. k . s .,一个人工神经网络方法求解具有任意不规则边界的边值问题,2006年,乔治亚理工学院的。
5. 美国购物中心和美国Chakraverty勒让德神经网络求解常微分方程的应用,”应用软计算,43卷,第356 - 347页,2016年。视图:出版商的网站|谷歌学术搜索
6. m . Raissi p Perdikaris, g . e . Karniadakis”物理通知深度学习(第一部分):数据驱动的非线性偏微分方程的解决方案,”2017年,https://arxiv.org/abs/1711.10561。视图:谷歌学术搜索
7. m . Raissi p Perdikaris, g . e . Karniadakis”多步神经网络非线性动力系统的数据驱动的发现,”2018年,https://arxiv.org/abs/1801.01236。视图:谷歌学术搜索
8. m . Raissi和g . e . Karniadakis“隐藏物理模型:机器学习的非线性偏微分方程,”计算物理学杂志卷,357年,第141 - 125页,2018年。视图:出版商的网站|谷歌学术搜索
9. z y, y·t·杨,问:d·蔡“神经网络作为一个函数的估计值及其在求解微分方程中的应用,”应用数学和力学,40卷,不。2、237 - 248年,2019页。视图:出版商的网站|谷歌学术搜索
10. j·汉、a . Jentzen和w·E”解决高维偏微分方程使用深度学习,”美国国家科学院院刊》上的美利坚合众国,卷115,不。34岁,8505 - 8510年,2018页。视图:出版商的网站|谷歌学术搜索
11. m . Raissi p Perdikaris, g . e . Karniadakis”物理通知深度学习(第二部分):数据驱动的非线性偏微分方程的解决方案,”2017年,https://arxiv.org/abs/1711.10561。视图:谷歌学术搜索
12. d . c .刘和j . Nocedal”内存有限bfg大规模优化的方法,”数学规划,45卷,不。1 - 3、503 - 528年,1989页。视图:出版商的网站|谷歌学术搜索
13. r . a . Seadawy“离子声孤波解的二维非线性Kadomtsev-Petviashvili-Burgers方程在量子等离子体中,“应用科学的数学方法,40卷,不。5,1598 - 1607年,2017页。视图:出版商的网站|谷歌学术搜索
14. m .艾尔沙德a。r . Seadawy, d,“椭圆函数和高阶非线性薛定谔的动力学方程孤波解的四阶色散和cubic-quintic非线性及其稳定性,”欧洲物理杂志》+,卷132,不。8,371 - 382年,2017页。视图:出版商的网站|谷歌学术搜索
15. s . j . Lu Bilige, x高,“丰富的肿块的解决方案和互动的现象(3 + 1)维广义Kadomtsev-Petviashvili方程,”国际期刊的非线性科学和数值模拟,20卷,不。1,33-40,2019页。视图:出版商的网站|谷歌学术搜索
16. m·a·希拉勒、a . r . Seadawy和m . h . Zekry“孤波解的稳定性分析四阶非线性布西涅斯克水的波动方程,”应用数学和计算,卷232,不。232年,第1103 - 1094页,2014年。视图:出版商的网站|谷歌学术搜索
17. d, a . r . Seadawy和a·阿里“分散equal-width equal-width和修改方程的行波解通过数学方法及其应用”结果在物理9卷,第320 - 313页,2018年。视图:出版商的网站|谷歌学术搜索
18. 张y”,周期性的孤波解的(2 + 1)维经典李群Caudrey-Dodd-Gibbon-Kotera-Sawada方程,”开放应用科学杂志》上,10卷,不。3,60 - 68、2020页。视图:出版商的网站|谷歌学术搜索
19. y, h .董、张x和h·杨,“理性的解决方案和肿块解决广义(3 + 1)维浅水样方程,”计算机和数学与应用程序,卷73,不。2、246 - 252年,2017页。视图:出版商的网站|谷歌学术搜索
20. j·瓦海德,s m . Zekavatmand h . Rezazadeh m . . m . a . Akinlar y . m .楚,“新的孤波解耦合Maccari的系统,”结果在物理第103801条,卷。21日,2021年。视图:出版商的网站|谷歌学术搜索
21. w . x, s . Manukure h . Wang和s . Batwa”块解决方案(2 + 1)维四阶非线性PDE拥有一副大臣双线性形式,“现代物理学字母B,35卷,不。9,2150160条,2021年。视图:出版商的网站|谷歌学术搜索
22. w . Cai、x·g·李和l . z刘”相移深神经网络高频率波方程的非齐次媒体,”2019年,https://arxiv.org/abs/1909.11759。视图:谷歌学术搜索
23. l·k·琼斯,“建设性为神经网络近似s形函数,“IEEE学报》卷,78年,第1589 - 1586页,1990年。视图:出版商的网站|谷歌学术搜索
24. 卡罗尔和b·迪金森,“使用拉东变换,神经网络建设”IEEE国际会议上神经网络1卷,第611 - 607页,1989年。视图:谷歌学术搜索
25. m . Raissi p Perdikaris, g . e . Karniadakis”Physics-informed神经网络:深入学习框架解决,涉及非线性偏微分方程逆问题,“计算物理学杂志卷,378年,第707 - 686页,2019年。视图:出版商的网站|谷歌学术搜索
26. z z咚,对称的减少和一些非线性问题的精确解华东师范大学,2010。
27. t·a·德里斯科尔,黑尔n, l . n . Trefethen Eds。Chebfun指南Pafnuty出版物,牛津,2014年。
28. y . g .赵和j . r .燕”微扰MKdV方程理论”,《物理学报》,48卷,不。11日,第1982 - 1976页,1999年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021 Yuexing白等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。