英语原文共 22 页，剩余内容已隐藏，支付完成后下载完整资料
预测大型时空动态系统的储层计算
摘要
时空混沌动力系统的预测是几个科学领域中的一个重要问题。关键的科学应用，如天气预报和气候建模，取决于有效模拟时空混沌地球物理系统，如大气和海洋的能力。机器学习领域的最新进展有可能成为此类系统建模的重要工具。在本章中，我们回顾了几个关键思想，讨论了用于纯数据驱动和混合数据辅助混沌系统预测的基于储层计算的体系结构，强调了对大型高维系统的可伸缩性。
1 目的
本章的动机是大型复杂时空混沌系统的预测问题，以及机器学习可能是显著改进这种预测的有用工具的可能性。我们所考虑的潜在任务类型的例子是预测海洋状况；太阳风、地球磁层和电离层的预报条件（所谓的“空间天气”，对地球轨道航天器、GPS精度、电网中断等很重要）；植物生长对环境变化的空间分布预测火灾发展预测及其对消防对策的响应天气预报。
集中于天气预报，也许是最重要的例子，我们注意到以下两点： (i) 天气预报影响数百万人的生活，例如，提供破坏性事件的警报，如飓风或暴风雪； (ii) 当前使用的天气预报采用基于物理的模型（流体动力学、辐射传热等方程），以及山脉、海洋等的地理知识。然而，(ii) 中的模型具有相当大的误差，例如，这可能是由于关键子网格尺度动力学(如云、湍流大气运动以及与小尺度地理特征的相互作用)的不完美建模而产生的。
从数据中进行机器学习是否可能纠正此类知识缺陷，从而有助于显著改善预测？关于处理使用机器学习来分析和预测时空动态系统的其他近期工作，参见Brunton等人(2016)卢什等人(2018), Raissi等人(2019)Vlachad等人(2018)Wan等人(2018). 本文以油藏计算为重点，讨论和总结了近年来有关油藏计算的一些研究成果。
2 背景：“小”混沌系统的预测
耶格和哈斯 (2004) 在储层计算 (耶格 2001) 中考虑了动态系统遍历混沌演化的机器学习 (ML) 预测。其方案的基本思想如图1所示（在其离散时间版本中）。在给定时间序列训练数据u (n) 的情况下，对于n = - T, - T 1, - T 2 ,hellip;, -1，当u (n) 为输入时，训练ML系统输出u (n 1)。如果未知动态系统的向量状态用x表示，我们可以用“测量函数”H表示测量，使得测量向量u由
由于u的维数可能小于x空间动态系统吸引子的维数的两倍。1可以不是嵌入 (Sauer等人为了弥补这一点，ML系统必须有内存。也就是说，ML设备的当前状态取决于其当前输入和输入的历史。(还可以通过将时间延迟测量作为u (t) 的附加分量来实现或补充存储器；然而，为了简单起见，我们不会在这里进一步考虑这种可能性)。
例如，假设目标是预测测量的未来值。继Jaeger and Haas (2004) 之后，在训练阶段(图1A) 之后，预测时间到来时，来自测量状态的输入不再可用，并且如图1 B所示，被ML系统输出替代；即，输出被反馈到输入。因此，在预测阶段的开始步骤，输入u (0)，如果一切顺利，则产生新的(预测的)输出u (1)，当反馈时，输出u (2) 的预测，当反馈时，输出u (3) 的预测，依此类推。当然，由于假设动态系统产生测量的混沌，这些误差随着反馈回路的连续遍历而累积。因此，与混沌过程的典型情况一样，预测精度最终会崩溃。因此，只有在几个Lyapunov时间内才能得到良好的预测。
(a) (b)
图1 简单ML预测系统的训练阶段和b预测阶段的示意图
注意，图1 a中所示的闭环系统本身可被视为自主动态系统。因此在Lu等人(2018)Luet al.采用了动力学系统理论的概念（特别是“广义同步”的概念。1986;Kocarev和Parlitz，1996年；佩科拉等人1999;Rulkov等人1995年和Lyapunov指数Abarbanel 2012；Kantz和Schreiber，2004年；Ott 2002年；Ott等人1994) 分析ML系统的条件，使生成数据的未知系统的动态重现良好。
关于时间步骤，可能有以下问题。假设有兴趣预测一个混沌过程前进一段时间T，为什么不简单地设置T并执行一个预测步骤（因此消除了图1 B中的闭环配置的需要）？答案是，对于典型的情况，人们通常对预测时间T感兴趣，预测时间T可以是几个Lyapunov时间 (Lyapunov时间是一个典型的时间，它需要一个小的轨道扰动以一个因子e增长)。在这种情况下，= T，u（n）的小变化可导致u（n 1）的相对大的变化。因此，ML系统被训练学习的功能关系相对复杂（“摆动”），使得其任务相对困难。因此，已经发现如图1 B所示使用较小的反馈回路是有利的。
图1所示的预测方案的一个方面是原则上可以采用各种版本的ML。由于记忆通常是必需的，并且在任何情况下都是对预测任务有利的，因此考虑的两个最自然的候选是储层计算(如在Jaeger和Haas 2004的论文中)和长期短期记忆 (Hochreiter和Schmidhuber 1997) (如在Vlachad等人的论文中)。2018). 在本章中，我们考虑油藏计算，因为它明显较短的训练时间和它在本书其他章节讨论的有利物理实现的潜力。
3 大型复杂时空混沌系统的机器学习与预测
该方案（Jaeger和Haas 2004）在图1和Sect。2适用于小到中等大小的系统。然而，我们发现，将例如图1的储层计算实现直接缩放到非常大的尺寸导致实际中似乎不可行或至少非常苛刻的要求(例如，关于所需的储层尺寸、训练数据量和训练的计算)。因此，我们寻求缓解这一问题的方法。具体地，我们希望应用待预测的系统的先验物理知识，并且通过适当的预测系统架构将该先验知识与机器学习方法集成。特别地，我们考虑两种类型的先验知识，如下所述。
首先，我们注意到空间扩展物理系统中的信息通常以有限的速度传播。因此，在空间的某一点上施加的扰动不会立即影响某一远处的状态。我们称之为“短期因果相互作用的局部性”（LSTCI）。为了说明的目的，假设空间是一维，如果我们想要预测区域x0 minus; l0 lt; x lt; x0 l0中时间t的状态，我们只需要考虑区域内时间t的状态，x0 minus; (l0 d) lt; x lt; x0 (l0 d)，其中d足够大，使得影响区域中状态的预测的信息，x0 minus; l0 lt; x lt; x0 l0，传播速度不足以在一步预测时间内移动距离d。因此，一种并行方法 (Sect。可以采用4)，其中多ML系统在相应的有限重叠空间区域中预测u，其中区域之间重叠的长度至少为d。这将在第节中讨论。4.3（请注意，这种考虑提供了较小的额外动机）。
第二种类型的物理知识来自基于知识的建模，其形式通常是不精确的偏微分方程，如Sect中所讨论的。2在天气预报方面。在教派5.我们讨论了一种混合技术，它既利用了一个不完全的基于知识的模型，又利用了一个相对较小的储层计算ML预报器（参见Wan等人2018（针对使用长期短期记忆ML的类似实现）。在混合系统的训练中，ML系统和基于知识的系统两者的状态变量通过一组可调节的“权重”组合，使得非常紧密地拟合由训练数据确定的期望预测系统输出。因此，我们认为训练被设计为采用ML组件和基于知识的组件的预测的最佳方面，并且以半最优的方式组合这些好的方面。的确，正如我们后来所表明的那样。5)，即使在基于知识的系统误差和相对较小的ML分量的大小使得每个单独的动作给出相对无价值的预测的情况下，当被并入我们的混合方案时，可以得到优秀的预测。此外，如我们将在其它地方记录的，与对于更大的纯机器学习系统的情况相比，机器学习组件通常需要更少的用于混合方案的训练数据。
第6节讨论了并行方案和混合方案相结合的解释系统体系结构，从而建立了一种可扩展到大型复杂系统的方法。在该组合方案中，我们设想该组合系统的基于知识的组件是全局的，而不是基于LSTCI假设(例如，与当前用于天气预测的模型类似)。
4 分布式并行预测
在这一部分中，我们描述了如何有效地训练一台水库计算机从高维时空混沌系统中预测时间序列。Pathak等人介绍了该方案。（2018年a）。如第3，我们将利用短期因果交互作用 (LSTCI) 的局部性，将计算任务划分为多个独立的计算单元或“核心”。这一划分背后的关键思想是我们假设时空系统的特定空间区域的状态的近期未来仅受附近(在空间意义上)发生的动态的影响，而远离其发生的动态没有影响。这一假设假定时空系统中不存在短期的长期相互作用。
为简单起见，在下面的大部分内容中，我们考虑由一组方程定义的时空动态系统，该系统在具有周期边界条件的一维空域 (x) 中演化时间 (t) 正向的标量状态变量y (x，t) 。因此，xε [0，L) 和y (x L，t) = y (x，t) 。我们假设测量向量u (n) 是K维的，其中u (n) 的每个标量元素是状态变量y (x，t)，在规则的时间间隔和均匀间隔的空间网格上测量，其中K个网格点：x = (L/K)，(2L/K)，(3L/K)，hellip;，L。
4.1 划分空间网格
在k个网点上，当t = n且n为整数时，Wethusa是K次的，当k个标量元为uk (n) 时，测量向量u (n) 是k-向量。2,...,M 如图所示，我们然后使用K维测量向量u (n) 来形成M个向量 {vi (n)} i = 1，，hellip;，M的集合，其中每个这样的向量i具有维度 (K/M) l，并且它在重叠区域中组合y值，其中每个区域i具有K/M个中心节点，每个节点的长度为l (例如，在图1所示的示意图中，l =和 (K/M) = 4) 。使用我们的LSTCI假设并要求向量vi (n) 的K/M中心节点的时间预测不受vi (n) 中不包括的节点状态的影响(到非常好的近似)，从而选择l。
图2 分区方案
如图2所示，K个网格点也被划分为具有K/M维状态向量的M个非重叠组，i = 1，2，hellip;，K/M，如图2所示(从图2中我们看到当l被设置为零时vi变为si) 。将获得每一组的时间预测的任务分配给M个单独的ML系统，该M个单独的ML系统将被训练以学习局部组动态并预测这些网格点处的时间序列的未来状态。利用我们的LSTCI假设，我们假设Si (n 1) 依赖于Si (n 1) 是足够小的，但是对于k A是独立于vi plusmn;k (n) 的。
请注意，l和M是我们模型的“超参数”，可以在优化计算成本和预测结果等因素的同时进行调整。我们使用术语“超参数”来表示一小组未通过训练程序调整的参数，这些参数表征ML设备的总体总体特征（例如，我们处理的超参数是非线性和记忆的量、储层大小、输入耦合强度和训练正则化）。超参数通常由用户在经验、试错的基础上设置，以便在测试数据集上获得“良好”的结果（通常，测试数据集与训练数据集分离，以确保训练的泛化）。还可以通过优化技术更系统地设置超参数。
以上描述（例如，图2）用于空间一维系统的情况。对于图3中的二维情形，推广到更高维是直截了当的，其中实心黑线将空间划分为由两个下标 (i，j) 标记的正方形块，向量si，j (类似于一维情形中的si) 指定块 (i，j) 内的系统状态，向量vi，j (类似于一维情形中的vi) 指定扩展重叠区域中的系统状态。由图3中的虚线正方形表示。（齐默曼和Parlitz 2018中也使用了类似的方案来推断未测量状态变量)
4.2 培训
现在专门针对水库计算，使用Jaeger和Haas (2004) 中概述的简单程序，我们基于以加权为特征的DK/M节点递归人工神经网络生成M个水库系统
图3 用于二维ML并行预测的空间区域si、j和vi、j。另见齐默曼和帕利兹（2018）
图4是开环“训练”配置；储层计算预测方案的闭环“预测”配置
邻接矩阵Ai。假设省略了初始启动瞬态活动，在训练阶段（我们将其从n = - T运行到n = -1）期间，M个储层网络中的每一个（图5）根据以下方程进行演化：
Ri
其中ri是D向量，其元素是每个网络节点的状态(这里被认为是标量)，并且Dx [ (K/M) 2l] 矩阵Win，i将第i个输入训练向量vi耦合到递归储层网络的节点。储集层状态ri (n), -Tle;nle;-1被存储在矩阵Ri中，使得Ri的T列是向量ri (n) 。然后使用状态向量ri来产生其维度为K/M的输出向量。在最简单的情况下(不一定是唯一的选择)，这经由 (K/M) times; D输出耦合矩阵Wout，i来完成，使得输出为Wout，iri。我们认为由Win, i和Ai元素构成的参数是固定的，只使用输出耦合函数的参数，即Wout, i的矩阵元素进行训练。也就是说，我们调整Wout，i，使一个理想的训练输出结果。根据图1的左图，当训练输入为vi (n) 时，我们希望输出近似Si (n 1)，
对于- T的n的n的-1。计算满足等式1的矩阵Wout，i。(3) 被称为“训练”神经网络。如图5所示。式中3.训练问题的定义不完全，因为我们没有指定“”符号的确切含义。2最简单的选择是要求方程的右手边和左手边。(3) 在其规范上大致相等。因此，可以选择矩阵Wout，i，其最小化输出与其期望目标值的平方偏差之和，
然而，这通常可能是有问题的，并且为了避免与训练数据过度拟合并且更好地促进训练对于超出训练数据的情况的可泛化性，通常采用正则化程序。为此，Wo
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[604251]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
