英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
基于新型鲁棒回波状态网络的混沌时间序列预测
摘要:在一个基于回波状态机制的贝叶斯框架中，提出了一种鲁棒的递归神经网络。由于新模型能够处理训练数据集中的异常值，因此被称为鲁棒回波状态网络(RESN)。在贝叶斯框架中继承了ESN学习的基本思想，但是用一个对异常值更稳健的拉普拉斯模型代替了常用的ESN学习正态分布，作为模型输出的似然函数。在此基础上，导出合适的代理函数，并用高斯函数逼近拉普拉斯似然函数，同时保持对异常值的鲁棒性。提出了一种有效的模型参数估计方法，该方法可以用贝叶斯证据方法进行全自主的求解。实验结果表明，该方法在存在异常点的情况下具有较强的鲁棒性，优于现有方法。
索引项ー回声状态网络(ESN)、拉普拉斯似然函数、稳健模型、代理函数。
- 引言
混沌是确定性非线性动力系统中可能出现的一种准随机不规则运动，混沌现象在自然界中普遍存在。很多时间序列如太阳黑子，径流，电力负荷，温度，降雨，可以较好地通过混沌理论解释。人们对预测现实生活中的时间序列表现出很大的兴趣。一些神经网络模型和基于核的方法已被应用于时间序列预测，如多层感知机神经网络，径向基核函数神经网络，支持向量机神经网络，相关向量机，模糊模型，扩展卡尔曼滤波器神经网络，循环预测器神经网络，Elman网络，和回声状态网络(ESN)。在这些模型中，ESN是一个有效的递归神经网络模型(RNN)，引起了人们的极大兴趣。关于Mackey-Glass混沌时间序列预测的基准问题，与以前的技术相比，精确度提高了2400倍。回声状态网络的核心是一个大而固定的储备池。该储存器包含大量随机且稀疏连接的神经元。读出权重的确定是唯一可以训练的部分，可以通过简单线性回归来获得。对静电噪声的理论分析可以在参考文献中找到。根据动态水库的信息，如内部权重矩阵的谱半径，给出了产生回波状态的充要条件。文献[18]表明，如果在制备阶段将光谱半径设置为一个合适的值，那么ESN是稳定的，这与传统的RNNs有很大的不同。
伪逆是目前最常用的ESN训练方法。但是在实际应用中，它很容易导致不适定问题，并且通常伴随着非常大的输出权重，从而削弱了ESN的泛化能力。如果测试数据与训练数据略有不同，训练过的ESN的行为会非常不同。为了改进ESN解的性质，需要一种输出权学习的正则化方法，例如转变奇异值分解和tikhonov型正则化[。“噪声注入”是使用正则化的另一种方法，但它可能扰乱解，这意味着它不像标准的Tikhonov正则化那样稳定。
传统的Tikhonov正则化，又称岭回归，是通过惩罚较大的输出权值来实现的。该方法在近似的性质和近似函数的复杂性之间进行权衡，近似函数由正则化参数来平衡。为了获得良好的性能，需要使用有效的方法来确定。交叉验证是解决这个问题的常用方法，但是要找到合适的参数是非常耗时的。除了交叉验证，这个问题也可以用贝叶斯框架来表述，这个框架比其他表述方式有明显的优势。它们包括提供概率预测和模型参数的自动估计。在参考文献中，贝叶斯回归被用来促进正则化参数的估计。然而，和大多数贝叶斯方法一样，贝叶斯回归方法也存在着一个众所周知的缺点，即缺乏鲁棒性，因为它是基于高斯噪声的假设，并且模型输出的似然函数被假设为高斯函数。如果训练样本被离群点污染，贝叶斯回归的估计精度会大大降低。实际上，时间序列往往含有较大的噪声和异常值，目前常用的降噪方法还很不完善。在处理实际数据时，抗异常值的稳健模型总是首选的。为了实现稳健性模型，需要一个重尾分布作为模型输出的似然函数。拉普拉斯分布是重尾分布的一个例子，它引起了人们对机器学习的一些兴趣。与高斯似然函数相比，拉普拉斯似然函数对异常值的敏感性明显降低，增强了预测模型的鲁棒性。值得注意的是，拉普拉斯分布在指数函数内部有l1标准，这也类似于贝叶斯框架中的l1正则化，用于最小绝对神龛和选择操作符(LASSO)。然而，在BayesianLASSO，拉普拉斯分布被用作输出权重的先验分布，目的是实现一个稀疏模型结构，而一个被用于提议的鲁棒回波状态网络(RESN)被用作模型输出的似然函数，目的是增加贝叶斯回归的鲁棒性。
结合贝叶斯框架和回波状态机制的优点，提出了一种新的混沌时间序列预测模型RESN。Resn的基本思想是在贝叶斯框架下训练ESN，同时用拉普拉斯似然函数代替高斯似然函数，这种似然函数对异常值不敏感，可以增强模型的鲁棒性。然而，拉普拉斯似然函数的引入也不会产生参数估计所需的边缘化似然函数的分析形式。为了解决这个问题，我们采用了一个界优化算法，并推导出一个适当的代理函数，在此基础上拉普拉斯似然函数可以被高斯函数逼近，同时对异常值保持鲁棒性。然后将贝叶斯证据方法应用到RESN训练中，并以完全自主的方式估计模型参数。我们将提供基准时间序列和实际时间序列的实验结果，并与现有的方法进行比较，以证明所提出的方法的性能。
本文的其余部分组织如下。在第二部分，重新审视ESN的基础知识。第三节介绍了主要的结果，并显示了拟议的RESN的细节。第四部分给出了三个实例来说明RESN在混沌时间序列预测中的性能。第五部分是本文的总结。
- 回声状态网络的基本原理
ESN的动态和输出方程如下
其中x(k)为储层内部状态向量，u(k)和y(k)分别为输入向量和模型输出，sig表示储层内部连接权重矩阵，Wx表示储层内部连接权重矩阵，Win表示储层内部连接权重矩阵，w[w1，w2，...，wL]表示储层内部连接权重矩阵输出权重向量，其中L是水库的大小(水库中神经元的数量)。
回声状态网络的核心是一个大型固定的储层，通过适当训练输出权重可以获得期望的输出。该储备库具有大量随机且稀疏连接的神经元，使储备库具有一些特殊的性质，可以很好地解码非线性动力学。Esn中唯一可以训练的部分是输出权重向量w，它可以通过简单线性回归参数确定。
其中
以k作为训练样本的起始指标，假设k是带方差的零均值高斯噪声，n是训练样本的个数。
- ESN的正则化法则
如上所述，确定最优输出权重w是一个简单线性回归任务，通常可以通过使用伪逆来解决。
然而，对于病态数据，伪逆方法往往导致输出权重的无意义估计，从而导致推广能力差。由于噪声项扰动了矩阵t，因此“噪声注入”是改善解的性质的另一种方法。但是，如果矩阵的列多于行，则矩阵t总是奇异的，而且“噪声注入”方法不起作用。对于这样一个不适定问题，正则化方法可以用来获得有意义的解。传统的Tikhonov正则化方法可以写成其中的正则化参数是平衡的质量的近似和复杂性的近似函数。
等式(3)等价于最小化下列目标函数:
为了获得良好的性能，需要有效地确定参数，这就导致了确定一种合适的参数估计方法的问题。交叉验证是一个常用的方法来解决这个问题，但它是昂贵的计算。因此，我们求助于贝叶斯方法来处理线性回归问题。
- 对ESN的贝叶斯回归
贝叶斯回归是原始线性回归的贝叶斯替代方法。该方法避免了伪逆问题的不适定性同时也提供了一种只利用训练数据的自主模型参数估计方法。
为了方便起见，贝叶斯回归假设误差概率地建模为带方差的独立零均值高斯噪声，这意味着训练数据集的似然函数可以写成
上述似然函数由一个验前函数补充在输出权重上，这是由一个单一的参数 alpha;
将似然函数(6)和高斯先验相结合(7)输出重量的后验概率 w 可以是基于贝叶斯规则获得。为了选择高斯先验，p (w |) ，它也是高斯与平均值向量和方差矩阵如下:
这些超参数对于确定模型的整体行为，可以通过证据近似
其中参数gamma;被定义为
方程(9)和(10)是超线性方程的隐式解，可以通过选择参数得到初始值，并且使用它们来计算k和gamma;，然后用等式9和等式10重新评估alpha;和beta;，重复以上步骤直到会聚。
虽然贝叶斯回归可以有效地解决在贝叶斯框架中的线性回归问题和结果方法是完全自治的模型参数估计，它仍然有一个众所周知的缺点高斯噪声模型，它不是鲁棒的异常值。为现实生活数据，估计精度的贝叶斯回归在异常值存在的情况下，可能会被严重破坏。因此，在实践中，一个可以抵抗异常值的稳健模型是需要的。
- RESN
在这一节中，我们将在贝叶斯框架中提出一个RESN。Resn的基本思想是用拉普拉斯似然函数代替贝叶斯回归中的高斯似然函数，这种似然函数对异常值不太敏感。然后，为了使计算过程易于处理，采用了一种边界优化算法，并将拉普拉斯似然函数用高斯函数近似，这将导致一种有效的贝叶斯模型参数估计方法，并保持对异常值的鲁棒性。提出的方法细节如下。
- 具有拉普拉斯似然函数的稳健ESN
如上所述，贝叶斯回归通常假设模型误差是独立的零均值高斯噪声，这通常不是鲁棒的异常值。因此,对重尾分布的假设，比如拉普拉斯分布，是首选的处理真实的数据，以及训练数据集的似然函数可以写成
在输出权重之前，仍然可以假设 w高斯分布
在这里，我们引入了 与L无关的超参数,alpha;=，每个输出重量在 RVM 方法中提出，并将最终负责模型的稀疏特性。
利用似然函数(11)和高斯先验(13) ,一个常见的选择，以确定输出权重 w以及超参数，最大化后侧分布 p (w | y)和边际似然函数P (y | ,)分别用 Bayesian 规则，如下:
其中 p (y)由 p (y | w)和 p (w |)获得。
在 w 上积分
不幸的是，由于拉普拉斯的可能性函数模型输出 y (11) ，没有可用的分析形式后验概率 p (w | y)或边际可能性函数 p (y | ,)。为了解决这个问题，我们转向一个界一个适当的代理函数的优化算法,在此基础上，将导出一个方便的贝叶斯方法模型参数估计。
- 求解RESN问题的边界优化算法
设L(w)为待极大化的目标函数。在界优化算法中，L(w)可以通过迭代最大化代理函数q来优化
通过使用这个程序，得到目标函数的值在每次迭代中，如果 q 满足当 l (w)-q (w | w (t))达到最小值时w = circ;w(t ).
边界优化算法允许我们构造为后验概率提供适当的代理功能和边际似然函数 p (y | ,)可以以封闭形式最大化。为此，我们考虑下面的不平等.
当且仅当 ，其中表示第次迭代时的模型误差。
然后，使用(18) ，我们可以估计出训练数据集的似然函数以下形式:
方程(19)表明了可能性的下界函数是一个方差为/beta;的零均值高斯函数。这种形式便于模型参数估计贝叶斯框架，同时保持对异常值的鲁棒性一个离群值，模型误差会比其他无噪声训练样本大，这产生的小方差的高斯似然函数和降低的重要性
模型的样品。
通过组合(14)、(15)和(19) ，代理函数后验概率 p (w | y)和边际可能性函数 p (y | ,)可以分别作为如下:
这在分析上是易于处理的。
- RESN的参数估计
我们现在将推导贝叶斯证据函数为Resn 中的模型参数估计。
将(11)和(19)代入(20) ，我们得到以下结果后验概率
其中
我们不是最大化后验概率，而是最大化它的对数等价，这导致最佳化问题如下:
通过修正超参数和，我们最大化(26)关于 w，并且有
然后，通过极大化方法估计超参数边际似然函数 p (y | ，，(t)) ，它由 p (y | w，，(t)) p (w |)通过积分 w 导出,我们获得
同样，我们最大化边际似然函数(29)它的等价对数，这是必需的表达式对于证据功能和结果接下来的最佳化问题来说。
通过最大化(31)与超参数alpha;和beta;,我们分别有
程序总结如下：
1)随机初始化内部连接矩阵 Wx和输入权重矩阵 Win，并选择合适的储备池大小的值L，稀疏性,以及 Wx 的谱半径。
2)用代理函数取代后验概率 p (w | y)及边际
似然函数 p (y |alpha; ,beta;)，然后设置t=0和初始化超参数alpha;和beta;。
3)计算输出权重 w (t) ，参数w(t) ,模型训练误差gamma;(t)依次为(2) ，(27) ,及(34)。
4)更新超参数alpha;(t 1)和alpha;(t 1)到(32)和(33)。在迭代过程中，一些alpha;(t 1)趋向于无穷大(它可以通过阈值判断,)。这表示相应的输出权重 w (t 1) 趋向于零，稀疏模型获得。
5)确定超参数的天气情况，收敛与否(如果alpha;和beta;的变化较小超过阈值或达到最大的迭代)。如果没有，让 t 1，然后执行步骤3)。
D.模型比较
几种 ESN 训练方法，包括支持向量具有二次和 Huber 损失的回波状态机(SVESMs)函数，带有贝叶斯回归的 ESN，以及回声状态比较了高斯过程(ESGP)和本文提出的方法然后，对界优化进行了简要比较算法和另一种选择命名为拉普拉斯在这一部分的最后提供了近似值。
Svesm [16]的基本思想是执行线性的高维“储备池”中的支持向量回归状态空间和解决方案受益于优势从结构风险最小化原则，这表明在近似值的质量和近似函数的复杂性的函数可以描述如下:
其中 N是训练数据的大小，L ()是一般损失这个函数可以选择为二次型、 Huber 型或者
其他损失函数, 是正则化参数。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238928]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
