英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
一种用于手写数字图像识别的最优权值学习机
摘 要
本文针对单隐层前馈网络提出了一种最优权值学习机，并将其应用于手写数字图像识别中。通过批量学习的最小二乘法，可以看出SLFN的输入权值和输出权值都是全局最优的。所有特征向量的分类器可以放在规定的位置在特征空间的可分性的非线性可分模式可以最大化,和高度的识别精度可以达到小SLFN隐藏节点的数量。通过对MNIST数据库和USPS数据库中手写数字图像的识别实验,验证了该方法的有效性和良好的性能。
关键词 神经网络; 最优权值学习特征空间; 手写数字识别正规化
1.介绍
近20年来，基于神经网络的模式分类技术在手写体数字图像识别中得到了广泛的应用[1-5]。图像识别的神经分类器的优点是由于(i)他们的强大的学习能力,通过培训,从大量的训练数据,(ii)他们的能力准确地逼近未知函数内嵌有复杂动力学的训练数据,和(iii)并行结构进行快速、高效的并行计算在培训以及图像识别的过程。
研究发现，大多数手写数字识别的神经模式分类器都是利用多层神经网络设计的，并使用基于递归梯度的反向传播(BP)算法进行训练，以实现预识别过滤，特征提取和模式识别。由于BP训练过程耗时长，收敛速度慢[6-10]，这些类型的神经分类器很难在许多需要快速在线训练的实际应用中使用。此外，现有的神经分类器大多要求在其隐含层中隐藏大量的节点，以获得特征空间中高度可分的特征。这样的要求，实际上会大大增加神经分类器硬件的物理尺寸以及实际训练时间。
针对上述问题,研究人员在模式分类和计算智能领域的探索新类型的单隐层神经分类器,少量的隐藏节点,快速训练算法来满足工业需求,如小型的硬件和容易实现在工业环境中。最先进的神经分类器之一是[11-13]提出的基于单隐层前馈神经网络的分类器，该分类器的输入权值和隐层偏差是随机的，输出权值的计算采用广义逆隐藏的输出矩阵。虽然许多学者已经研究了具有随机权值的神经网络[11-16]，但将SLFN分类器的输入权值随机化的理论背景可以追溯到蒙特卡罗方法[13]的泛函逼近。由此可见，如果一个连续函数可以用一个极限积分来表示，那么这个极限积分就可以用一个加权激活函数的和来近似，这些加权激活函数是一个参数向量在极限积分域中的一组随机样本的函数。随着参数向量随机样本数目的增加，蒙特卡罗近似的精度可以进一步提高。显然,这种蒙特卡罗近似可以实现通过使用一个SLFN,激活函数在蒙特卡洛近似可以用非线性隐藏节点,参数向量一直在蒙特卡洛随机抽样近似是输入重量和偏见隐藏层,和输出权重SLFN扮演的权重在蒙特卡洛近似。具有随机输入权值和训练输出权值的SLFNs的全局逼近能力在文献[11,13,16]中有报道。
批量学习实际上已经被用于训练神经网络很多年了[6,7]。与基于逐个样本的递归学习方法不同，批处理学习同时使用所有的训练样本来获得最优权值。如果给定的训练样本集能够充分表示未知的待学习复杂系统的动态，则批量训练得到的权值是全局最优的。因此，在批量学习过程中，避免了递归学习方案中经常出现的收敛速度慢和局部极小的问题。我们注意到，对于带有随机权值和隐含层偏差的SLFNs，只有输出权值经过批量学习训练。因此，与现有的所有递归学习算法相比，训练速度非常快[1-10]。近年来，这种针对具有随机输入权值和隐层偏差的SLFNs的批量学习技术被称为极限学习机(ELM)。
然而，回到模式分类的现实，研究人员已经注意到使用ELM的许多深思熟虑的问题。例如，对于如何选择随机输入权值的上界和下界，以及如何选择隐含层偏差，都没有提出任何指导意见。研究人员使用试错法来确定随机输入权重的界限。在许多情况下，随机输入权值的上界和下界分别被简单地设置为-1和1，这导致了特征向量的元素是-1或1，因为sigmoid隐藏节点的数量非常大。这类的优势上界和下界的选择随机输入重量和隐层的偏见是生成的特征向量的隐藏层SLFN可以广泛传播在高维特征空间在大多数情况下,和输出层,模式分类器,可以很容易地识别出由相应的模式特征向量。然而，研究人员仍在尝试设计最优的输入权值，使特征向量的可分性最大化，增强特征向量对输入扰动变化的鲁棒性，从而进一步提高分类/识别精度[17]。
摘要针对一类具有线性节点和输入延迟线的SLFN分类器，设计了一种最优权值学习机。借贷的概念模型参考控制控制工程[18],我们使用SLFN与非线性隐藏节点分类器,训练与[11]ELM,参考提供的参考特征向量的分类器的输出的隐藏层提出SLFN分类器。然后对输入权值进行优化，将神经分类器的特征向量分配到由参考特征向量定义的“期望参考位置”，使特征空间中所有特征向量的可分性最大化。在输出权值的优化方面，可以进一步提高SLFN分类器输出层的识别精度。将看到的输入权值和输出权重提出SLFN分类器进行了优化利用正则化理论(6、7、19)和(i)的结果之间的误差参考特征向量和特征向量生成的输出的隐藏层的新分类器是全球最小化;(ii)通过用代价函数中的正则项平滑特征向量相关矩阵的奇异点，避免了特征向量相关矩阵的奇异性;(3)通过调整正则化参数，降低了SLFN分类器对输入扰动的敏感性;(iv)最重要的是，在新的SLFN分类器中，只需要少量的隐藏节点，就可以实现手持式数字图像识别的高识别精度。
论文的其余部分组织如下:在第2节中，阐述了蒙特卡罗近似的概念和ELM的基础。在第三节,SLFN与线性分类器节点和抽头延迟线描述,输入重量和输出权重的优化与正规化理论详细探讨,和正规化的影响参数对SLFN分类器的分类性能也进行了研究。在第4节中，我们比较了使用OWLM、ELM和R-ELM的SLFN分类器，以说明使用OWLM的SLFN分类器对手写数字识别的有效性。第五部分给出了结论和进一步的工作。
2.问题的公式化
考虑一个数据集，它来自一个手写的感兴趣的数据基，其中N个输入模式数量, hellip;),和N个输出数据向量 hellip;)各自地,
=[ .. (2.1)
和
=[ .. (2.2)
for i=1,2...,N.
假设上述输入模式向量和输出数据向量由以下未知连续向量函数生成:
t(k)=f(x(k)) (2.3)
和
f(x(k)) =[ (2.4)
f(x(k))的第i个元素用极限积分[13]表示:
= T[] (x(k))dw （2.5）
其中L为标量参数，w为高维参数向量，G为激活函数，T为算子，V为参数向量w的域。
为了计算(2.5)中的极限积分所表示的f(x(k))，可以将(2.5)的右边近似为:
T[ (w)] (x(k))dwasymp; T[] (x(k))dw （2.6）
其中lasymp;a,考虑到式(2.6)中被积函数的复杂性，我们采用蒙特卡罗方法[13]来近似式(2.6)的右边:
asymp; T[ (w)](x(k))dwasymp;[] (x(k))
= (2.7)
和
=T[ （2.8）
需要注意的是，向量在(2.7)，(2.8)都是均匀地从V中抽取的随机样本。另一方面，可以看作是均匀分布在V[13]上的一组随机变量向量。
因此，函数f(x(k))可以数值近似为
f(x(k))= = (x(k))
（2.9）
和
beta;=[ hellip;] （2.10）
=[ hellip; ] （2.11)
w=[ ] (2.12)
和
=[ ... (2.13)
根据[13]中的讨论，很容易确定(2.9)中的近似误差为m/的阶数，因此近似误差在→infin;时收敛为0。
2.1: 功能近似使用(2.9)中的蒙特卡罗方法可以实现通过使用multiple-inputs-multiple-outputs (MIMO) SLFN非线性隐藏节点,和随机输入权重和隐藏层偏见,如图1所述,m线性输出层的节点,隐藏层有非线性节点非线性激活函数=1/(1 exp(-x))和gt;0,(for i=1,..,和j=1,...,n)是随机输入权重,(for i=1,...,)是隐藏层的随机偏差,beta;ij(for i=1,...,m和j=1,...,)是优化后的输出权值, (for i=1,...,)是隐藏节点的输出。
如图1所示，SLFN的输入和输出数据向量可以表示为
x(k)=[x(k) x(k-1) ...x(k-n 1) (2.14)
o(k)=[,,... (2.15)
第i个隐藏节点的输出可以计算为
=G(x(k-j 1) ) = G( ) (2.16)
For i=1,...,,，和
= (2.17)
网络的第i个输出，,是这种形式:
(2.18)
for i=1,...,m,和
w=[] (2.19)
和
Gw(x(k))=[G(x(k) ),hellip;, G(x(k) )] (2.20)
因此
o(k)=[,,... =Gw(x(k)) (2.21)
图1所示 同时具有随机输入权值和随机隐含层偏差的SLFM
beta;=[ ] （2.22）
2.2：在过去的20年里，许多研究都是使用图1中的SLFNs，同时使用随机输入权值和随机隐含层偏差来进行模式分类。已经注意到，只有当隐藏节点的数量足够大时，才能获得良好的性能[11-13]。在[11,12]中，针对给定的一组训练数据对，采用批量学习的方法在随机输入权值和随机隐含层偏差的情况下训练SLFNs的输出权值。由于输出权值的批量训练速度极快，可以获得全局的最小训练误差，因此这种具有随机输入权值和隐层偏差的SLFNs的批量学习技术被称为极限学习机(ELM)。ELM的基本情况简述如下:
考虑一组具有N个输入模式向量 hellip; 和N个期望输出向量 hellip; )的训练对.N个输入模式向量,输出向量,,...可以生成根据(2.20)如下
Gbeta;=O （2.23）
和
G=
（2.24）
O=[,,... ] （2.25）
如果我们让它
= ,=,...,= , （2.23）
可以写成
Gbeta;=T （2.26）
和
T=[ ,hellip;, )] （2.27）
通过求解(2.26)，得到最优输出权矩阵为:
beta;=G T （2.28）
其中，G 为矩阵G的摩尔-彭罗斯广义逆
图片2-4显示手写数字的识别结果1使用SLFN分类器训练有素的ELM,在SLFN的隐藏节点分类器的数量是10个,50岁,到100年,分别训练数据和测试数据都是随机选择从MNIST数据库[5]。
可以看出，当隐藏节点的数量非常小的时候，比如10个,识别精度只有36%左右。但是随着隐藏节点数量的增加，识别精度逐渐提高。例如，当隐藏节点数分别为50和100时，识别正确率分别为67%和78%，如图3和图4所示。
2.3: 与传统特征向量的概念不同，传统特征向量包含了对应输入模式向量的主要信息
图2所示 使用经过ELM训练的包含10个隐藏节点的SLFN分类器识别手写数字
图3所示 使用经过ELM训练的包含50个隐藏节点的SLFN分类器识别手写数字
图4所示 使用经过ELM训练的100个隐藏节点的SLFN分类器识别手写数字
来自具有ELM的SLFNs输出层的特征向量与输入模式几乎没
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[607118]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
