英语原文共 8 页,剩余内容已隐藏,支付完成后下载完整资料
一种鲁棒的向量场学习方法及其误匹配剔除的应用
摘要
我们提出了一种具有离群点的矢量场学习方法,称为矢量场一致性(VFC)。 它可以将内点从离群点中区分开,并同时学习向量对内点进行拟合。基于矢量值再现内核希尔伯特空间中的Tiknonov正则化,采取了先验以增强场的平滑性。在贝叶斯框架下,我们将每个样本与一个隐变量关联起来,该变量指示其是否是一个内点,然后将该问题建模为最大后验问题,并使用期望最大化算法(EM)进行求解。所提出的方法具有两个特征:1)对离群点具有鲁棒性,并且能够容忍90%的异常值,甚至更多;2)计算效率高。作为一个应用程序,我们应用VFC解决误匹配剔除问题。结果表明,我们该方法优于许多最先进的方法,并且非常鲁棒。
- 引言
向量场,又称为矢量场(vector field),是一个由向量函数定义的映射,其对场中每一个位置赋予一个向量,使其满足,这里表示?维实空间。过去的经验工作表明,利用向量值函数之间的关系来学习向量值函数通常会比独立学习输出结果产生更准确的预测。 然而,它在机器学习中受到的关注要少得多。
在正则化理论中讨论了通过在近似函数的类别上假设适当的先验来从稀疏数据计算函数。这个问题是病态的,因为有无数个解。为了使结果平稳地依赖于数据,正则化技术通常对假设空间中的近似函数集施加平滑约束[7]。有一个特别有用的假设空间类叫做再生核希尔伯特空间(RKHS) [1],其中每一个RKHS与一个特定的核(kernel)一一对应;定义于RKHS上的Tikhonov正则化方法以及由其导出的表示定理(representertheorem)在逼近理论和统计学习理论中都有广泛的使用。在这篇论文,我们关注向量值函数的RKHS。文[14]考虑了向量值RKHS框架下的矢量场学习,并且他们推广了Tikhonov正则化的向量值设置的表示定理。 一个扩展工作可以在[2]中找到。他们研究了一种新的类别的正则化核方法来进行向量场的学习,这种核方法基于过滤核矩阵的谱。这些方法有一个先决条件,即给定的稀疏数据不应包含离群点。然而,现实世界的观测总是受到噪声和离群点的干扰,有时候离群点的比例甚至非常大。离群点的存在会破坏传统的矢量场学习方法,因为他们认为所有的采样点都是内点。在这种情况下,应该开发鲁棒估计子,以提供稳定的结果。本文的主要目的是从具有离群点的稀疏数据中学习向量场,以及去除离群点。和传统的方法相比,不同之处在于,我们将每个样本与一个隐变量相关联,该变量指示它是否是一个离群点,然后使用期望最大化(EM)算法找到最大后验概率(MAP)。通过将隐变量视为缺失数据来解决向量场。现在考虑到图1,为了阐明我们的主要观点,我们以消除误匹配为例。如图1(a)所示,蓝线代表内点,红线代表离群点。我们首先将匹配转换为矢量场训练集,如图1(b)所示。图1(c)显示内点。使用传统方法,我们分别从图1(b)和(c)中的训练集获得图1(d)和(e)中的矢量场。显然,图1(d)中的矢量场不是目的,图1(c)中的训练集是事先不知道的。 因此,问题是如何使用图1(b)中的训练集来估计图1(e)中的矢量场,这是我们工作中的目标。还有一个问题,仅考虑图1(b),我们可能会问,为什么蓝色的箭头指示内点,而红色箭头表示离群点。这是因为蓝色箭头在空间域中具有“低频”,并且与先验的平滑度一致。然而,如果地面真相本身包含红色箭头,意味着真正的矢量场在空间域中没有“主导频率”,我们的方法将不适用于这种情况,并且这也超出了我们的工作范围。
图1 鲁棒向量场插值问题。(a)一个图像对和一些SIFT特征点匹配对,其中蓝色和红色的线分别表示正确匹配与误匹配。为方便观察,我们只随机的挑选了50对匹配点来显示;(b)(c)使用所有的匹配点对和仅用正确匹配分别导出的运动场样本,其中箭头的头部和尾部分别对应于特征点在左边图像与右边图像的空间位置;(d)(e)分别使用(b)和(c)中的稀疏样本插值出的整个稠密的向量场。我们采用线积分卷积(line integral convolution,LIC)方法来对向量场进行可视化,其中颜色代表位移场每个点对应的向量的幅值,纹理则代表方向。
-
- 相关工作
Yuille and Grzywacz提出了运动一致性理论(MCT)来平滑向量场[21]。Myronenko and Song推广MCT到点集配准问题,并且在离群点和噪声存在下,它是鲁棒的[16]。这些方法不考虑速度场各分量之间的相互作用。关于矢量场学习的一些最新工作已经完成。 在向量值RKHS的框架下,Micchelli和Pontil学习了向量值函数[14]。 根据他们的工作,Baldassarre等人研究了光谱滤波方法来学习向量场[2]。向量场学习方法除了正则化方法外,还包括支持向量回归[13]和稀疏基场方法[8]。我们提出的矢量场一致性(VFC)方法受到矢量场学习[2]和鲁棒模型拟合[18]的启发。我们工作的主要贡献包括:i)我们提出了一种新的矢量场学习方法,称为矢量场一致性,它可以从具有离群点的稀疏样本中学习矢量场;ii)我们将VFC应用于误匹配剔除,这是计算机视觉中的一个基本问题,结果表明它优于许多最先进的方法。据我们所知,具有离群点的矢量场学习还没有被研究。
-
含有离群点的矢量场学习
- 问题建模
假定为从某个向量场随机采样出的一个样本集合,其中与分别为输入与输出空间,我们的目标是插值出一个映射使其拟合样本集,亦即。,并且我们认为是一个再生核希尔伯特空间(RKHS)[14]。
在下面的假设中,我们不失去一般性,由于离群点的存在,我们需要对作一个鲁棒的估计。为此,我们假设内点噪声为各向同性的高斯白噪声,且协方差为,亦即;离群点服从均匀分布,其中为输出空间的体积。令矩阵和分别表示输入和输出数据,其第?行分别为与,于是我们得到一个混合模型的似然函数
(1)
其中包含所有未知参数集,为混合系数,其指定隐变量的边缘分布,即。注意,这里均匀分布只在一个有界区域内非零,为表述方便我们省略了其指示函数。
考虑平滑约束,的先验可以写成
(2)
其中是一个正实数,为一个平滑泛函。
使用贝叶斯准则,我们估计的一个最大后验解,例如,,其可以等价的转化为最小化如下能量函数(energy function)
(3)
从最优解中我们可以得到向量场,隐变量则可以用于判定内点。
在下一节中我们将介绍如何采用期望最大化算法来求解优化问题。
-
- 期望最大化解法
为了估计混合模型的参数,我们可以选择多种优化方法,诸如EM算法、梯度下降法以及变分法。EM算法为解决这一问题提供了一个自然的框架。其中EM算法是用于处理带隐变量问题的一般方法,其分为E步和M步两步进行迭代。 E步可以解释为具有固定向量场的孤立点检测,然而M步是在概率已知的条件下进行向量场的学习。我们把样本n和对于每一对样本,我们与之关联一个隐变量,其中代表样本点为内点,代表样本点为离群点。
遵循[4],我们采用标准的EM算法并省略掉独立于参数的项,得到如下完全数据对数后验
(4)
E步:我们采用当前的参数值来求解隐变量的后验分布。令为一个对角阵,其中可以采用贝叶斯准则求得:
(5)
后验概率为一个软指派,其指示第?个样本与当前估计出的向量场的吻合程度。
M步:我们通过公式来确定修正参数。考虑到?为对角阵,我们令分别对和求导并令它们为零,得到
(6)
(7)
其中表示矩阵的迹。
在EM收敛后,它应该决定哪些样本是内点。在预定义的阈值tau;下,我们得到了内点集。 当做出如此艰难的决定时,集合是随机采样一致性(RANSAC)[6]中的所谓一致集,因此我们称之为向量场一致性(VFC)。
2.3使用矩阵核的向量场正则化
接下来我们考虑中与相关的项,得到如下正则化风险泛函:
. (8)
这是Tikhonov正则化的一个特殊形式,其中第一项可以视为一个加权的经验误差。于是关于最大化等价于最小化正则化风险泛函。
利用表示定理,正则化风险泛函的最优解具有如下形式
(9)
正则化风险泛函的最优解具有如下形式,且系数由如下线性系统决定
(10)
我们还为VFC提供了一个快速的实现。注意,线性系统(10)中的系数矩阵是正定的,因此可以使用低秩矩阵近似来减少复数。如[17,16]中将复杂度降低到线性。我们称之为快速VFC实现。
算法1:向量场一致性算法(VFC) |
输入:样本集合,核,正则化常数,内点阈值 输出:向量场,一致集(内点) 1 初始化,; 2 令为输出空间的体积; 3 通过公式(2.18)初始化; 4 采用核的定义构造Gram矩阵; 5 重复 6 E步: 7 使用公式(2.17)更新; 8 M步: 9 求解线性系统(2.21)更新; 10 使用公式(2.11)计算; 11 使用公式(2.18)和(2.19)更新与; 12 直到收敛; 13 向量场由公式(2.11)来决定; 14 一致集由公式(2.27)来决定。 |
图2. 完全数据对数后验Q在EM迭代过程中的变化。
- 用VFC算法移除误匹配
为了验证向量场一致性方法的有效性,我们将其应用于误匹配剔除问题。 首先,我们展示了如何将假定的匹配集自然地建模为向量场训练集。然后讨论了应用VFC消除误匹配问题时的一些关键问题。
3.1图像对引入向量场
基于点集的局部特征描述子我们可以得到一个粗略的点集匹配,其每一个元素由一个对应组成,其中和为图像中两个对应点的位置。通常情况下,点集匹配算法的性能依赖于点集所处的坐标系,这里我们采用数据标准化来克服这个问题。具体来说,我们对匹配采用归一化使得两个点集点的坐标均具有零均值和单位方差。假设标准化后的点对应为,我们通过变换将其转化为一个运动场的样本,其中,。
3.2核选择
选择不同的核其相应的RKHS中的范数将具有不同种类的平滑性质。 通常,对于误匹配剔除问题,生成的向量场的结构简单。我们发现可分解核足以解决这个问题,向量场学习问题可以分解为D个本质上独立的标量问题[2]。对于标量核,我们采用高斯核,其中控制空间平滑的程度。对于关系矩阵,我们通过实证分析发现采用单位矩阵即可。
3.3计算复杂度
对于VFC算法,相应的Gram矩阵的大小为,基于表示定理,估计向量场需要求解线性系统(10),其时间复杂度为。对于误匹配剔除问题,我们选择一个可分解的内核。通过重新定义一个坐标系,可以将向量场学习问题归结为求解D个标量正则化问题[2]。这个特定的内核可以将时间复杂度降低到。
在我们目前的执行中,我们只使用MATLAB“slash”算子,它隐式地使用Cholesky分解来逆矩阵。对于FastVFC,其时间复杂度降为 O(mDN),其中m是EM的迭代次数。我们的实验表明,快速VFC比Cholesky分解方法更快,而性能退化很小。
3.4 执行细节
为了数值稳定性,我们强迫。 我们发现,这种技巧加速了收敛,并且在内点比率很低时更加鲁棒。为了数值稳定性,我们定义一个下界,并令矩阵的对角元素小于的值为。在本书中,我们设定为。在VFC算法中存在四个主要的参数,、、和。参数和均反映平滑性约束的程度,其中参数决定样本相互作用范围的宽度,而参数控制函数与数据的拟合程度和函数的平滑程度之间的折中。参数为一个决定点匹配是否为正确匹配的阈值。参数则反映了我们对样本中包含离群点的比例的一个初始估计。一般来说,VFC算法对参数调节比较鲁棒。在本章所有的实验中,我们通过在少量测试图像上调节选取最优参数值,然后固定算法所有参数,其中,,,。另外,均匀分布参数设置为数据标准化后输出空间边界框的体积。
- 实验计划
我们在Mikolajczyk等人[15]和Tuytelaars等人[19]的数据集上测试了我们的方法。第一数据集中的图像对要么是平面场景,要么是采集过
剩余内容已隐藏,支付完成后下载完整资料
资料编号:[236296],资料为PDF文档或Word文档,PDF文档可免费转换为Word
以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。