英语原文共 10 页
来自稳定的极大值区域的鲁棒宽基线立体影像
摘要
研究了宽基线立体影像问题，即从不同角度拍摄的一对图像之间建立对应关系的问题。
引入了一组新的对应图像元素，即所谓的极值区域。极值区域具有非常理想的性质:集在(1)图像坐标的连续(从而投影)变换和(2)图像强度的单调变换下是封闭的。针对极值区域的仿射不变稳定子集，提出了一种有效的(近似线性复杂度)和实用的快速检测算法(近似帧率)。（MSER）
提出了一种新的鲁棒相似度度量方法，用于建立暂态对应关系。鲁棒性确保来自多个测量区域的不变量（通过极值区域的不变结构而获得的区域）与一些明显比MSER更大（从而具有差异性）的区域可用于建立临时的对应关系。在室内和室外场景的图像对的宽基线实验中，证明了MSER的高效性，能够处理多个测量区域并高精度的测量。
在室内和室外场景的图像对的宽基线实验中，多测量区域和高精度的测量证明了MSER的高效用。尺度的显着变化（3.5pound;），光照条件，面外旋转，遮挡，局部各向异性尺度变化和视点的3D平移都是需要测试的问题。随后便能获得对极几何的良好估计（从对应点到对极线的平均距离低于像素间距离的0.09）。
2004 Elsevier B.V.保留所有权利
关键词：宽基线立体影像; 显著地区; 极其稳定的极值区域;MSER; 稳健指标
- 简介
在从不同的相机和不同照明条件下，对观测场景拍摄的两幅图像中找到可靠的对应关系，是3D场景的全自动重建的一个困难且关键的步骤。一个比较关键的点是要求选择对应的元素。在宽基线设置中，局部图像的变形不能通过旋转平移或平移来逼近，并且需要完全仿射模型。因此，不能通过比较固定的（欧几里德）形状（如矩形或圆形）的区域来建立对应关系，因为它们的形状不会被保留在仿射变换下。
在大多数图像中，存在可以以高重复性检测的区域，因为它们具有一些区分，不变和稳定的特性。 一般而言我们认为，数据相关形状的区域，在本文中称为区分区域（DR），可以作为在立体匹配或对象识别中被置于对应的元素。
本文引入了一组新的DR，即所谓的极值区域。 极值区域具有两个理想的属性，首先在图像坐标的连续一对一变换下闭合（且因此而透视），其次，在图像强度的单调变换下闭合。 针对极值区域的仿射不变稳定子集—最极端稳定的极值区域（MSER），提出了一种有效（近线性复杂度）和实用的快速检测算法。特定类型DR的稳健性取决于图像数据，必须通过实验进行测试。 第4节中介绍的室内和室外数据集广泛基线实验的成功证明了MSER的潜力。
稳定的提供可控的图像元素是必要的，但肯定不是成功进行宽基线匹配的充分先决条件。使用两组DR，匹配的问题在对应空间中作为搜索被提出。 由于计算原因，在两组DR上形成完整的二分图并搜索全局一致的对应子集显然是不可能的。 最近，出现了一类具有共同结构的立体匹配和目标识别算法[1,3,7,9,10,13,15,18,20,21]。 这些方法利用局部不变描述符来限制暂定对应的数量。 此阶段的重要设计决策包括：（1）测量区域的选择，即计算不变量的图像部分（2）给定不变描述的选择临时对应关系的方法和（3）不变量的选择。
一般我们用DR或其缩放版本用作测量区域，并且通过使用马哈拉诺比斯距离[14,16,21]比较不变量来建立临时对应关系。 我们提出方法的第二个新颖性，是提出了用于建立临时对应的鲁棒相似性度量来代替马哈拉诺比斯距离。通过相似性来度量的鲁棒性允许我们使用来自一组测量区域的不变量，甚至一些比相关DR大得多的测量区域。 来自大范围区域的测量要么是区别非常明显（不可能非常相似），要么完全错误（例如，取向或深度不连续成为该区域的一部分）。前者有助于建立可靠的暂时（本地）对应关系，后者由于方法的稳定性而受到限制。
寻找与最大数量的暂时（局部）对应关系一致的极线几何（EG）是所有宽基线算法的最后一步。 RANSAC是迄今为止采用最广泛的方法。 所提出的算法采用新的步骤来增加匹配区域的数量和EG的精度。 根据暂定对应关系估粗略的估计EG用于指导搜索进一步的区域匹配。 它将位置限制为极线，并能够估计相应区域之间的仿射映射。 此映射允许使用相关性过滤掉不匹配的映射。 该过程显着提高了EG估计的精确度; 距极线最终的内部平均距离低于0.1像素。 详情请参阅第3节的相关工作。
由于施密德和莫尔的有影响力的论文已经提出了许多图像匹配和宽基线立体算法，其中最常使用Harris兴趣点作为DR。 Tell和Carlsson提出了一种方法，通过连接Harris兴趣点的线段形成测量区域，而测量的特征是尺度不变的傅里叶系数。 Harris兴趣探测器在一定范围内稳定，但没有定义尺度或仿射不变测量区域。 Baumberg采用了Lindeberg和Garding最初提出的迭代方案，将仿射不变测量区域与Harris兴趣点联系起来。Mikolajczyk和Schmid表明，在Harris兴趣点附近可以找到尺度不变的MR。这个方法将方法本身与Baumberg的迭代相结合，以获得仿射不变检测器。Pritchett和Zisserman使用形成线段组且为平行四边形作为测量区域来估计局部同质。Tuytelaars和Van Gool引入了两类新的仿射不变DR，一种基于局部强度极值，另一种使用点和曲线特征。在后一种方法中，DR的特征在于来自椭圆内部的测量，以仿射不变的方式构造。下面描述了“尺度不变特征变换”方法，其产生了兴趣点的尺度和方向不变特征。
本文在剩下的部分定义了MSER，并在第2节中描述了它们的检测算法。在第3节中，给出了一种新的鲁棒匹配算法的细节。 第4节介绍了使用未经校准的相机拍摄的室外和室内图像的实验结果。总结了所提出的实验，并在第5节中对本文的贡献进行了综述。
- 极其稳定的极值区域
在本节中，我们介绍了一种在宽基线匹配中有用的新型图像元素 - 最大稳定极值区域。这些区域仅由该区域及其外边界的强度函数的极值性质定义。
该概念可以非正式地解释如下。想象一下灰度图像的所有可能的阈值I：我们将阈值以下的像素称为“黑色”，将高于或等于“白色”的像素称为“白色”。如果我们看到一部电影的阈值图像它的帧数t对应于阈值t;我们会先看到一张白色图片。随后将出现对应于局部强度最小值的黑点并且增长。在某些时候，对应于两个局部最小值的区域将合并。最后，最后一张图片将是黑色的。电影所有帧的所有连通分量的集合是所有最大区域的集合;通过反转I的强度并运行相同的过程可以获得最小区域.MSER概念的正式定义和必要的辅助定义在表1中给出。
在许多图像中，局部二值化在某些区域的大范围阈值内是稳定的。 这些地区值得关注，因为它们具有以下特性：
对仿射图像强度变换的不变性。
与邻接保持（连续）变换的协方差T：D！ D在图像域上。
“稳定性”，因为只选择了在一系列阈值范围内支持几乎不变的极值区域。
多尺度检测。 由于不涉及平滑，因此检测到非常精细和非常大的结构。
所有极值区域的集合可以在O（n log log n）中列举; 其中n是图像中的像素数。
极值区域的计数如下：首先，像素按强度排序。 如果图像强度集合S的基数很小，则该步骤的计算复杂度为O（n），例如， 典型的{0;...; 255};因为排序可以实现为BINSORT。 在排序之后，像素被放置在图像中（以递减或递增的顺序），并且使用有效的联合查找算法来维护连接的组件及其区域的列表。 union-find实现的复杂性是O（n log log n）; 即几乎是线性的。重要的是，该算法在实践中非常快。 使用Athlon XP 1600 处理器的Linux PC上的MSER检测仅需0.14秒即可获得530 * 350图像（n = 185500）。
该过程产生数据结构，其存储每个连通分量的面积作为强度的函数。 两个组件的合并被视为较小组件的存在的终止以及较小组件的所有像素插入较大组件。 最后，选择作为面积函数的变化率的局部最小值的强度水平作为产生MSER的阈值。 在输出中，每个MSER由局部强度最小值（或最大值）的位置和阈值表示.MSER的示例在图1,2和5中示出。
笔记：尽管这组极值区域与图像域的任何一对一连续变换协变，因此与射影变换协变，但是最大稳定子集的选择过程是仿射协变。 因此，MSER仅是仿射协变。
上述算法和有效分水岭算法的结构基本相同。但是，两种算法的输出结构是不同的。分水岭是D的分区;即一组区域Ri：Ri = D; Rjgt; Rk = 0。在流域计算中，重点是区域合并（和两个流域接触）的阈值。这样的阈值在这里没什么意义，因为它们非常不稳定 - 在合并之后，区域区域跳跃。在MSER检测中，我们寻求一系列阈值，使流域盆地保持不变。 MSER的检测也与阈值有关。每个极值区域都是阈值图像的连通分量。但是，没有寻求全局或“最佳”阈值，测试所有阈值并评估连接组件的稳定性。 MSER检测器的输出不是二值化图像。对于图像的某些部分，存在多个稳定阈值，并且在这种情况下输出嵌套子集的系统。最后，我们注意到MSER可以在任何图像（甚至是高维）上定义，其像素值来自完全有序的集合。
- 提出的鲁棒宽基线算法
区域检测： 作为第一步，检测DR-在强度图像（MSERthorn;）和反转图像（MSER2）上计算的MSER。
测量区域如果构造是仿射协变的，则任意大小的测量区域可以与每个DR相关联。 较小的测量区域更可能满足平面性条件而不是跨越深度或方向的不连续性。 另一方面，小区域的判别力较小，即它们不太可能是独特的。增加测量区域的大小具有在所考虑的两个图像中包括完全不同的背景的部分的风险。显然，MR的最佳尺寸取决于场景内容，并且每个DR的不同。 在，Tuytelaars和Van Gool使椭圆DR加倍，以增加可辨性，同时保持跨越物体边界的概率在可接受的水平。
在所提出的算法中，以多个尺度选择测量区域：DR本身，DR的1.5,2和3倍缩放凸包。 由于匹配是以稳健的方式完成的，因此我们受益于大区域的独特性的增加，而不受DR的原像的混乱或非平面性的严重影响。 这是我们方法的新颖之处。 通常，马哈拉诺比斯距离已经用于MR匹配。然而，该度量的非稳健性意味着匹配可能由于单个损坏的测量而失败（这发生在下面报告的实验中）。
不变的描述：在所有实验中，在应用对角化DR的区域协方差矩阵的变换之后使用旋转不变量（基于复矩）[8]。 结合起来，这是一个非常不变的过程。 旋转和仿射不变的广义色矩[12]的组合给出了类似的结果。 由于大规模变化的问题，仿射不变量本身就失败了。
强大的匹配： 从具有稳定不变描述的几乎平面的场景片段获得的测量将被称为“良好测量”。 不稳定的测量或在非平面表面上或在深度或方向上的不连续处计算的测量将被称为“损坏的测量”。
如下计算鲁棒相似性。 对于区域A上的每个测量MAi，k区域B1;...; Bk从另一个图像中得到相应的第i个测量值MBi;...; 找到离MAi最近的MBki，投票表明A和B1的对应关系;...; Bk。投票总结了所有测量值。
具有最多票数的DR是暂定对应的候选者。 在实验上，我们发现k设定为区域数量的1％会产生良好的结果。 区域的数量通常在102-103范围内，因此k在1和10之间。在当前实现中，每个比例的216个不变量，即总共864个测量值被使用（i属于 [1; 864]，i贯穿 所有尺度和所有不变量）。 216个旋转不变量在[8]中有详细说明。 四种尺度的选择是通过反复试验和速度与性能之间的折衷来实现的。
由于不变量及其噪声的分布依赖于图像，因此对程序分析成功的概率并不高。 因此，我们只假设损坏的测量值随机扩散他们的值，而不是有倾向性的投票，并且良好的测量结果更有可能投票给正确的匹配。
使用不变的暂时相关性描述作为初步测试。 最终选择的是基于相关性的临时对应。 首先，应用对角化DR的协方差矩阵的变换。 得到的圆形区域是相关的（对于所有相对旋转）。 对于不同大小的圆，在极坐标中有效地完成该过程。
通过将RANSAC应用于DR的重心来估计粗略的EG。随后，通过以下过程显着改善EG估计的精度。首先，计算可能对应的DR对之间的仿射变换，即与粗略EG一致的DR。协方差矩阵的对应定义了直到旋转的仿射变换。旋转由极线[2]确定。接下来，修剪DR对应关系，并且仅选择具有高于阈值的变换图像的相关性的那些。在下一步中，再次应用RANSAC，但这次的阈值非常窄。 EG的最终改进是通过添加RANSAC内部DR对来实现的，其中凸包中心是EG一致的。通常，DR的微小差异使得它们的重心与精细EG不一致，但是凸包的中心足够精确。通过八点算法（没有束调整或径向失真校正）线性估计的最终EG的精度令人惊讶地高。极线距离极线的平均距离小于0.1像素，见表3。
- 实验
进行了以下实验：
书架（图1）。 书架这个场景在非常大的规模变化下测试性能。左视图中的相应DR仅限于图像的一小部分，因为其余部分在第二视图中不可见场景。在特写镜头中，检测到的特征的不同分辨率非常明显。
Valbonne（图2）。这个室外场景已在文献[13,14]中进行了分析。存在诸如砖的重复模式。两个视图中可见的场景部分覆盖了图像的一小部分。
洗净（图3）。该图像集的结果已在[21]中提出。相机经历了显着的平移和旋转。显着违反了排序约束，对象出现在不同的背景上。
Kampa（图4）是城市户外场景的一个例子。变化的天空覆盖了相对大部分的图像。重复窗口使匹配变得困难。
圆柱形盒子（图5，顶部和底部左侧）显示了纹理地板上的金属盒。盒子上匹配的区域展示了非平面表面上的性能。使用闪光灯拍摄的第二张图像中存在明显的照明变化和强烈的镜面反射（这大大减少了MSER 的数量）。
喊（图5，右
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
