英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
立体匹配中代价聚合的再探讨：我们可以减少多少它的计算冗余？
Dongbo Min Jiangbo Lu Minh N. Do
新加坡，先进数字科学中心
美国伊利诺伊大学厄巴纳-香槟分校
dbmin99@gmail.com,Jiangbo.Lu@adsc.com.sg,minhdo@illinois.edu
摘要
本文提出了一种在立体匹配中产生有效代价聚合的新方法。代价聚合问题是以直方图的形式二次展示的，并且使得我们有可能显著地降低代价聚合的复杂度。与之前尝试从图像大小和匹配窗口角度降低复杂度的方法不同，我们的方法着重于减少搜索范围内的计算冗余，这是对所有视差假设进行重复滤波所造成的。此外，我们还利用匹配窗口内高效采样方案降低了基于窗口滤波的复杂度。在提出的方法中所使用的参数广泛地研究了基于精确度和复杂度之间的平衡。实验结果表明，该方法可以生成低复杂度的高质量视差图。这项工作为复杂度约束的立体匹配算法设计提供了新的见解。
1引言
从立体图像对进行深度信息的计算一直是计算机视觉领域中最重要的问题之一[1]。通常，立体匹配方法可以根据用于计算的策略分为两种（全局和局部）。众所周知，与全局方法相比，局部方法在实际使用中要快得多并且更加兼容。但是，提供高质量视差图的主流局部方法的复杂度仍然很高。在本文中，我们探讨了局部方法中代价聚合的计算冗余并提出了一种用于产生高效代价聚合的新方法。
基于匹配窗口中的所有像素具有相似视差的假设，局部方法测量参考像素 匹配窗口内的强度值之间的相关性。其表现形式高度依赖于如何为每个像素找到最佳窗口。局部方法的一般步骤如下。例如，当使用截断绝对差来计算左视差图时，首先通过使用左图像和右移位右图像来计算视差假设的每个像素代价。然后通过每个像素代价的自适应聚合来计算聚合代价。对于所有视差假设，重复该过程会产生很高的复杂度。胜者为王算法最终被用于寻找所有视差假设中最好的一个，如下所示：其中和分别为左和右彩色图像。
每个像素的代价用阈值截断，以限制异常值对不相似性测量的影响。请注意，也可以使用其他不相似性测量方法，例如不相似性测量[2]，变换[3]或归一化互相关。
2准备工作和工作方向
为了获得高质量的视差图，通过定义加权函数来提出许多局部立体匹配方法，其加权函数可以间接地测量像素和之间的视差值的相似性。 和[4]提出了一种利用颜色和空间相似性度量与相应彩色图像的自适应（软）权重方法，并且它可以被看作为联合双边滤波的变体[10]。它很容易实现并提供高精度，但由于其加权函数计算的非线性，因此具有巨大的复杂度。基于颜色分割的代价聚合[5]也假设同一个分段内的像素可能具有相似的视差值。基于交叉的方法[6][7]使用了一个形状自适应窗口，该窗口由多个水平线段构成，并跨越几个相邻的行。匹配窗口的形状是基于颜色相似性和间接连接性约束来估计的，并且最终使用硬加权值（1或0）。
一般来说，代价聚合的复杂度可以表示为，其中和是图像的大小，和表示匹配窗口的大小和搜索范围，即视差假设的数量。为了降低代价聚合的复杂度，已经就图像和匹配窗口的大小提出了许多算法。和[8]提出了一种新的多尺度方法来确保可靠的代价聚合。他们试图通过在粗略图像和代价域上使用较小的匹配窗口来降低复杂度。等人[9]通过使用双边滤波器的近似值来降低自适应支持加权方法的复杂度[11]。复杂度与匹配窗口的大小无关，但双边网格中使用的灰度图像会导致质量损失，因为当计算加权函数时，它不能完全保留颜色矢量的判别能力。
在本文中，我们广泛探讨了代价聚合的原则，并提出了一种有效实现代价聚合的新方法。与通过使用多尺度方案[8]或信号处理技术[9]来试图降低图像尺寸和匹配窗口方面的复杂度的传统方法不同，我们的方法着重于减少在搜索范围中存在的冗余，其是由对于所有在中视差假设重复计算引起的。此外，基于窗口滤波中存在的冗余也同样被利用。我们将证明在匹配窗口内提出的空间采样方案可以显着降低复杂度。最后，对所提出方法中使用的参数基于准确度和复杂度的平衡性进行了广泛的研究。
3高效代价聚合
3.1代价聚合的新公式
对于局部方法，代价聚合是最重要但最耗时的部分。在本文中，我们重新制定了代价聚合问题的，如下所示：
在应用相同的步骤之后，通过寻找与解法相同的的最大值来计算输出视差值。重新定义的可能具有较大的值，因为视差假设d接近真实视差值。在本文中，我们将定义为可能性（证据）函数，因为它表示像素对于特定视差假设具有的可能性。我们通过在中省略归一化项来进一步修改代价聚合的公式。这种修改不会影响代价聚合的精确度，因为对于每个像素的视差值计算是独立的，其中对于所有，该归一化项是固定的。然后将聚合的似然性定义如下。
它与直方图具有类似的表达式，该直方图表示给定数据中连续（或离散）值的概率分布。一般而言，直方图的每个分箱可以通过计数该组数据中对应的观测值的数量来计算。类似地，给定相邻像素的数据集，通过用对应的对分箱进行计数来计算参考像素的第个分箱值。由于单个像素与一组多个数据相关联（即，针对所有分箱的），所以可将聚合似然函数称为松弛直方图。
基于直方图的聚合所提出的另一个特征是加权函数的使用。如前文所述，加权函数对于视差值可能相似的相邻像素的信息收集发挥了重要作用。在本文中，我们使用基于颜色和空间距离的相似性度量如下[4][8]：
由于颜色相似性是通过使用相应的彩色图像来测量的，因此它与共同双边滤波具有相似的原理[10]，其中权重是使用与要滤波的信号不同的信号来计算的。该特性使联合直方图可以扩展为加权滤波，并支持颜色判别能力。在下面的章节中，我们将描述两种降低构建联合直方图复杂度的方法。
3.2第一个近似值：搜索范围似然值的紧凑表示
最近，几种使用由立体匹配中的复杂形式构成的数据紧凑表示的方法已经被提出。等人[12]提出了一种新的包络点变换方法，其通过应用主成分
图 1. 局部/全局最大值视差候选
分析来压缩用于置信传播的信息[15]。等人[13]计算可靠匹配像素的视差假设的子集，然后在公式中传播它们以计算不可靠像素的子集。杨等人[14]提出了减少搜索范围的方法并将其应用到层次置信传播中[16]。或高斯混合模型可以用于紧凑表示，但所有像素的压缩是耗时的。
基于颜色和空间距离的加权函数已被用于获得精确的视差图，如 。因此代价聚合成为非线性滤波，其复杂度非常高。在本文中，我们提出了一种新的方法来从放松联合直方图的角度降低复杂度。我们的主要想法是基于具有低值的不提供对基于直方图的聚合的真实信息支持的假设，从而找到每个像素似然性的紧凑表示。
在本文中，我们从紧凑表示的每个像素似然值中提取局部极大值的子集。为了抑制噪声，每个像素的像素似然值用5times;5盒窗口预滤波。预滤波是针对所有视差假设完成的，但是在使用空间采样方法的情况下其复杂度是微不足道的，这将在下一节中描述。局部最大值通过使用预滤波似然函数的分布来计算。然后按降序对它们进行排序，并最终选择预定义数量的视差候选项。如果局部最大值小于，则选择与第二，第三（以此类推）最高似然相对应的值。图1显示了针对lsquo;Teddy#39;立体图像的视差候选选择的示例，其中视差假设的数量是60。新的聚合代价仅用视差假设的子集来定义。
其中是尺寸为的视差假设的子集。值得注意的是，对于所有像素都不相同。表示5times;5框窗口的预滤波似然值。图2解释了传统的代价聚合方法和所提出的方法之间的差异。当匹配窗口的大小设置为时，常规方法对所有像素和视差假设实行非线性滤波，因此复杂度为。相比之下，所提出的方法将信息性的每个像素似然值（其大小为）的子集转变
图 2. 代价聚合：（a）传统方法针对所有视差假设执行具有（或不具有）彩色图像的非线性滤波：O（HWBD）。（b）提出的方法计算视差假设的子集，其大小为Dc（D），然后执行基于直方图的联合聚合：O（HWBDc）。
为，其复杂度为。而且，由于在联合直方图中未使用归一化项，所以复杂度进一步降低。我们将在实验结果中展示局部最大值子集的紧凑表示在保持高精度的同时有助于降低复杂度。
3.3第二近似值：匹配窗口的空间采样
降低复杂度的另一个来源是匹配窗口内的空间采样。根据匹配窗口的大小，精度和复杂度之间有一个平衡点。一般来说，使用大的匹配窗口和定义良好的加权函数来获得高质量视差图会造成高计算复杂度[4][8]。在本文中，我们用匹配窗口内的空间采样方案来处理这个问题，与之前使用信号处理技术的工作不同[9]。
图 3. 匹配窗口的空间采样：（a）参考像素p非独立采样，（b）参考像素p独立采样。
许多方法都使用了平滑假设，即除了在边界附近，物体内部的视差变化平滑。通常需要一个大窗口进行可靠匹配，但这并不意味着匹配窗口内的所有视差值在位于相同对象中的情况下可能类似的视差值应该被全部使用。
该观察表明，匹配窗口内的空间采样可以降低基于窗口的滤波的复杂度。更具体地说，匹配窗口内的稀疏样本足以收集可靠的信息。理想情况下，可以根据像素的似然值对像素进行分类。然而，根据匹配窗口内像素的差异值对它们进行分类是不可能的，这应该最后计算。颜色分割对于分组像素可能是一个很好的选择，但是对于实际实施来说，分割耗时并且不可行。
在本文中，提出了一种简单而有效的空间采样方法。匹配窗口内的像素被有规律地采样，然后只有采样的像素用于中的联合直方图聚合。彼此靠近的相邻像素可能具有相似的视差值，因此只要使用一定距离的像素，有规律采样的数据就足以确保可靠匹配。如图3所示，空间采样有两种方式：参考像素非独立和独立采样。非独立采样可以定义如下：
其中是捕获采样率的匹配窗内有规律采样的像素的二进制函数。如之前提到的，应用5times;5窗口的预滤波来抑制视差候选中的噪声。为了计算局部最大值而保存了所有视差假设的似然性分布，因此应该构建体积的以用恒定时间盒滤波执行有效的预滤波。但是，它会导致需要大量的内存（对
图4.当S=3和Dc=6时，通过两个采样方法对lsquo;Conersquo;图像计算的视差图示例：
（a）p非独立采样，（b）p独立采样。 处理时间为3.58s（=3.01s 0.57s）和0.91s（=0.34s 0.57s）。
于体积）。例如，一对具有300个视差候选的(1920times;1080)图像需要 来存储浮点代价体积，这使得其难以在或嵌入式系统上有效地执行算法。因此，我们每次计算不相似度量，而不是保存预先计算的每个像素的似然性。换言之，恒定时间或可分离盒滤波的方法未被使用。然而，与基于联合直方图的聚合相比，这导致相对高的复杂度。例如，当图4（a）中的lsquo;Conersquo;图像的 和时，包括相异度量，盒滤波和局部最大值计算/排序的视差候选选择的处理时间（3.01s）比基于联合直方图的成本汇总的时间（0.57s）长得多。
参考像素独立采样可以处理这个问题。如图3（b）所示，我们的新采样方案可以定义如下：
其中也是一个类似于的二元函数，但不依赖于参考像素。所有参考像素都由相同的有规律采样的相邻像素支持，因此我们可以用采样率的因子来减少视差候选选择的复杂度。首先测量不相似度，然后针对每个像素计算视差假设的子集。值得注意的是，采样率仅与相邻像素的采样有关。表1给出了该方法的伪代码。
表 1. 有效可能性聚合的伪代码。
参数定义
HW: 图像I的大小
B: 匹配窗口的大小N（p）（= Mtimes;M）
SD: 大小为D的视差假设集合
SC: 尺寸为Dc的视差假设的子集
S: 匹配窗口内的采样率
算法：有效的似然性聚合
视差候选选择
复杂度: ()
对于满足且的所有像素而言
1：将所有的预滤波似然函数初始化为0。
对于所有视差候选者
对于满足 的所有相邻像素
2：计算每个像素似然性和(盒滤波)
结束
结束
3：用关于的局部最大值计算
结束
基于联合直方图的聚合
复杂度: ()
对于所有参考像素 全文共10678字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14648]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
