英语原文共 16 页，剩余内容已隐藏，支付完成后下载完整资料
基于样例的图像修复：技术评审和更好的新启发式几何重建算法
Pierre Buyssens, Maxime Daisy, David Tschumperleacute;, 和 Olivier Leacute;zoray
摘要 - 本文提出了基于样例的图像修复方法的技术评审，特别关注贪婪算法。 提供了几个有比较性和说明性的实验来对这些方法进行深入探索以及得到启发，并更好地了解这些方法的最新改进方向。从这个分析中，对Criminisi等人的算法进行了三项改进，然后进行了详细介绍：1)用于更好地选择要填充的像素候选项的基于张量的数据项; 2)快速样本块查找策略，以确保更好的全局一致性重建; 和3）一种新颖的快速各向异性空间混合算法，该算法使用张量模型来减少典型的块伪影。我们提供了与最先进的图像修复方法的相关比较，显示了我们贡献的有效性。
索引词 - 基于Exemplar的图像修补，结构张量分析，匹配块查找策略，各向异性空间块混合。
I.介绍
图像修复，也称为“隔离”，“填充”或“图像完成”，是指恢复在图像中缺失或损坏的部分，以使得到的图像看起来尽可能自然。它不同于其他常见的图像处理技术，如去噪，因为去色部分（通常称为淹模或孔）是完全未知的。近年来出现了许多用于图像修复的应用程序：用划痕，删除文本或徽标来恢复图像，插值以及更复杂的应用程序，例如删除物体或人物。
自2000年以来，对这个主题的深入研究导致了各种各样的修复算法。最近在[1]中提出了对这些问题的一般性回顾。它们大致可以分为两种主要方法：基于几何的和基于样本块的方法。尽管基于几何的方法超出了本文的范围，但我们在第二部分简要总结了它们，因为它们是文献中提出的较早的修复方法，并且它们启发了第三节中描述的一些混合方法。基于样本块的方法使用样本块来分析图像内容，并且包括基于稀疏性的方法和基于样本的方法的子集。与基于稀疏性的方法相反，基于样本的方法也使用图像内容（即，样本块）来重建缺失的数据。它们主要以样本块的复制/粘贴方式进行，或者通过在像素级修补方案中混合多个匹配块来进行。
在本文中，我们关注基于样本的方法，我们的贡献有两方面：
首先，我们提出一个基于样本的修复方法的综述。 Crimini等人的开创性算法。 [2]是详细的，并提出了对最新派生作品的技术评论。
其次，我们建议开发和收集我们以前的调整[3]，[4]这个算法到一个统一的框架。 特别是我们在本文中提出了一种张量定向扩展，我们以前的各向同性补丁混合算法[3]减少了贪婪修复方法的典型重构伪像。
在进入基于样例的方法评论之前，我们通过简要总结基于几何和基于稀疏的方法，在第二节中提供图像修复技术的分类。 我们也短暂地讨论纹理合成的主题，因为基于样例的方法的重要考虑来自这个领域。
然后我们在第三部分中提出基于试验的修补方法的技术评审。我们在第四节中介绍了对我们所做的原始方法的三种不同调整，并且表明它们明显改善了修复结果的几何一致性。这些修改中的每一个都与适当的最先进的方法进行了比较，第
五部分对几个难以处理的实例进行了视觉改进。第六部分结束了论文。
II.修复方法分类
A.基于几何的方法
图像修复的概念可以与插值的概念密切相关，因为两者都旨在从已知的函数中确定函数的未知值。各种类型的几何意识插值图像是第一个引入的方法，并已在[5] - [13]中提出了使用各种不同的技术：[6]中的等级线完成，使用变分或偏微分方程（PDE）的各向异性扩散在[5]，[7]和[12]中使用曲率[8]，相干传输[13]和一些基于图像的统计功能的最小化来最小化总变化[10] [11]，[14 ]，[15]。这些技术引入了光滑度先验并倾向于将面罩外部的局部结构传播到内部。
它们通常在全局几何一致性方面提供有趣的结果。但是，它们主要不能重建大尺寸的纹理，并倾向于重建平坦的图像。这种方法可以更好地适应小的遮挡而不是大的遮挡，或者处理由部分连续的图像（卡通形式）。它们有时被用作更复杂的混合修复方案的组成部分，详细内容将在后面的章节中详细介绍。
- 基于稀疏性的方法
基于稀疏性的修复方法利用了给定变换下图像中存在的自然冗余[16] - [19]。他们假设图像可以在给定的基础上（小波，框架，DCT ...）稀疏地表示，然后根据这种稀疏分布对缺失部分的合成进行优化。根据图像的实际内容（边缘，纹理，...），词典的选择可能是至关重要的。在[16]中，图像首先被分解为卡通和纹理组件。两者的修复分别用分段线性多项式函数和DCT基础进行处理。 如第III-C部分所示，这种分离也用于混合方法。基于稀疏性的修复方法主要来源于图像去噪方法[20]，当缺失部分在图像上较小，较薄或稀疏分布时（如噪声），可以显示出令人印象深刻的结果[18]。 无论如何，它们主要无法重建包含宏观纹理的图像点。
C.纹理合成
纹理合成对于计算机图形学，视觉和图像处理中的许多应用程序都很重要。 除了使用马尔科夫随机场的传统随机模型[21]，Efros和Leung [22]首先引入了图像块的概念，用于纹理合成。他们提出的方法的核心是先前的自相似概念。 这种先验已经在很大程度上影响了图像处理领域的最新进展[23]。
在[22]中提出的方法通过根据以其为中心的片p来估计像素p的值来合成纹理。 它通过根据度量搜索p的k最近邻居来找到，其中是平方差的向量，并且G是二维高斯加权核。Wei和Levoy[24]在多尺度框架内提出了一种类似的方法，并且专注于使用树结构矢量量化来加速补丁搜索。 Ashikhmin [25]进一步提出了一种智能搜索方案，该方案可以在提高纹理合成速度的同时提高速度。实际上，这最后一种方法会影响我们在第IV-B2节中介绍的匹配块搜索方案。
D.基于示例的方法
在纹理合成中引入的许多思想导致了所谓的基于样例的图像修复方法在第三部分中更加详细，事实上，一些修补类似的结果已经可以在[22]中找到。 匹配块的引入在图像处理领域引发了许多新的见解，特别是在修补中。 在21世纪初，Bornard等人 [26]，Drori等。 [27]，和Criminisi等。 [2]独立提出了三种基于样例的图像修复方法，为基于样例的图像修复方法的重要概念奠定了基础。 然后从这些开创性着作衍生出许多方法，我们建议在此后进行分类和评论。
III。对基于EXEMPLAR的投入方法的综合评述
基于样例的图像修复技术使用图像样本块来分析其内容，找到修复它的最佳方法，并重建缺失的部分。 这些方法本身可以细分为三种主要方法：
bull;贪婪算法[2]，[26] - [31]以贪婪算式复制多个匹配块
bull;混合型[32] - [35]，它们将基于几何的方法的元素首先融入到宏观结构中，
bull;以及基于能量的[36] - [42]方法，这些方法经常使能量最小化，并需要几次迭代才能收敛。 这些方法通常通过将匹配块混合在一起来重建像素级的缺失部分。
A.注释和定义
要修复的图像被视为一种函数:其中定义了图像域，是图像的掩蔽部分（即，再合成的未知像素），是掩模的边界。在下文中，以像素p为中心的块被认为是函数，其中是平方支撑。请注意，此修复程序可以被屏蔽（即，它的一些像素是未知的）。表示根据给定度量d匹配的块：
最简单（并且主要用于计算效率目的而广泛使用）距离d来比较两个块的视觉相似性是平方差（Sum of Square Differences，SSD）：
（1）
请注意，文献中已经提出了其他距离，例如Bhattacharya距离[43]或Hellinger距离[31]以及SSD以比较块概率密度函数。 尽管如此，与传统SSD相比，使用这些距离的优势对于处理通用图像的目的仍然不清楚。
图1.洋葱皮加入顺序（第一行）和数据意识到的一个（第二行）之间的比较，由[2]提供。 由于数据项，标志杆被正确重建。
B.贪婪算法
贪婪算法在于依次用像素或像素组填充直到，的每个像素被修补一次。 这些方法的草图分为四个主要步骤：
- 选择位于上的一个像素p，
- 搜索与以p为中心的匹配块最匹配的块，
- 将有效块中的值粘贴到中的p周围
- 如果，转到步骤1。
Criminisi算法：前两个步骤对修复结果至关重要。 幼稚的实现往往导致不好的结果，现在我们更深入地关注Criminisi等人必不可少的两个步骤。[2]算法。
- 填充顺序：对于这种修补技术，所有三篇初始论文[2]，[26]，[27]都强调填充顺序的重要性（即如何选择delta;上的像素p）。
在[26]和[27]中的多尺度方案中，以所谓的洋葱剥离方式从初始掩模的边界到其中心填充图层方式。 这种填充顺序似乎很自然，但实际上常常导致不自然的结果，特别是在面罩中心附近：应该首先重建的重要结构丢失。
为了克服这个关键的一步，Criminisi等人 在[2]中提出基于位于上的已知结构的填充顺序：针对所有像素计算优先项，如下：
（2）
其中是置信度的量度，并且被定义为处理中的结构的存在的数据项。后者在优先计算中起着关键作用，并有利于进入面罩的结构的延续。图1（下）显示了使用Criminisi等人在不同迭代中的修复。算法并展现这一主要特征。
更确切地说，置信度可以看作是对邻域p的可靠信息的度量。 它在[2]中定义为：
（3）
其中是的大小（即像素的数量），并且在初始化时，设：
这个术语在初始掩模的边界附近有很高的值，并且在中心附近减小。 它倾向于修复具有最多有效邻居的第一个像素。 这是一个类似的术语，定义了[26]和[27]中的洋葱皮加料顺序。
图2c示出了对于给定的目标像素p，它的块（红色正方形），查找区域（绿色）以及在其中找到的最佳片（蓝色正方形）。 一旦找到最佳匹配块，它的非掩盖部分就在中找出（图2d）。
数据项反映周围的局部图像结构，并在[2]中定义为：
（4）
等照度线方向定义为：
（5）
是在p处的法向量，是一个常数归一化因子（可以被忽略，因为它对所有的p都是一样的），并且是在p处的颜色梯度向量。如果几个梯度向量具有最大范数，则保留一个最大化。 这个数据术语有利于重建在p处正交交叉的局部线性结构，并且与基于几何的方法的等照度概念密切相关。 如图1（底部）所示，它强烈影响填充顺序，并有利于经典洋葱剥离方案遗失的结构的延续。
一旦已经计算了所有优先级，则将具有最高优先级的像素选择为要重建的目标像素P.
b).搜索和匹配补丁和重建：在每次迭代时，在整个图像上搜索匹配以目标像素p为中心的块的非掩蔽部分的最佳匹配块。实际上，该区域通常会缩小到以p为中心的较小尺寸的正方形，以缩小搜索空间并缩短总体处理时间。 有关这个关键点的更多信息在本节末尾给出。
置信度也从置信度中复制过来： （6）
图3. Criminisi et al。算法[2]根据不同的数值方法进行梯度计算和不同的斑块大小。从左到右列：向后有限差分，居中有限差分和正向有限差分。匹配块大小等于7times;7。第一排，第二排13times;13。
- 现有技术的增强：文献中已经提出了这种精确算法的许多变体。 由于修补过程非常贪婪，优先填写顺序的微小变化可能会导致最终修复结果发生重大变化。 我们在图3中通过仅改变数据项计算中的数值梯度计算方案（即，后向，居中和正向有限差分）并保持算法的其他参数恒定来说明这一事实。 可以观察到结果的显着变化。 而且，通过改变贴片尺寸，可以获得完全不同的结果，并且实际上没有数值方案好于其他方案。 因此，已经开展了几项工作，以产生更高的优先条件。
bull;[29]的作者提出了一些启发式方法，以便通过使用基于张量的数据术语来提高优先级：
（7）
其中和是结构张量的特征值[44]，和是固定在和的超参数。 使用这些张量旨在给出更好的局部图像变化模型，并依赖作者任意固定的两个超参数。
文献[30]的作者提出了一个稀疏数据项，它为每个像素测量一个以p为中心的匹配块的全局相似性，匹配块包含在用户定义的邻域中。边界像素的稀疏度计算如下：
（8）
其中是p邻域中有效斑块的数量（即，不包含掩蔽像素的斑块），是p邻域中斑块总数，是包含相似度的向量，定义如下：
（9）
其中测量p的已知部分和有效匹配块之间的均方距离，是标准化常数，使得,是固定在的超参数。 数据项允许区分属于两个对象之间边缘的像素的纹理像素。两个像素可以具有高梯度，但后者（边缘像素）在其邻居之间更稀疏（低相似性），并且首先被选择。
bull;最近，[31]的作者提出以非线性方式放大数据项来计算优先级：
（10）
其中是一个附加参数。 这种变化在存在强烈等照度（Dp→1）的情况下强制执行数据项，并将其降低到平坦区域（Dp→0）。
我们在图4
全文共30474字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13419]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
