英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
基于全局对比度的显著区域检测
摘要：在没有任何事先假设或不知道相应场景内容的情况下，自动估计整个图像上的显着对象区域将增强许多计算机视觉和计算机图形应用程序。本文介绍了一种基于区域对比度的显着物体检测算法，该算法同时评估全局对比度差异和空间加权相干分数。所提出的算法简单，高效，自然地是多尺度的，并产生了全分辨率，高质量的显着图。这些显着性图还用于初始化GrabCut的新颖迭代版本，即SaliencyCut，以实现高质量的无监督显着对象分割。本文使用传统的显着目标检测数据集以及更具挑战性的Internet图像数据集对算法进行了广泛的评估。本文的实验结果表明，本文的算法始终优于15种现有的显着对象检测和分割方法，具有更高的精度和更好的召回率。本文还展示了我们的算法可用于从Internet图像中有效提取显着的对象蒙版，并通过简单的形状比较实现有效的基于草图的图像检索（SBIR）。尽管这样的互联网图像嘈杂，显着区域不明确，但是与传统的SBIR方法相比，本文的显着引导图像检索仍实现了更高的检索率，并且还提供了重要的目标对象区域信息。
关键词：显着物体检测，视觉注意力，显着图，无监督分割，图像检索
1.引言
作为人类，我们擅长快速准确地识别场景中最明显的前景对象，称为显著对象，并自适应地将我们的注意力集中在这些感知到的重要区域上。相反，当人类注释员被要求挑选图像中的显著对象时，通过计算识别与其行为相匹配的显著对象区域[2]、[3]是非常具有挑战性的。然而，考虑到表征特征提取的空间支持的即时能力、将对象与潜在混淆的背景隔离、以及优先为后续图像处理分配有限的计算资源的能力，能够自动、高效和准确地估计显著对象区域是非常理想化的。
在本质上解决了分割问题的同时，显著对象检测方法仅从背景中分割显著的前景对象，而不是像一般的分割算法那样将图像分割成具有相干属性的区域[3]。显著对象检测模型还不同于眼睛注视预测模型，该模型预测图像中的几个凝视点，而不是均匀地突出整个显著对象区域[3]。在实践中，显著对象检测方法通常用作包括感兴趣图像分割[4]、对象识别[5]、图像[6]的自适应压缩、内容感知图像编辑[7]、[8]、图像检索[9]、[10]、[11]等的许多图形/视觉应用的第一步。
虽然场景中显著对象的提取与准确的图像分割和对象检索有关，但有趣的是，可靠的显著性估计通常是可行的，而不需要任何实际的场景理解。正如人们普遍认为的那样，显著性是一种自下而上的过程，它起源于视觉上的清晰度、稀有性或惊喜，通常被归因于图像属性的变化，如颜色、渐变、边缘和边界[12]。视觉显著与我们对视觉刺激的感知和处理密切相关，许多学科都对其进行了研究，包括认知心理学[13]、[14]、神经生物学[15]、[16]和计算机视觉[17]、[18]、[19]。根据我们观察到的反应时间和沿生物路径估计的信号传输时间，人类注意力理论假设，人类视觉系统只处理图像的一部分细节，而剩下的几乎不处理。Treisman和Gelade[20]、Koch和Ullman[21]的早期工作，以及随后Itti、Wolfe等人提出的注意理论，提出了视觉注意的两个阶段：快速的、预先注意的、自下而上的、数据驱动的显著提取；随后是较慢的、任务相关的、自上而下的、目标驱动的显著提取。
在假设图像中存在显著对象的情况下，本文关注使用图像对比度(参见图1)的自下而上的数据驱动的显著对象检测[2]。该方法简单、快速，并能在基准数据集上产生高质量的结果。由于普遍认为人类大脑皮层细胞可能被硬连接以优先响应其感受野中的高对比度刺激[36]，基于以下考虑，本文建议采用对比分析来提取高分辨率的全场显著图：
图1给定一幅输入图像(上图)，使用全局对比度分析来计算高分辨率显著图(中图)，该图可用于产生感兴趣对象的无监督分割蒙版(下图)。
①与在对象边界或其附近产生高显著值的基于局部对比度的方法相比，将大规模对象与其环境分开的基于全局对比度的方法是可取的。全局考虑使得能够跨相似的图像区域分配可比较的显著性值，并且可以统一地高亮显示整个对象。
②一个区域的显著程度主要取决于它与附近区域的对比，而与较远区域的对比则不太明显(另见[37])。
③在人造照片中，物体通常集中在图像的内部区域，远离图像边界(见[35])。
④显著图应该快速、准确、内存占用少、易于生成，以允许处理大型图像集合，并促进有效的图像分类和检索。
本文提出了一种基于直方图的对比度方法(HC)来度量显著性。HC-map简单地基于与所有其他图像像素的颜色分离来分配像素级显着值，以产生全分辨率显着图。本文使用基于直方图的方法进行有效处理，同时使用平滑过程来减少量化伪影。
作为对HC-map的改进，本文结合空间关系来生成基于区域的对比度(RC)图，其中本文首先将输入图像分割成区域，然后为它们分配显著性值。然后使用全局对比度分数来计算区域的显著性值，该对比度分数由该区域的对比度和与图像中其他区域的空间距离来测量。注意，该方法更好地认识到图像分割和显著性确定之间的关系。
在许多计算机视觉和图形应用中，分割静止图像中的感兴趣区域具有非常重要的实际意义。在这个过程中，研究人员投入了大量的精力来最小化用户交互。GrabCut[38]迭代地优化了能量函数，并同时考虑了纹理和边缘信息，成功地将用户交互简化为只需在所需对象周围拖动一个矩形。本文提出了SaliencyCut，一种改进的GrabCut迭代版本，并将其与本文的显著性检测方法相结合，以获得比现有的无监督显著对象提取方法更好的性能。
为了评估提出的算法并与最先进的替代方案进行比较，本文建立了一个包含10，000像素精确的人类标记地面真实图像的数据库(另见第6.1.1节)，这比以前同类最大的公开可用数据集大了一个数量级[33]。本文在这个数据集上广泛地评估了本文的方法，并将本文的方法与15种最先进的显著性方法以及与手动创建的基本事实注释进行了比较。实验表明，无论是在查准率还是召回率方面，都比以前的方法有了显着的提高。总体而言，与HC-MAP相比，RC-MAP具有更好的查准率和召回率，但代价是增加了计算量。在本文广泛的经验评估中，本文观察到，本文的SaliencyCut方法产生的非监督分割结果在大多数情况下与人工标注的地面事实相当。本文还展示了提取的显著图在分割和基于草图的图像检索(SBIR)中的应用。
2.相关工作
本文的工作属于视觉注意建模这一活跃的研究领域，对此进行全面的讨论超出了本文的范围。本文让读者参考最近的调查论文，详细讨论了65个模型[12]，并对两个主要研究方向的不同方法进行了定量分析：注视预测[39]、[40]和显著对象检测[3]。
本文专注于针对专注于自下而上的显着性区域检测的相关文献，这些文献在生物学上，生物学上或生物学上都涉及，或者涉及到这两个方面。这样的方法利用低级处理来确定图像区域与其周围环境的对比度，并使用诸如强度，颜色和边缘之类的特征属性[33]。本文将算法大致分为本地和全局方案。请注意，在这两个类别下的分类均属同一类别。
基于局部对比度的方法研究图像区域相对于(小)局部邻域的稀有性。Itti等人提出了基于Koch和Ullman[21]提出的极具影响力的生物学启发的早期表征这一模型。[17]使用多尺度图像特征的中心包围差异来定义图像显著性。Ma和Zhang[41]提出了一种交替的局部对比分析来生成显著图，然后使用模糊增长模型对其进行扩展。Harel等人。[42]提出了一种自下而上的视觉显著性模型来归一化Itti等人的特征地图。突出显眼部分，并允许与其他重要性地图相结合。该模型简单，生物学上可信，易于并行化。刘等人[2]通过线性组合高斯图像金字塔中的对比度，找出多尺度对比度。最近，戈弗曼等人[32]同时对局部低级线索、全局考虑、视觉组织规则和高级建模的特色是突出突出的对象及其上下文。这种使用局部对比度的方法倾向于在边缘附近产生更高的显著值，而不是均匀地突出显著对象(参见图2)。请注意，Reinagel和Zado[37]观察到，人类倾向于将注意力集中在像素相关性具有高空间对比度和局部方差的图像区域。
图2.通过不同的最新方法(b-p)以及我们建议的HC(Q)和RC方法(R)计算的显著图。大多数结果高亮显示边缘，或者分辨率较低。另见图9和我们的项目网页。
基于全局对比度的方法使用图像区域相对于整个图像的对比度来评估图像区域的显著性。翟和沙[34]基于像素与所有其他像素的对比度定义了像素级显著性。然而，为了提高效率，他们只使用亮度信息，因此忽略了其他通道中的清晰度线索。Achanta等人。[33]提出了一种利用像素与图像平均颜色的色差直接定义像素显著性的调频方法。然而，优雅的方法只考虑了一阶平均颜色，这可能不足以分析自然图像中常见的复杂变化。在图9和图12中，本文显示了这些方法在质量和数量上的弱点。此外，这些方法忽略了图像部分之间的空间关系，这对于可靠和一致的显著性检测可能是至关重要的(参见第6节)。
显著图被广泛用于无监督目标分割：Ma和Zhang[41]通过在其显著图上生长的模糊区域来寻找矩形显著区域。Ko和Nam[43]使用对图像分段特征进行训练的支持向量机选择显著区域，然后对这些区域进行聚类以提取显著对象。汉等人。[44]在马尔可夫随机场框架中对颜色、纹理和边缘特征建模，以从显著图中的种子值生长显著对象区域。最近，Achanta等人。[33]Mean-Shift分割产生的图像段内的平均显著性值，然后通过自适应阈值处理找到显著对象。本文提出了一种不同的方法，它扩展了GrabCut[38]方法，并使用本文的显著性检测方法自动初始化它。在本文的10000幅图像数据集上的实验(见第6.1.1节)证明了本文的方法与其他最先进的方法相比具有显著的优势。
在本文的初步结果之后[1]，酱等人。[35]提出了一种利用区域级对比度来建模图像显著性的比较方法。在分割步骤中，他们的方法还对初始的三叉图进行扩展和收缩，并迭代地应用图切和直方图外观模型。由于GrabCut是使用图形切割和GMM外观模式的迭代过程，因此这两种分割方法具有很强的相似性。实验结果表明，与CB方法[35]相比，本文的RC显著目标区域检测和分割更加准确(图12a，12c)，20？速度更快(图7)，对中心偏置(CB)更稳健(图12B)。
3.基于直方图的对比度
本文的生物视觉系统对视觉信号的对比度非常敏感。基于这一观察结果，本文提出了一种基于直方图的对比度方法，利用输入图像的颜色统计信息来定义图像像素的显著性值。具体地说，使用像素与图像中所有其他像素的颜色对比度来定义像素的显著性，即，像素在图像I的显著性值为，
其中，是空间中像素Ik和Ii之间的颜色距离度量，以保证感知的准确性。(1)可以按像素顺序扩展为，
其中N是图像I中的像素数。很容易看出，在此定义下，具有相同颜色的像素具有相同的显著性，因为该度量忽略了空间关系。因此，重新排列(2)使得具有相同颜色值Cj的项被分组在一起，本文获得每种颜色的显著值，
其中，是像素的颜色值，n是不同像素颜色的数量，fj是像素颜色Cj在图像I的概率。
3.1基于直方图的加速
使用(1)粗略地评估每个图像像素的显著值需要时间，即使对于中等大小的图像，这在计算上也是太昂贵的。然而，(3)中的等价表示所需的时间为，也就是说，如果，则计算效率可提高到，因此，加快速度的关键是减少图像中像素颜色的数量。但是，真彩色空间包含种可能的颜色，通常大于图像像素数。
翟和沙[34]仅通过使用亮度来减少颜色的数量。这样， (通常)。然而，该方法忽略了颜色信息的显著性。在这项工作中，本文使用全颜色空间，而不是仅仅使用亮度。为了减少需要考虑的颜色数量，本文首先将每个颜色通道量化为具有12个不同的值，这将颜色数量减少到123times;1728。考虑到自然图像中的颜色通常只覆盖整个颜色空间的一小部分，本文通过忽略不太频繁出现的颜色来进一步减少颜色的数量。通过选择更频繁出现的颜色，并确保这些颜色覆盖超过95%的图像像素的颜色，本文通常只剩下大约n=85种颜色(有关实验详细信息，请参阅第6节)。其余像素(占图像像素的5%以下)的颜色将替换为直方图中最接近的颜色。这种量化的典型例子如图3所示。请注意，出于效率考虑，本文选择基于简单直方图的量化，而不是针对图像特定调色板进行优化。
图3.给定一幅输入图像(左)，我们计算其颜色直方图(中)。对应的直方图箱颜色显示在下栏中。量化图像(右)仅使用43种直方图箱颜色，并且仍然保持足够的视觉质量来进行显著性检测。
图4.颜色空间平滑前后(左)和后(右)每种颜色的显著性。相应的显著图显示在相应的插图中。
3.2颜色空间平滑
虽然本文可以通过使用颜色量化建立紧凑的颜色直方图并选择更频繁的颜色来有效地计算颜色对比度，但是量化本身可能会引入伪影。一些相似的颜色可以量化为不同的值。为了减少由这种随机性引起的噪声显著结果，本文使用平滑过程来细化每种颜色的显著度值。本文用相似颜色的显着值的加权平均值替换每种颜色的显着值。这实际上是颜色特征空间中的平滑过程。本文选择m=n/4个最近的颜色来细化颜色c的显著值，
式中，；是颜色c与其m个近邻之间的距离之和，归一化因子来自于。请注意，本文使用的是线性变化的平滑权重将较大的权重分配给颜色特征空间中更接近c的颜色。在本文的实验中，本文发现这种线性变化的权重比高斯权重要好，因为高斯权重下降得太快了。图4显示了颜色空间平滑的典型效果，其中相应的直方图按显著性值递减排序。注意，在这种平滑之后，相似的直方图柱彼此更接近，表明相似的颜色更有可能被分配相似的显著性值，从而减少量化伪影(见图12)。
3.3实施详情
为了将颜色空间量化为种不同的颜色，本文将每个颜色通道均匀地划分为12个级别。虽然颜色的量化是在RGB颜色空间中执行的，但本文在颜色空间中测量色差，因为它的感知精度很高。但是，本文不直接在颜色空间中执行量
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239531]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
