英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
背景减法技术在视频监控中的评估
摘要
背景减法是动态视频分析的关键技术之一，特别是在视频监控领域。尽管背景减法很重要，但是对于视频监控领域的最新背景减法的评估还存在各种缺点。为了解决这些缺点，我们首先确定了视频监控领域中背景减法的主要问题。然后，我们根据背景减法应对这些问题的能力，比较它的后期处理的性能。因此，我们引入了一个新的评估数据集，其中包含精确的地面真实情况的注释和背景模板。这使我们能够精确地深入评估背景减法的优缺点。
1.引言
在视频分析中，一种常用的搜索空间缩小和焦点集中建模方法是背景减法（BS）。术语BS涵盖了一组旨在利用背景模型来区分视频序列中的前景和背景区域的方法。在过去的几年中，出现了各种各样的背景减法（参照[24,9,4,2,3]），每种方法都有自己的特点，优势和劣势。评估可以确定这些特征，并有助于关注其余问题。尽管文献很重要，但它缺乏对近期背景减法的综合评估。其中一个原因可能是在生成自然视频序列的高质量地面真实数据（GT）方面做了很大的努力。因此，一些评估只使用了少量标注的框架很容易的就能评判目标的性能。但是，像素级别的评估可以更好地了解该方法的优点和缺点。有几种技术可以克服人工GT注释。除了专家对分割结果的劳动密集型和高度主观的判断之外，已经开发出了不依赖于GT数据[5,10]或自动生成它们[12]的各种方法。不幸的是，这种方法不适用于评估BS在视频监控中遇到的挑战（参见第3节）。为了解决GT数据采集的问题，我们提出使用人造数据。为了解决“合成数据可能不能真实代表全部实际数据”[9]的问题，我们使用了一个典型的视频监控场景，高质量3D模型和有全局照明的现代光线跟踪技术来解决图像合成的真实性。因此，我们能够生成高质量的像素级GT数据，并分别从其他方面评估这些问题。在引入数据集的基础上，我们用后期处理评估了九种BS方法的性能。这包括几种多模态方法，能够处理动态背景。在现有的评估中几乎没有比较过这些方法。此外，我们能够解决最近文献中几乎没有涵盖的问题，如阴影和噪声。图2表明了BS的典型结构，为许多视频监控应用中的后续处理步骤奠定了基础（例如，[14]）。如图所示，BS的主要任务是将输入图像与背景模型进行比较。注意，我们没有对输入图像进行任何预处理，例如颜色转换等。该模型描述了场景的背景区域，并且通常通过分布特征（例如颜色信息）来表示。前景检测根据输入帧和背景模型的相似性确定图像的哪些区域属于前景或背景。这种分类的结果是一个二进制前景模型。
由于BS算法必须应对视频监控环境中的几个挑战，因此引入了对BS的扩展，例如前景模板的后期处理或适应景物变化（例如，光照的变化）。进一步的处理步骤通常结合了区域标记与区域阈值或跟踪假设的反馈。这项工作着重于二进制前景模板的BS算法和后期处理技术。因此，我们的评估忽略了进一步的处理步骤。
2.相关工作
在过去的几年中，已经发表了几篇关于BS方法评估的论文。然而，最近针对背景减法视频监控中出现的问题的评估全都缺失了，过时了或质量低下。Toyama等[27]确定了BS算法通常不得不应对的几个挑战。他们发布了一组特定的视频，这些视频覆盖了他们所发现的一些挑战，其他如阴影，噪声或压缩等视频都忽略不计。他们的评估数据集文献是众所周知的。但是，GT仅适用于每个序列的单帧画面，并且需要人工标记.
2004年，Cheung和Kamath [6]评估了在不同天气条件下城市交通视频中的6种BS方法的性能。在Karaman等人的工作中，[15]，比较了9种BS方法（从1982年到2004年排列）的分割性能处理时间和内存占用等。在5个测试视频上手动标记GT数据，并在不同来源的干扰下进行评估。数据集包含不同光线的视频，其中一些是压缩视频，一些是未被压缩的。Parks和Fels [23]考虑了几种BS算法（仅其中一种使用了最先进的算法），用于前景验证和后期处理。对于评估，他们也使用了不同来源的视频（例如Wallflower数据集[27]）。最近，Herrero和Besco提出了使用结合了广泛数据集的前景和背景对象对BS技术进行系统评估[13]。但是，这个数据集并不包含场景光线和阴影等问题。在评估中，他们考虑了室内/室外环境和动态背景。与之前的评估相比，我们还考虑到了视频监控领域中BS面临的各种各样的挑战。因此，我们建议评估一个人工创建的数据集，每个帧都有精确和客观的GT数据和阴影模板。这使得综合评估BS算法成为可能。
3.BS在视频监控中面临的挑战
背景减法必须应对视频监控性质带来的几个挑战。除了Toyama等人定义的规范问题外[27]，文献中存在许多不同的BS挑战。我们参考Bouwmans等人的所有工作[4]。为了评估，我们要求自己在图2的前两个阶段中展现BS所面临的典型挑战。因此，我们忽略了在其他阶段（例如预处理）中遇到的问题以及来自特定算法的问题。为了评估，我们考虑了以下问题：
渐变的光照：背景模型能够适应环境的逐渐变化。例如在室外设置中，光照强度通常会一整天都在变化。突发光照变化：一次突然的变化不会覆盖背景模型。例如突然发生的光线变化，不会强烈影响背景变化并导致误报检测。动态背景：背景的某些部分可能包含运动，但根据其相关性应视为背景。这种移动可能是周期性的或不规则的。某些物体可能与背景的外观差别很大，使得正确分类变得困难，这在监视应用中尤为重要。阴影：由前景物体投射的阴影通常会在BS之后进行进一步的处理。例如，重叠的前景区域的阴影会妨碍它们的分离和分类。因此，最好忽略这些不相关的区域。引导：如果没有前景对象的初始化数据不可用，则必须使用自举策略来初始化背景模型。视频噪声：视频信号通常被噪声叠加。BS的视频监控方法必须能够应对由不同类型的噪声影响的退化信号，例如传感器噪声或压缩鬼影。
4实验设置
4.1评估数据设置
为了评估性能，我们提供了九种不同的典型监控设置（可联网）的测试场景，每种场景都涵盖了一个特定的问题（参见第3节 - 注意，这并不意味着场景不受其他问题的影响，但是该问题是最主要的）。图7提供了数据集的两个示例性帧。下面的列举介绍了这些情景：基本情况：这是一个基本的监视方案，它将一般性能概述的众多挑战相结合。动态背景：使用基本序列的细节考虑无趣的背景运动，包含移动树枝和改变交通灯。引导：此场景不包含训练阶段，因此在第一帧之后开始减法：通过持续降低照度来模拟渐变场景变化。因此，背景和前景变暗并且它们的对比度降低。灯开关：通过关闭车间的灯（框架901）并再次打开（框架1101）来模拟一次更改。无噪夜：基本序列在夜间，由于增加的传感器噪声导致高增益水平和低背景/前景对比度，导致更多的伪装。阴影：我们使用街道区域的细节来测量被分类为前景的阴影像素。迷彩：也使用街道区域的细节。我们比较穿着深色衣服和灰色汽车的人的序列和包含与背景显着不同的彩色前景物体的序列之间的性能。视频压缩：基本序列通过标准编解码器以不同比特率压缩视频监控（H.264，40-640 kbits / s，每秒30帧）。这些序列由Autodesk Maya提供的光线追踪器Mental Ray渲染，而GT数据由Maya Vector生成。该序列具有800times;600像素的分辨率，并从固定视点捕获。对于一些场景，我们考虑一个序列的细节，重点关注对特定问题影响很大的区域。为了获得逼真的视频，通过在每个帧中添加高斯分布（= 0：0，= 0：0001）噪声来仿真传感器噪声。仅在噪音夜序列中，我们使用更广泛的噪音分布（= 0：0，= 0：0025）。除了GT掩码之外，我们还提供指示由前景对象引入的亮度变化的阴影遮罩。在这种情况下，阴影不一定意味着光照的减少，而是描述前景物体时存在背景像素色差。我们将数据集分为两部分，一部分用于训练阶段（一般不用前景对象），一部分用于减法阶段（用前景对象）。除引导阶段外，训练阶段由801帧组成。减法阶段由600帧组成，除了暗化阶段和自举阶段外都有1400帧。
4.2性能指标
我们从像素的层面来判断BS方法的性能。因此，将前景检测视为每个像素的二进制分类，从而产生分割模板。分类的正确性通过反馈、精度和调和平均值来表示，F-Measure：我们将大部分结果作为精确反馈图（改变阈值参数），因为在分布大幅度的歪斜的情况下，这种表示优于常用的ROC（接收器操作特性）曲线[8]。最后，我们在图7中提供了用于视觉检查的前景模板。我们的网站上提供了更多结果。
4.3评估方法
4.3.1背景减法技术
为了评估，我们选择了很多BS算法，包括最近的方法和常规的方法，以指出潜在的进一步的研究方向。文献中存在不同的BS方法分类似乎没有一个被完全接受。在表1中，我们提出了一致的分类方法，我们在本文中评估的方法与文献中提出的不同分类方案有关。
4.3.2后期处理方法
如前文所述，我们仅使用后期处理方法对BS进行评估就达到了前景模板表示的水平（参见图2）。我们进一步关注最常用的方法，特别是：中值滤波器，形态学操作（开放，闭合，及其组合）和阴影的去除。对于阴影去除的任务，我们应用Prati等人提出的Cucchiara算法[7] [25]，用最小假设法进行阴影检测。基于几个BS方法利用后期处理来提高其性能的观察结果，我们期望后期处理能够缩小BS方法之间的性能差异。
4.3.3参数选择
适当的参数选择对BS方法的评估至关重要。文献中存在几种参数适应方法（例如[11,28]），其中包括常用的ROC分析，我们用它来设置评估的BS方法的参数。为了简单起见，我们只搜索由特定BS方法的作者发布的初始参数周围的最优参数，因为我们只假设很小的自适应以便最佳地适合我们的测试集。此外，我们仅调整了对于实验成功至关重要的参数（例如，模型自适应参数必须单独为基本和自举序列选择）。另外，逐个优化参数，应用先前调整的参数或初始参数。另外，我们注意了保持模型表示在不同方法中可比性（例如，如果可能的话方法应保持大约相同数量的模式）。表2显示了用于基础实验的参数。
5.实验结果
首先，我们比较了忽略任何后期处理的不同BS方法来评估他们的模型表示和模型更新的性能。此外，我们在像素的GT前景对象周围引入了无关的边界，以说明由于图像离散化会引起背景/前景融合，评估中不会考虑此边框上的像素。请注意，由于在黑暗和嘈杂区域大量生成代码，导致内存占用量大。在我们解决第3节中定义的问题之前，基本序列对典型监视系统中方法的性能提供了一个初步的判断。结果如图3（a）所示。请注意，对于Kim而言，阈值参数的适用范围仅涵盖了一小部分的精确反馈间隔。另外值得注意的是，Li在低反馈率时显示精度下降。这似乎源于帧差异和背景差分的变化检测。图7中的分割模板显示kim难以正确处理暗区域（例如窗口）。这是由于在几乎黑色区域中产生的码字的初始亮度间隔小。动态背景：通过检测基本序列的细节，我们评估每个背景代表的能力，以应对无意义的运动，该运动必须被视为背景。图3（b）表明，在反馈水平高于90％时，几乎没有任何方法能达到超过50％的精度。分割模板（参见图7）提供了对每个BS方法的缺点的深入阐述。使用高斯混合模型的方法，如Stauffer和Zivkovic，除了Maddalena是动态背景的最佳表示。
自举法：即使训练数据包含前景对象，也能自适应地创建适当的背景模型。除Oliver之外，我们对所有BS方法进行bootstrap模型学习的实验，因为这种方法不支持模型更新。对于Oliver方法进行的另一个实验（在用801帧包含前景物体训练模型之后进行评估）仅显示几个百分点的精度降低。此外，大多数其他方法在应用时只是显示性能略有下降（见图3（c））。然而，Li未达到85％以上的反馈价值是显而易见的。只有Maddalena在这个实验中表现出主要的性能损失。变暗：尽管Oliver不支持模型更新，但在图3（d）中描述了所有九种方法逐渐改变背景外观的模型适应性的质量。因此，它表现出非常低的性能。然而，Stauffer的表现也很低，这令人惊讶。这起源于高斯模式的快速权重更新，而高斯分布本身非常缓慢地调整（参见[4]）。在这个实验中，Zivkovic的模型更新 - Stauffer的延伸 - 做得更好，但仍然不完全令人满意。在变暗时，金的黑暗地区的问题变得明显。 Barnellich，Li和Maddalena是逐渐改变照明方式的最稳健方法。光开关：如图3（e）所指出的，没有一种测试的BS方法能够令人满意地处理图像中突然的一次性变化。仅仅包含两种不同特征的方法（李，麦肯纳）能够从其他方法的糟糕表现中脱颖而出。然而，尽管Li配备了两种不同的检测模块，但Li无法正确处理该实验的一次性更改。嘈杂的夜晚：我们进行的最具挑战性的实验包括夜间典型的监视场景。由于高增益设置导致传感器噪声较大，而信噪比较低，而前景到背景对比度较低，导致前景物体隐藏。因此，对于所有评估的方法，本实验的结果表现为性能相当低下（参见图3（f））。然而，三种最新的BS方法（Zivkovic，Maddalena和Barnich）充分利用了这一点。
Camouflage：本实验为了提供更有意义的结果，详细介绍了背景的细节。图4显示了背景和前景物体中的F-Measure之间的差异。除了Zivkovic和Maddalena的结果比较良好之外，Oliver的线性子空间模型也表现出良好的性能。相比之下，我们测试的最早的（McFarlane）和最近的方法（Barnich）显示，当面对隐藏的前景物体时，性能下降的最多。我们认为这个问题源于固定阈值用于分类像素，而不是依赖于分布的阈值。
视频压缩：BS压缩视频画面的结果非常好。结果显示许多方法的性能几乎都没有明显的降低（参见图5）。除Kim之外，只有使用高斯模型的方法开始是明显降低比特率的。大多数方法甚至可以从某种程度的压缩中受益，这可能是因为后处理中消除了高频分量。两个BS方法甚至在本实验中显示出随着比特率的降低而持续改进。Li也能够在比特率降低的情况下赶上其他方法。任何方法都能从后期处理中获益。最有效的后期处理方法是
全文共6738字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15029]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
