英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料
关于外观模型和遮挡的概率人物跟踪：AD-HOC系统
摘要
AD-HOC是一个完整的人物追踪系统，它对视频监控中存在遮挡的人物进行跟踪。它使用基于外观的方法，可以在目标被遮挡期间预测目标的每个像素形状。它的这项特性在更高级别的算法中非常有用，例如动作识别算法或事件检测算法。系统在运行时首先预测目标在新帧中的位置，然后将候选前景像素与目标相关联。系统定义了一种新的不可见区域，它考虑了在当前帧中未检测到的目标部分，将遮挡分类为动态遮挡、场景遮挡或表观遮挡。结果报告使用了内部制作的视频和PETS2006测试集的视频。
介绍
基于外观的目标跟踪是对目标预测、匹配的成熟范例。它确保了视频流中可变形目标的时间一致性。外观驱动技术通常被作为一种有效的替代方案，用于替代基于3D重建和模型匹配的算法。这种算法只需计算目标在图像中的视觉外观，而不需要定义摄像机、世界或目标模型。外观模型的开发在人体运动分析应用中是尤其直接的。这是因为它们不仅能认知人物的位置和速度，而且能认知人物在每一帧中的视觉特点。
特别是，确定性的方法要求将候选目标与预测的外观模板进行匹配。它可以通过合适的相似度函数，选择观测值与存储目标之间的最佳匹配作为跟踪结果。
使用确定性和基于外观方法的跟踪系统在实时应用中提供了以下优点：1.不需要目标模型，具有通用性和灵活性；2.每帧只用进行一个方法，处理速度快；3.目标外观通常保持在像素级，能提供大量的可用信息。但是基于外观的跟踪也存在问题，会产生提取数据时继承了分割而引起的典型错误，这些问题必须在跟踪层解决。此外，基于外观的跟踪的主要挑战是频繁出现视觉遮挡，这会使得观测在某段时间内完全或部分不可用。
由于这些原因，许多研究都致力解决遮挡问题。这些研究大多只处理动态遮挡，即由其他运动对象造成的遮挡。相反，很少有研究明确处理场景遮挡的问题，即由场景中离相机更近的静止对象造成的遮挡。而本项研究则集中处理基于外观的跟踪中的不同类型的遮挡，从而跟踪可变形形状，特别是跟踪人物。
我们的主要目标是在每一帧拥有尽可能精确的像素级外观模型，并且能够应对目标外观频繁的变形。同时，我们希望解决动态遮挡和场景遮挡的问题，选择性地更新外观模型。
Vezzani在2008年的文章基于外观驱动和遮挡的人物跟踪提出了AD-HOC的初步描述，对该系统给出了形式化定义。
作为本研究的主要创新点之一，我们提出了一种不可见区域的形式化模型，即在当前帧中缺少外观模型中不可忽略的部分。根据可能的原因，我们将不可见区域分为三类：动态遮挡、场景遮挡和表观遮挡(简单的形状变化)而目标模型在不同的情况下以不同方式更新。
AD-HOC系统可以应用于任何物体形状。由于该算法仅使用像素的RGB分布来描述外观模型，因此它特别适合于处理人体的动态变化和非刚性运动。需要指出的是，这种描述需要假设不同的对象可以通过颜色来区分。实际上，对象之间的遮挡在颜色空间中有时会出现无法统计的状况，这可能被系统错误地判断。
接下来的一个章节将讨论基于外观跟踪的一些相关研究；第3节包含概率方程的介绍性表述，并对跟踪算法进行了详细的说明；第4节则对测试序列的定性和定量结果进行报告。
相关研究
在Yilmaz等人的著名研究中强调了在人物跟踪方面的研究由来已久。自从Haritaoglu等人的开创性工作以来，基于外观的跟踪现在被广泛使用。其中的模板用于可变形对象，特别是用于人物跟踪。
在这些研究中，自适应模板最初更多地被用于分析人类活动，而不是用于跟踪算法。前者W4(Haritaoglu等人，2000年)引入了被称为“灰度纹理外观”和“形状分量”的外观模型和概率图。灰度纹理模板将视觉外观形状的自适应信息保留在灰度级，并与概率图一起包含在加权相似度函数中。该模板没有被用来处理人的遮挡问题，人物被遮挡的情况由另一特定的算法处理。在Bobick和Davis的研究中提出了一种二项时间模板，包含运动能量图像和运动历史图像，用于识别不同的人体动作。
在随后的研究中，外观模型被直接嵌入到跟踪算法中。这些模型与移动斑点组成的当前观测相对应。通常对于固定摄像机视频，背景抑制之后的前景斑点组成观测数据。在跟踪算法之前提取前景点可以利用基于高斯、自适应中值、两者相融合等方法。这项研究在自适应模型中隐式地考虑了短期遮挡。根据自适应系数，短期遮挡和小形状变形都有助于平滑外观模型；而如果遮挡的持续时间太长，跟踪将会失败。类似地，为了应对他人的动态遮挡，已分离的斑点被定为具有潜在遮挡的宏对象，然后利用针对宏对象的模型来解决基于外观的跟踪。目前，许多视频监控系统原型中采用了类似的解决方案。Thome和Miguet的研究对于W4的解决方案进行了改进，在目标身体四肢使用了纹理和形状模板。如果随跟踪进行姿势分类步骤，则通常采用身体肢体的定义。
zhao和Nevatia最近的研究是被引用最多方案之一，他们指出斑点不能有效地用于人物跟踪。因为他们不将目标纳入约束条件；以及斑点会经历结构变化的影响，这些因素会导致组合搜索成本高昂。因此，他们建议使用简单的人体模型来代替斑点。在该区域中，他们计算了纹理模板T(RGB空间中的外观模型)和前景概率(FP)。他们利用包括T、FP和当前图像的相似性函数评估目标的最佳位置，以甄别方式解决跟踪问题。其中预期运动通过卡尔曼滤波得到，类似地，AD-HOC由外观和概率模型驱动。与Advanced不同，我们不将模型与斑点相关联，而是我们在像素级研究。我们试图将每个前景像素与跟踪目标集中的每个对象相关联，这将允许每个对象的外观被更精确地更新，并能够直接检测动态遮挡。
我们没有利用保持由PDF表示的每个对象状态的生成方法，例如粒子滤波、基于蒙特卡洛的方法或具有HMM的贝叶斯网络。在许多要求实时计算的应用中，必须在评估方案数量和每个方案的粒度之间权衡。为了补偿这一计算费用，它们通常与紧凑的外观模型结合使用，例如颜色直方图或颜色分布。在我们的例子中具有频繁和大遮挡的镜头，由于外观模型是在像素级定义和更新的并且需要进行多次比较，因此将跟踪考虑为优化问题的判别法是首选的。
前面提到的大多数方法都致力于遮挡问题。根据定义，生成模型会保持大量的假设，导致其中一些模型在遮挡后仍然存在并恢复。而另一方面，基于外观的判别性方法通常只处理遮挡检测问题。zhao和Nevatia与McKenna等人在研究指出：可观察点的数目与外观模型的点之间的比率提供了遮挡可能性的度量，该比率确定对象是部分遮挡还是完全遮挡，并且在这种情况下不更新模型。Thome和Miguet在研究中提出了一种用于在遮挡情况下跟踪分离目标的外观模型，作者声明他们将粒子滤波适应于相关测量，但没有表明如何检测遮挡以及如何在确定性跟踪和粒子滤波跟踪之间切换。
同样，在Jepson等人的研究中，当像素外观偏离目标模型太多时，系统检测其为遮挡。文中提出了一个由三部分组成的外观模型：一个长期学习的稳定部分，一个解释快速时间变化的“波动”部分，以及一个离群点过程。他通过不将被遮挡的像素分配给稳定部分来解决短期遮挡问题。在Liu的研究将鲁棒卡尔曼滤波应用于每个点使得外观模型能够抵抗短时部分遮挡，但作者承认它不能处理长时间遮挡。
我们也像Zhao和Nevatia一样执行遮挡检测，使用按概率加权的置信度度量。但我们额外添加了遮挡区域分类的步骤，以此通过选择性地复制静态和动态遮挡来更新模型。在Javed和Shah的研究中，遮挡被分类为对象间遮挡、薄场景结构或大结构造成的遮挡。第一种遮挡会产生多人物重叠，第二种目标会被遮挡物暂时分隔，第三种中目标则从画面中消失。为针对分组、分离和暂时消失等问题，他们提出了一些启发式的规则。Wu和Nevatia最近的研究也旨在处理对象间遮挡和场景遮挡，在这种情况下没有遮挡分类，但人体跟踪需要分步完成。只要可见部分身体，就使用贪婪对应算法；否则，采用均值偏移跟踪器，这样即使在身体部分被遮挡时也能进行鲁棒跟踪。
二步目标跟踪
AD-HOC跟踪认为系统的核心元素是对象Om，Om由其状态向量描述，其中 {Oi,i = 1,...,Nm}是构成对象的Nm个点的集合，和分别是相对于图像坐标系的位置和质心的速度。是成为最前面的对象的概率，也称为非遮挡概率。由于可以将对象视为重叠，因此可以将该概率计算为不被任何其他可见对象遮挡的概率。完全可见的对象具有接近于1的非遮挡概率，并且对于远处的对象该值减小。因此，可以通过降低的值对目标进行排序来恢复被检测对象的深度顺序。
目标的每个点oi的特征包括其所在的位置xi，其颜色分量ci=(R，G，B)以及属于目标的可能性alpha;i三个值。通过目标每个像素的颜色分量和alpha;值，可以生成两个不同的图像：包含每个点的颜色的外观图像和报告其可靠性的概率图像。静态或不变的像素将具有高可靠性，而移动或改变部分(例如，人物的四肢)通常具有较低的可靠性。
图1 (a)输入帧 (b)外观图像 (c)对象模型的概率掩码
在每一帧t中，场景包含一组对象Ot={O1, ... ,OM}被认为正在生成前景图像Ft。作为对象模型，前景图像也可以由通过前景-背景分割技术提取的点的集合{fl，l=1,...,L}表示。如果在颜色空间中前景和背景在统计上是可分离的，则背景去除技术就足够了，否则可能需要更复杂的方法。类似于目标点，每个前景点fl的特征在于其相对于图像坐标系的位置xl和其颜色cl=(R,G,B)。
该跟踪系统旨在基于到目前为止观察到的前景图像在时间/帧t 1处评估场景中的对象集合。在概率框架中，这是通过最大化以下概率密度函数(Pdf)来获得的：
通过探索所有可能的对象集合Ot 1和相应的状态矢量，我们假设具有一阶马尔可夫模型执行该图像最大后验概率评估，这意味着：
此外，通过使用贝叶斯定理可以写出：
在分析上优化式3是不可能的，因此需要通过改变它们的位置、外观和非遮挡概率来测试所有可能的对象集合和可变状态。但这是不可行的，所以我们将优化过程分两步进行，首先局部优化位置，然后更新外观模型。
图2显示了AD-HOC跟踪的完整架构，虚线框包括我们实验中使用的背景抑制模块。
图2 AD-HOC跟踪架构
3.1位置优化
该算法的首要任务是优化每个跟踪目标的质心位置xm。在式3中，项p是可以被去掉的，因为我们只保留了前一帧的最佳解。项p（Ot 1|Ot）即运动模型，通过围绕预测位置的半径为r的圆形搜索区域来获得，而该搜索区域利用使用先前位置和速度的一阶线性模型获得：
为了测量对象生成前景的可能性，我们需要定义F和Om的点之间的关系。此定义是必需的，因为每个对象的坐标系都是相对于对象质心定义的。
为此，我们可以定义运算符delta;(fl)，如果存在，其返回对应于前景点fl的点oiisin;Om：
类似地，我们可以定义逆运算符phi;(Oi)，该逆运算符给出对应于对象点Oi的前景点Fl。从delta;和phi;运算符的定义中，我们可以获得以下集合：
delta;m(F)是属于与前景点匹配的对象Om的点的集合；
phi;(Om)是对象Om的前景点匹配点的集合；
phi;(O)是至少与一个对象的点匹配的前景点的集合。
图3以图形方式显示了先前定义的运算符和集合。
图3运算符/和d的模式，它们将前景点与对象点相关联，反之亦然。
p(F|O)表示在给定对象定位的情况下观察前景图像的可能性。我们以逐点的方式计算该期限，并且可能出现三种不同的情况：匹配对象点的前景点、没有任何匹配的前景点(新点)和没有任何匹配的对象点(隐藏点)。进入场景的新对象可能会生成新的点，或者已经可见的对象的形状会发生变化。同样，形状变化和遮挡也会导致隐藏点。因此，p(F|O)可以写成：
Gamma;match考虑至少与一个目标点匹配的前景点，并且基于与其对应颜色的相似性有：
对所考虑的前景点fl中重叠的所有对象Om进行内和，并且使用非遮挡概率作为权重。给定对象点的前景像素的条件概率p(Fl|oi)由高斯分布建模，以对象点的RGB外观值为中心，并用概率alpha;加权：
其中Sigma;=sigma;23I是协方差矩阵，其中假设三个颜色通道不相关并且具有固定的方差sigma;2。西格玛的选择与相机中的噪声量有关，在我们的实验中，我们选择值sigma;在20左右。
为简单起见，我们认为一个点出现(新点)的概率常数，与形状改变、遮挡等无关。通过一些经验估计，我们设置了一个取而代之的是，一个点消失的概率与它的alpha;值严格相关。因此，CNEW和CHIDE将其定义为：
从计算的角度来看，评估最佳对象的对准将需要检查对象位置的所有可能组合。可以合理地假设公式7中最前面的对象将会起到显著作用，因此我们通过对每个点只考虑最前面的对象来局部优化函数。该算法按如下方式进行：
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[240585]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
- 创建一个列表，其中对象按其非遮挡的概率排序（假设它与深度排序成反比）；
- 从列表中提取第一个对象Om，并通过最大化等式7移除所有其他对象的贡献的概率来评估其位置xm；
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
