英语原文共 9 页
用于鲁棒性目标跟踪的多任务相关粒子滤波器
摘 要
在这篇论文中，我们提出了一种用于鲁棒视觉追踪的多任务相关粒子滤波器。首先我们提出多任务相关滤波器，它对不同特征间的相关性加以考虑，共同学习相关滤波器。多任务相关粒子滤波器（MCPF）的提出用于利用和完善了多任务相关滤波器（MCF）和粒子滤波器（PF）的优点。与现存的基于相关滤波和粒子滤波的跟踪方法比较，我们提出的跟踪器有以下几个优点。首次，它能通过多任务相关滤波器（MCF）指导采样粒子向模式的目标状态分布，因此有鲁棒性的跟踪性能。第二，它能通过粒子采样策略有效地处理大尺度变化问题。第三，在后验密度中，比起传统粒子滤波器，它使用更少的粒子来有效地维持多重模式，因此降低了计算成本。在三个基准数据集上大量的实验结果证明了多任务相关粒子滤波器（MCPF）比最先进的方法执行结果更优。
1.前言
视觉跟踪是计算机视觉中最重要的任务之一，计算机视觉有许多应用，比如视频监视、运动分析和自动驾驶，这里只举几个例子[38, 13, 36, 46, 35, 31, 14]。鲁棒性视觉跟踪的主要问题是如何解决目标物体随时间出现较大的外观变化。尽管近几年这方面有显著的进步，但要在这种比如光照变化，快速运动，姿势变化，局部遮挡和背景杂波等具有挑战性因素的跟踪场景中对估计目标状态的鲁棒性算法进一步研究，仍然是一个困难的任务。
相关滤波器最近已经被用于视觉追踪并且展现出速度快，性能鲁棒性等优点[4, 9, 16, 15, 18, 26, 24, 21, 25, 29]。由于深度卷积神经网络在许多视觉识别任务的成功，现在已经开发出了几个基于深层特征跟踪和相关滤波器的跟踪方法[25, 29]。使用大量目标跟踪基准数据集的实证研究表明，基于CNN的跟踪器执行效果比用手工选取特征的方法要好。图1的跟踪结果显示，CF2和HDT比在VOT Challenge上达到最好结果的DSST和KCF方法表现更好。
尽管达到了最好的结果，但现存的基于CNN的相关滤波跟踪器[25, 29]仍有几个局限。（1）这些跟踪器单独地为每层学习相关滤波器，而没有考虑它们的关系。在[25, 29]，被使用的不是每个卷积层的输出，而是自适应线性相关滤波器。由于不同层的特征可以相互加强和补充，现存的基于CNN的相关跟踪器（CF2和HDT）表现的很好。然而，这些方法都假设不同特征的相关滤波器是独立的。假如目标对象的外观出现较大的变化，忽略相关滤波器之间的关系会使跟踪器更容易慢慢远离目标对象。为了处理这个问题，我们提出了一个多任务相关滤波器（MCF），它利用不同特征间的相关性来共同获得它们的相关滤波器。在这里，每种特征类型的相关滤波器的学习被看作一个单独的任务。如图1所示，在KiteSurf序列中，比起CF2和HDT，MCF取得了更好的性能。（2）这些跟踪器[25, 29]没有很好的处理尺度变化。最近Danelljan等人提出了利用HOG特征处理目标物体尺度变化的自适应多尺度相关滤波器的DSST方法。然而，自适应多尺度策略没有很好地促进基于CNN特征和相关滤波器[25, 29]的跟踪方法（见章节4）。为了克服这个问题，我们采用粒子滤波器[1, 19]来处理大尺度变化的问题。在基于粒子的跟踪方法中，大尺度变化的目标物体的状态空间能够被密集采样覆盖到。如图1所示，在car4 序列中存在尺度变化的情况下，HDT和CF2方法没有很好的追踪到目标，但是粒子滤波器算法却表现的很好。
一般来说，当更多的粒子被采样并且建立的目标外观模型具有鲁棒性，基于粒子滤波的跟踪算法更可能在杂乱和有噪声的场景中有可靠的表现。但是，基于粒子滤波的跟踪器的计算成本通常会随着粒子数量的增加而有极大的提升。此外，基于粒子滤波的跟踪器根据采样粒子分别确定每个目标对象的状态。如图2所示，如果采样粒子没有覆盖到目标对象的状态，那么目标状态的预测结果将不准确。为了解决这个问题，最好引导采样粒子向目标状态模式分布。在这篇论文中，我们利用了MCF和粒子滤波的优点，并相互补充：（1）粒子滤波器通过基于因式采样技术随时间向后验密度传播，为跟踪目标提供了一个概率框架。因为密集采样，大尺度变化的目标对象的状态也能够被覆盖到。因此，粒子滤波器能有效地帮助MCF处理尺度变化问题。（2）对每个采样粒子，应用MCF能指导粒子向目标状态模式分布，如图2（b）所示。其中每个粒子作为基本样本去构建块循环矩阵，每个块表示一个移位样本。然后，MCF通过计算每个移位样本相对于学习好的滤波器的内积来评估它们的相似性。最后获得响应图，并且最大的响应用于指导粒子。很明显，使用MCF每个粒子能密集地覆盖状态子空间。并且我们不需要密集地撒粒子去维持多种可能的状态。结果，比起传统的粒子滤波器，我们能通过使用更少的粒子来维持多种模式。因为基于粒子的跟踪器方法的计算成本很大程度上取决于粒子的数量，所以为了进行有效且高效率的视觉追踪，可以使用多任务相关滤波器。
在这项工作中，我们提出了一个多任务相关粒子滤波器（MCPF）用于鲁棒性视觉检测，这种方法同时拥有粒子滤波器和相关滤波器的优点，例如，尺度变化的鲁棒性，计算效率高。构造MCPF跟踪器的方法如下：（1）与现存方法中独立地从不同特征中学习相关滤波器这一点不同，为了提升跟踪性能，MCPF模型利用了不同特征间的相关性共同学习相关滤波器。（2）和传统粒子滤波器一样，MCPF跟踪器能通过粒子采样策略来有效地克服尺度变化问题。但比起传统粒子滤波器，MCPF跟踪器能在后验密度中使用更少的粒子覆盖多种模式，因此计算成本更低。（3）MCPF跟踪器使用MCF来指导采样粒子向目标状态模式分布，因此具有鲁棒性的跟踪性能。在跟踪期间，全部粒子的平均权重用于估计目标物体状态。权重由MCF的输出给出。我们在三个跟踪基准数据集[36,37,22]上评估这个跟踪算法。在三个基准数据集上的大量的实验结果显示，MCPF跟踪算法在准确性，效率和鲁棒性上比最先进的方法执行效果更好。
2.相关工作
对跟踪方法的全面综述超过了本篇论文的范围，这个领域的研究可以在[38,36,31]中找到。在这一节，我们讨论与这项工作相关的方法，主要是相关滤波器和粒子滤波器。
相关滤波器。由于计算效率高和鲁棒性，相关滤波器近期在视觉跟踪领域引起了广泛的关注。Bolme等人采用学习自适应滤波器的方法来建立目标外观模型，这种滤波器通过最小化误差平方和（MOSSE）来达到最优。Henriques等人利用内核空间中移位图像的循环结构，提出了基于强度特征的CSK方法，并用HOG描述器将它扩展到KCF方法中。Danelljan等人提出了DSST方法和使用HOG特征处理目标物体尺度变化的自适应多尺度相关滤波器。在[40]，Zhang等人结合目标模板的循环性质来改进基于稀疏的跟踪器。Hong等人提出了生物启发框架（MUSTer），其中短期合作与长期合作相互合作。在[26]，Ma等人提出了用在线随机蕨类分类器作为长期跟踪的重新检测组件。近期， Danelljan等人提出了连续卷积滤波器用于跟踪，采用多尺度深层特征解释由大尺度改变造成的外观变化。
基于局部块或区域的相关滤波器已经被开发[24,23]。在[24]中提出了基于区域的方法，其中目标区域由KCF跟踪器独立跟踪。Liu等人提出了基于区域的结构相关滤波器，通过保存目标物体结构来进行跟踪。在[21]，Li等人引入可靠的局部块来利用局部上下文并且把KCF作为基本滤波器。近期，在[25,29]，针对每种特征独立地学习相关滤波器。与现存的基于相关滤波器的跟踪方法不同，我们提出了多任务相关滤波器，它利用了不同特征间的相关性来共同学习它们的相关滤波器。
粒子滤波器。在视觉跟踪中，粒子滤波器或连续蒙特卡罗（SMC）方法已经被广泛的使用。为了得到鲁棒性性能，采样粒子数必须足以覆盖可能的状态。但是在视觉跟踪中，密集的粒子采样一般计算成本较高，因为每个采样都需要被评估。因此，提出了许多技术用于改进粒子滤波器的采样效率[19,6,20,48]。引入重要性采样[19]，通过对先前结构的预测和辅助测量得到的附加信息相结合来获得更好的方案。在[20]，子空间表示和Rao-Blackwell粒子滤波器一起用于视觉跟踪。另一方面，采样粒子的数目可以通过自适应噪声组件[48]来调整。在[6]中，观测的相似性通过由粗到精的方式计算，这种计算方式可以有效的聚焦在更有希望的粒子上。与以上方法不同，我们采用了多任务相关滤波器来指导粒子向目标状态模式分布，因此减少了粒子数目和计算成本。
3.提出的算法
在这一节，我们提出了多任务相关粒子滤波器用于视觉跟踪。与现存的方法[16,15]中独立学习相关滤波器不同，MCF考虑了不同特征和区域的相关性，并且共同学习相关滤波器。此外，我们的跟踪器可以通过粒子采样策略有效地处理尺度变化问题。
3.1.多任务相关滤波器
基于相关滤波器的跟踪方法[9,16,25,29]的关键思想是，在探索循环矩阵的计算效率时，使用了大量的负样本来增强跟踪检测方案的可辨识性。在视觉跟踪中，通过在M times; N个像素的图像块x上训练相关滤波器w对目标外观进行建模，图像块x的全部的循环移位作为训练样本和高斯函数标签。K代表不同的特征（HOG，颜色或者CNN特征），我们使用去表示全部训练样本中第k种特征(k = 1，hellip;，K)。这个目的是找到不同特征K的最优权重。
其中表示弗罗贝尼乌斯范数，，是正则化参数。目标函数(1)可以用它的对偶形式等价表示，
其中向量包括MN对偶最优化变量，并且。这两个解与有关。学习好的选取可识别的训练样本将背景和目标物体区别开。训练样本，，是全部可能的循环移位，它表示目标物体可能的位置。把不同特征K中学好的放在一起，我们得到。
对Z，我们有以下观察：（1）对每个特征k，只需要选择几个可能的位置来定位下一帧中目标物体的位置。理想情况下，只需要一个可能的位置对应目标物体。（2）在K个不同的特征中，学习的应该选择相似的循环移位使得它们有相似的行动运动。结果，学习的基于以上观察，很明显不同特征应该有相似的以使它们对目标物体有一致的定位，它们的相关滤波器应当共同地学习以从背景中区别除目标。在这项工作中，我们使用凸混合范数，特别地，对Z的底层结构信息进行建模，得到目标跟踪的多任务相关滤波器如下：
其中是可靠的重建和联合稀疏正则化之间的权衡参数。混合范数的定义为：
，表示Z的第i行和第j列的条目。
为了解决（3），我们使用加速近端梯度法，这种方法广泛用于有效地解决非平滑项的凸优化问题。虽然直接计算非常耗时，但考虑到的循环结构特性，它在傅里叶空间中计算十分高效。更多的细节可以在补充材料中找到。在解决优化问题之后，我们对每种特征得到了多任务相关滤波器。
3.2.多任务相关粒子滤波器
我们提出的多任务相关粒子滤波器是基于贝叶斯序贯重要性采样，它使用有限的加权样本递归地接近后验分布以此估计状态变量的后验分布。让h和表示在时间t时物体的状态变量（比如位置和尺度）和其观测值。每个时刻t的后验密度可以通过预测和更新这两步递归得到。预测阶段使用概率系统转换模型通过全部的观测值来预测的后验分布，通过如下公式递归计算：
其中在时间t-1已知，是预测的状态。当得到观测值，状态通过以下公式预测：
其中表示似然函数。后验通过n个粒子估计，
其中为狄拉克测量，是第i个粒子的权重。每个粒子的权重通过如下公式计算：
其中是重要性密度函数，将它看作，因此有。然后应用重采样算法以避免退化问题[1]。在这种情况下，权重设置为。因此，我们在（8）中重写重要性权重公式，它与似然函数成正比，
以上重采样步骤根据前一步骤的权重导出粒子，并且全部粒子通过下一帧的似然函数更新。
给出学习好的MCF 和目标外观模型，通过使用循环移位可以指导每个粒子向目标状态模式分布。对第i个粒子和的搜索窗口，我们铜鼓如下公式计算出它的响应图：
其中，是第i个粒子的观测值，是hadamard乘积，F和分别表示傅里叶变换和傅里叶反变换。然后通过搜索r最大值的位置来指导第i个粒子。为简单起见，我们把以上状态计算过程定义为MCF操作器：，其中d是状态空间的维度，每个粒子的状态由。我们定义MCF对粒子的响应作为r的最大值，它表示为。接着我们设。结果，粒子权重与MCF的响应成正比，定义为：
最后，目标物体的状态通过如下公式估计：
3.3.MCPF跟踪器
我们在多任务相关粒子滤波器基础上提出了MCPF跟踪器。第一步，使用转移模型产生粒子并且进行重采样。第二步，对每个粒子应用MCF使它们转移到稳定的位置。第三步，使用MCF的响应更新权重。最后，使用(11)得到最优状态。为了在视觉跟踪中更新MCF，我们采用类似于[9,16,25,29]的增量策略，在目前帧中只使用新的样本，模型更新公式如下：
其中是学习效率参数。
3.4.讨论
我们用示例讨论MCPF如何使用粒子，相关滤波器和目标物体的循环移位进行视觉跟踪。
首先，基于传统粒子滤波的跟踪方法需要密集采样以覆盖可能的状态，因此计算成本较高。MCF可以精炼粒子去覆盖目标状态，并有效地减少了精确跟踪所需要的粒子数目。如图(3)a所示，第j个粒子（用绿色边界框表示），它的搜索区域（用带虚线绿色边界框表示）是可能对象平移大小的两倍，这决定了相关滤波器可能循环移位的总数。虽然这个粒子没有提取目标物体的位置，但它的搜索区域（和可能的循环移位）覆盖了目标物体的状态。每个粒子的搜索区域为个像素，它包含了个循环移位，这是该粒子的所有移位。这里每个粒子可以视为基本粒子，它的循环移位全都是带有相同尺度的虚拟粒子。如图3(b)所示，MCF可以指导所有粒子向目标对象的模式分布（目标对象所在的地方）。因此，我们不需要密集地设置粒子，因为每个粒子可以覆盖一个局部搜索区域，其中包含大量可能的目标状态，这减少了计算成本。
第二，MCPF可以通过粒子采样
资料编号：[5879]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
