英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
社会属性感知力模型：利用异常交互检测的丰富性
Yanhao Zhang, Lei Qin, Member, IEEE, Rongrong Ji, Senior Member, IEEE,
Hongxun Yao, Member, IEEE, and Qingming Huang, Senior Member, IEEE
摘要：行人之间的相互作用通常在理解人群行为中起重要作用。然而，对于行人交互的准确分析，存在很大的挑战，例如遮挡，运动和外观变化。在本文中，我们引入一种新的社会属性感知力模型（SAFM）来检测异常人群事件。该模型结合了群体行为的社会特征来改善对交互行为的描述。该模型结合了群体行为的社会特征来改善对交互行为的描述。 为此，我们首先以无监督的方式有效地估计场景比例。 然后，引入社会无序和拥挤属性的概念来描述社会行为的相互作用，并通过在线融合策略在社会力量的基础上构建我们的人群交互模型。这些属性对社交互动特征进行编码，并提供抗运动模式方差的鲁棒性，最后根据所提出的SAFM进行异常事件检测。另外，属性感知交互作用力指示着异常交互的可能位置。我们在公开可用的异常检测数据集上验证了我们的方法，实验结果显示与替代方法和最先进的方法相比，我们的方法在性能上表现得更好。
关键词：异常检测、群体行为、社会属性、社会力模型。
一、介绍
人群行为已经成为视频监控领域的一个重要研究课题。与个体行为相反，群体行为更具有挑战性，因为个体之间复杂的相互作用是可能的。
人群行为模型旨在描述拥挤场景中的个人和群体。从社会学的角度来看，群体行为通常是在社会学启发的先验知识的约束下发生的，因此反映了高层语义相互作用。随着底层运动特征的出现，中层视觉表示已经变得越来越流行，因为它可以将视觉内容的语义描述从特征级扩展到对象级，关注对象之间的特定连接和交互。因此，构建群体的中间层表示以利用交互的丰富性可以在广泛的应用领域中取得突破。
为了实现这一目标，自动识别人群行为的相互作用，一个新兴的和具有挑战性的任务是检测异常人群行为。在这种情况下，群体行为通常被建模为语义表示的定量结果，这是分析和理解异常的基础。给定视频剪辑，异常检测模型在个体之间运动一致性，标记与其他异常显著不一致的个体。为此，针对精确和鲁棒异常发现提出了广泛的工作，从运动特征表示到不一致模型定义，如概率主分量分析器（MPPCA）〔1〕、低阶统计量〔2〕、动态纹理〔3〕、马。RKOV随机场（MRF）〔4〕和稀疏表示〔5〕。而不是分类整体的不一致性，[3 ]和[5 ] -（7）也集中在检测和定位局部不一致性或拥挤场景的选择性机制。
-
- 问题
通过分析群体的低级别语义来检测异常群体行为仍然远非实际应用。 尽管在文献中广泛研究了复杂模型，但由于以下原因，关键问题仍然是实施针对人群行为的鲁棒而准确的特征表示。
(1)现有作品[2]，[8]中的传统运动特征，如光流，空时兴趣点[9]以及时空体积[8]等无法表征个体之间的运动不一致性。 例如，基本表示元素应该具有相同的状态（如缩放和运动速度），而不考虑场景的动态变化和透视效果。
(2)虽然最近的一些作品[10] - [12]尝试对人群交互进行建模，但这种建模仍然依赖于个体之间的低级别视觉和/或运动统计，而不考虑其更高级别的语义和人群结构，例如团体行为实际上与社会或行为的观点不一致。 换言之，来自微观和宏观支持的社会语义和社区语义[12]在这些作品中缺失，而这些语义又对准确的异常定义非常重要。
(3)虽然最近有一些作品利用社会交往理论[13]，但社会行为的建模仍远远不能令人满意。 个体间相互作用的表达缺乏中间特征，忽略了对个体进行工作的人群的社会特征。在现实世界的场景中，传统方法无法高效地为复杂场景提供真实的互动线索。克服这些问题的原则可能会采用将特征表示从低级到中级的特性，例如属性或概念[14] - [16]，如最近在对象和事件检测[17]，[ 18]在社区。
在本文中，我们调查了异常人群行为检测对个体之间社会交互进行建模的可行性。我们的创新取决于社会交往行为的属性层次建模，其中提出了两组社会属性：1）社交障碍和2）拥挤。他们一起形成了一种新型的社会属性感知力模型（SAFM），以利用互动的丰富性。这样的模型可以准确而稳健地表达个体之间复杂的相互作用。鉴于此类属性，异常检测可以在全球或当地范围内实现。在这两种情况下，我们已经在我们的实验中进行了广泛的测试，所提出的属性可以与大多数现有的异常检测框架集成以实现最新的性能。
1.2 相关工作
建模社交互动在描述团体行为中扮演着重要角色，并有助于在拥挤的场景中进行异常建模。社交交互建模认为重要的一点是，拥挤的场景中的个人有目的地移动，形成与他人的互动并影响彼此的轨迹。它还改进了人群模拟的传统动态模型，该模型认为人们有未来的目的地并采取行动调整其轨迹[12]，[19]。对于社会互动的建模和分析有三个主要观点：
- 宏观模型，它处理群体密度和速度，而不是决定群体的运动个人;
- 微观模型，它涉及到人员在动作中的动机，并处理群体密度/速度或个体动作，例如[13]中提出的研究动作动力学的社会力模型;
- 将上述两种模型综合考虑的混合方法。 团体和个人统计数据都被融合以分析人群行为，其中外部和自组织因素被利用[20]。
如图1所示，外部组织的目标是定义信仰先验，如障碍，位置或场景结构。 自组织是指利用集体和互动效应，这已被广泛用于了解人群行为[21]，[22]。 在下文中，我们简要回顾了从集体和互动方面为异常人群行为检测建模社交行为。
(1)集体效应：集体效应提供了一个宏观视角，在人群行为中建模相似的运动模式，可以将其视为受场景结构和环境条件影响的规则模式。例如，许多有关全球运动模式学习的作品都能够捕捉到集体效应。Ali和Shah[23]提出了一种基于流体动力学的方法来模拟人群行为，这需要精确分割运动流。Lin等人[24]提出了通过使用潜在的几何偏移过程和代数表达模型提取鲁棒流模式。最近在建模全局运动模式方面的工作使用分层贝叶斯模型[25]，[26]，通过挖掘移动像素的共现来学习行为模式。Bellomo等人[27]提出了一个动力学理论模型来展示微观尺度上的动力学如何转化为集体行为。周等人[4]，[28]使用MRF作为假设建立轨迹段的连接模型，然后将其与主题模型相结合来聚类群组行为。
(2)互动效应：分析个人之间的互动通常涉及对人群行为的微观描述。它可以用来描述不同的互动，社交群体或个人领导力。在[13]中提出了一种模拟周围环境和人们迫使行人的社会力量模型。 这个模型由Mehran等人扩展[10]在人群场景中检测异常。参考文献[12]和[29]使用个体交互模型的社会行为来分析行人的动态行为。受个人、社会和环境因素影响的代理模型在[19]中被构建，它有效地估计了行人的目的和社会关系。与以往的研究相比，我们将集体效应编码为人群行为的局部互动，并结合社会属性，从宏观和微观两个角度揭示互动的丰富性。
(3)异常人群检测：从人群中检测异常行为是一个长期以来引起广泛研究的研究课题。在应用场景下，异常人群行为检测任务可以分为两类，即局部异常事件（LAE）和全局异常事件（GAE）[5]。LAE旨在检测与社区不同的当地行为，例如，Kim和Grauman [1]使用MP-PCA对本地光流进行了活动模式建模，并使用MRF来定位异常。亚当等人[2]采用直方图来衡量局部光流模式的概率。在[8]中，由Kratz和Nishino提取时空梯度以适应高斯模型，并且使用耦合隐马尔可夫模型来检测拥挤事件中的异常。通过对局部区域的运动模式进行建模，可以利用密集的活动和人群的内在结构。Mahadevan等人[3]提出了一个动态纹理模型来联合建模拥挤场景的外观和动态。另外，检测时间和空间异常可以表示为检测动态纹理混合中的人群显着性[3]。Thida等人[30]采用时空拉普拉斯特征映射，通过构建成对图来检测和定位异常区域，考虑到多个局部斑块的视觉环境。GAE的目标是检测整个场景是否异常。Mehran等人[10]采用社会力量模型和粒子平流方案通过分析相互作用力来检测异常人群行为，在拉格朗日流体动力学框架下，提出了一个带纹线表示[31]，用Helmholtz分解定理来增强异常事件的表示。崔等人[11]利用相互作用势能探索了主体状态之间的关系。上述方法在异常检测的人群行为建模中成功进行。
1.3 我们的贡献
在本文中，我们引入SAFM来实现健壮、高效和互动的人群行为建模。我们的第一个贡献是通过提出一种快速新颖的场景尺度估计方案来考虑场景尺度信息，该方案捕捉场景视角以更好地推断人群特征。利用这样的尺度估计方案，然后可以将前景运动与背景分开，并提取人群的尺度属性和密度属性。
我们的第二个贡献是使用统计运动分析方法从微观和宏观的角度重新审视异常检测任务。随后，我们引入两个社会属性来制定人群行为的相互作用。 这两个属性提供了反映社会证据的互动的丰富性。 我们的属性是通过对运动特征进行定量测量来构建的，这为表达交互效果提供了社会动机的线索。
我们的第三个贡献是利用所提出的SAFM强调社会语义对人群交互行为的影响，也可以通过有效的属性权重融合算法扩展到在线过程。这是通过将每个属性表示为具有自适应池的网格加权映射来实现的。我们联合整合不同的加权地图，保证了处理效率。
对现有模型的证明：与最近的贝叶斯模型[32]相比，该模型也使用不同的流场属性来表征人群运动，我们的模型在以下方面不同。
(1)SAFM嵌入了贝叶斯模型完全不同的尺度信息。我们使用局部尺度和全局视角的组合，自然而然地比贝叶斯模型所使用的规则网格对场景的尺度变化具有更强的鲁棒性。
(2)我们的模型通过在线融合方式应对社交特征的人群交互，从而可以识别出这种情况下各种类型和密度的异常人群模式。相比之下，最近的贝叶斯模型更新了贝叶斯框架中光流的概率密度，其仅使用发散中心的概念来检测有限的逃逸事件。此外，贝叶斯模型对光流估计非常敏感，可以在低或中等人群中工作以识别逃逸模式。
(3)这两种方法有不同的目标，即我们的方法旨在探索人群运动对于所有类型的异常检测的相互作用，而[32]中的贝叶斯模型只关注逃生情况下的人群运动建模。
本文的其余部分安排如下。在第二节中，我们描述社会力量估计并提出社会属性假设。第三节详细说明SAFM。第四节报告了全局和局部异常检测的实验结果。我们在第五部分结束本文。
二、估计人群交互作用力
图2显示了该方法的流程图。我们首先将一个粒子网格作为个体放置在框架中，并通过粒子平流方案计算传统的社会力量。然后，我们开发一个SAFM，旨在丰富场景规模和群体互动的社会属性。我们通过在线融合算法计算相互作用力并获得社交属性意识力图。最后，我们对GAE检测和LAE检测的异常映射方法使bag-of-words表示，以及使用相应的分类器进行定位。我们描述社会属性以反映交互特征，并在社会属性假设下模拟吸引和排斥现象。因此，我们的SAFM能够可靠地描述行人行为的自组织交互效应。
2.1 粒子对流
对于理想的情况，最好跟踪和分析所有人描述人群的动作。然而，在密集拥挤的场景中追踪所有行人在准确性和效率方面都会带来挑战。在本节中，我们详细介绍了一种在拥挤的场景中模拟行人轨迹的方法。在早期的作品[23]，[33]中，粒子对流方案被用来模拟人群运动行为而不是跟踪目标。在这种情况下，群体运动的连续演化将被捕获为粒子轨迹[23]。为了解决这个问题，我们在场景中设置了粒子作为个人运动的有效逼近，这些运动被视为行人的代表。因此，可以将人流作为粒子流来处理，克服了跟踪的困难。然后，我们可以直接从粒子流中分析人群行为。在光流中传播的粒子也解决了人群运动的连续性问题，并且捕获了比单纯使用光流的方法更有效的个体运动。
为了开始这个过程，用一定数量的粒子在视频帧上放置均匀的粒子网格。 然后，使用四阶Runge-Kutta算法以及光流场中的平均速度来计算每个粒子的速度。因此，单个粒子将沿着它们附近的平均流动方向所引导的流体流动中的轨迹行进。
2.2 社会属性假说
对每个粒子计算的社会力（SF）[10]如下所示。它通过将个人的愿望和环境限制作为社会力量来描述人群动态，以反映作为个体行人体验的各种驱动力。 这是描述行为的具体动机的量[13]。典型的社会力量包括诸如达到首选速度，吸引目标以及排斥障碍等。这些力通常可以叠加为物理系统中最常用的[13]。作为实际力的第一部分，是目标的欲望力量。是的第二部分，是受环境力和行人力影响的相互作用力。因此，行人的社会力量是来自附近行人目标和障碍的个体力量的总和。它由多个部件组成，这些部件用于改变每个行人的广义期望速度。 请注意，如果代理人的当前速度与所需速度和方向所定义的首选速度不同，则会有个人愿望力导致代理人加速。这个力的形式如下
|
|
（1） |
其中tau;是松弛参数，是（每个行人具有朝向目标方向的运动速度）的效果的行人运动的理想速度，并且是实际速度受外界因素影响最大，在作用下接近理想速度。总的来说，基本的社会力量总结为
|
|
（2） |
其中是行人的质量。 图3显示了我们实验中社会力量计算的过程。
社会力量讨论：在社会力量公式中，表示个体的质量，表示个体经历的相互作用力。海尔宾的社会力量模型[13]在某种程度上可以为实际现象提供基本的解释，如拱形出口效应，更快速的效应等等。但是，该模型在表示社交互动方面存在
全文共6340字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15289]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
