英语原文共 33 页
3D测量单眼半监督跌倒检测系统的开发
摘要：据报道，跌倒是导致急诊就诊的主要原因和老年人意外死亡的主要病因。因此，强大的家庭监控系统的发展非常重要。在本文中，提出了这样一种系统，它试图通过视觉线索解决跌倒检测问题。所提出的方法利用快速，实时的背景减法算法，基于场景中的运动信息和像素强度，能够在动态变化的视觉条件下正确地操作，以便检测前景对象。同时，它利用3D空间的测量，通过自动摄像机校准，提高基于半监督学习方法的跌倒检测算法的鲁棒性。上述系统使用单个单目相机，其特征在于最小的计算成本和存储器要求，使其适合于实时大规模实现。
关键词：图像运动分析半监督学习相机自校准跌倒检测。
1、介绍
根据人口统计和流行病学数据，65岁以上人口的增长速度是地球上其他人口的六倍。从迹象上看，2000年大约八分之一的美国人是老年人，但到2050年，大约五分之一的人会成为老年人。人们有尊严地独立生活的能力，不需要依附于任何人以过正常的生活和完成日常生活活动，极大地影响了他们的生活质量。然而，与跌倒有关的急诊部门就诊在5岁以下儿童和65岁以上的成年人中更为常见。与儿童相比，跌倒的老人住院的可能性是十倍，死亡的可能性是八倍。因此，跌倒可被视为阻碍这些人过独立生活的能力的最重要问题之一。
为了解老年人摔倒问题，并试图防止跌倒事件，有人需要检查他们发生的位置。最近的研究表明，67％的跌倒事件发生在患者家庭和住院机构内部或附近，医疗警报系统可以立即提供帮助。考虑到人类跌倒问题的重要性和上述统计数据，必须开发强大的家庭监控系统。出于这个原因，近年来已经进行了一项主要的研究工作，用于自动检测人员跌倒。
自动跌倒检测的一种常见方法是使用专用设备，例如加速度计，地板振动传感器，气压传感器，陀螺仪传感器或它们的组合/融合和或帮助按钮。然而，这些技术中的大多数需要特定的可穿戴设备，这些设备应该附着在人体上。因此，他们的效率取决于人们佩戴它们的能力和意愿。外部传感器，例如地板振动探测器，需要复杂的设置，并且仍处于初期阶段。在帮助按钮的情况下，如果此人在跌倒后失去知觉，则无用。
更具挑战性的替代方案是使用视觉相机，例如本文提供的系统，然而由于视觉内容的复杂性，即照明变化，背景变化和遮挡以及坠落事件这一事实，这是一个主要的研究问题。应该区别于其他普通人的活动。计算机视觉系统的出现使研究人员克服了上述问题。基于视觉的系统侵入性较小，可以安装在建筑物上，也不会被用户佩戴。
此外，摄像机可以提供大量关于人和环境的信息，使得基于视觉的系统适用于不同类型的应用，因为它们能够同时检测多个事件。例如，基于视觉的系统可用于检测跌倒事件，同时检查其他日常生活活动，如药物摄入量。尽管基于视觉的系统可以提供有关人类活动的信息，但它们可以通过利用基于事件的设计来保护人们的隐私，该设计仅在特定预定义事件发生后触发警报和/或启用视频记录。秋季检测方法的详细调查见。
基于相机的方法也具有各种限制。首先，很明显，由于遮挡问题，相机分辨率，背景杂波，环境的视觉复杂性等原因，基于相机的跌倒检测比使用其他类型的传感器更具挑战性。其次，相机定位会导致大量视差可能影响跌倒检测性能的问题。最后但同样重要的是，应仔细检查隐私问题。
2、计算机视觉相关工作
基于视觉的跌倒检测系统可根据其使用的摄像机数量和摄像机传感器（可见光谱传感器和深度传感器）的性质分为三类。这样，就有单目摄像头，多摄像头和深度摄像头跌落检测系统。
2.1 单目相机系统
一些利用2D图像数据以检测坠落事件或识别人类活动（包括坠落）的作品[9, 10, 13–15, 22]和[7]。这些方法使用图像分割算法来提取前景对象，以便利用其形状并产生适合于跌倒事件辨别的特征。例如，在[31]提出了一种使用形状匹配技术来跟踪视频序列中人物轮廓的方法。然后基于形状分析方法从这些轮廓量化形状变形，并使用高斯混合模型从正常活动中检测跌倒。
最常用的特征是前景物体的投射高度 - 宽度比，以及它的质心和/或其头部2D垂直运动速度，除了下降之外，还可以描述跌倒的严重程度。当摄像机侧向放置并且位于前景物体质心的高度时，基于投影高宽比估计的方法是有效的。然而，这种摄像机安装导致跌倒检测系统对物体遮挡敏感。对于更真实的情况，必须将摄像机放置在房间的较高位置，以避免遮挡物体并拥有更大的视野。此外，当人靠近相机时，2D速度具有更大的值，而当他/她离开它时，2D速度具有更小的值。因此，难以定义用于区分跌倒的阈值而不是其他普通活动。
上述方法固有地依赖于图像分割算法的效率，并且假设对应于前景对象的所有移动对象都是人。[作者]29]通过提出一种基于人体解剖学的更复杂的方法来克服这个问题，根据该方法，人体的每个部分相对于身高占据几乎固定的长度百分比，以便训练能够区分六种室内人类活动的分类器，包括坠落事件。虽然这些工作提供了良好的结果，但这些都没有利用3D信息来提高系统的稳健性。
虽然，我们的系统使用单个单目相机，但它通过提取（和使用）前景对象的实际高度和宽度来克服所有上述问题，前景对象是视图不变特征并提供足够用于区分的附加信息，如果移动对象是人或其他东西（例如猫或狗）。另外，垂直运动速度由前景物体的实际高度的时间导数表示，因此不受人与摄像机之间的距离的影响。
2.2 多相机系统
此外还提出了用于检测跌倒事件的多摄像机系统。在[工作]39]，运动由HMM建模。用于运动分析的特征是从度量图像校正中提取的。姿势分类由融合单元执行，合并由模糊逻辑上下文中的独立处理相机提供的决定。安德森等人通过称为体素的三维体素代表一个人人。他们通过表示体素人状态的时间模糊推理曲线的语言总结来识别人类的活动，并通过使用模糊逻辑的层次来检测跌倒事件。[2]使用多个摄像机重建人的3D形状，通过分析沿垂直轴的形状体积分布来检测坠落事件。当该分布的主要部分在预定义的时间段内异常地靠近地板时，触发坠落警报。Hazelhoff等人提出了一种多摄像系统，通过使用主成分的方向和人体轮廓的方差比来检测跌倒。为了进一步减少误报，它利用了前景物体头部的垂直运动速度。
然而，关于多相机系统的一个重点是它们需要校准的相机和同步的视频序列，以便提取可靠的三维信息。所提出的系统通过使用单个单眼校准相机来提取三维特征，从而克服了视频流同步的问题。此外，它使用自校准技术来进一步降低安装成本。此外，我们的系统计算三维特征而无需融合不同的相机流，这增加了计算成本。
2.3 深度相机系统
基于飞行时间技术的深度相机的使用是另一种提取3D测量以通过使用单个设备来检测跌倒事件的便利方式。在作品[8, 17]和[32]深度相机用于提取前景物体的3D形状，并基于人类质心高度相对于地平面和体速识别坠落事件。Mastorakis和Makris在[23]使用绑定前景对象的3D框来测量其垂直速度。坠落事件检测基于垂直速度和不活动持续时间的值。Dubey等人在[11]使用深度相机创建包含三个通道的3D运动历史图像。对于每个通道，计算七个时刻，并且将21个提取的特征用作SVM的输入，以便将跌倒与其他动作分类。
尽管这些方法考虑了3D信息以更好地区分坠落事件而不是其他活动，但深度摄像机使用短距离传感器，这可能导致各种问题。它们没有考虑移动斑点的方向，并且当摄像机-目标距离克服非模糊范围时，所提供的测量可能受到反射率对象属性和混叠效应的影响。
2.4 拟议的制度
在本文中，提出了一种新的方法，利用二维图像分析（单目相机）和相机坐标系与真实三维空间之间的关系。这种方法允许实时和动态变化的视觉条件下降检测，通过相机校准和逆透视映射实现稳健性，利用3D物理空间的测量。
与其他2D跌倒检测方法相比，所提出的系统对于更广泛的相机位置和安装非常稳健，并且其性能不受相机和前景物体之间的距离的影响。此外，它无需使用计算昂贵的立体视觉数学即可提取3D特征，这对于所有多个摄像系统都是必不可少的。
该系统具有低计算成本和内存要求，适合大规模实施，更不用说低廉的财务成本，因为使用简单的低分辨率相机，使其可以大规模使用。
在复杂的环境条件下，例如在浴室中遇到的情况，我们的系统的性能应该进一步研究。这是因为在这样的环境中，预计会出现严重的堵塞（浴帘，蒸汽），更不用说可能影响任何视觉传感器性能的湿度因素。我们希望使用正常活动，与其他房间（穿越，行走）相同，我们的系统可以产生几乎相同的性能。但对于特定的沐浴条件，应特别注意。一个重要的问题也是隐私。人们非常不愿意在这样的私人空间安装监控设备（尤其是摄像头）。
请注意，其他类型的传感器（例如深度传感器）可能会提高系统性能。然而，目前这些传感器适用于近距离情况（几米），使得它们不能可靠地监视家中的老年人，特别是对于大房间。此外，它们的成本虽然非常实惠，但却比我们的低成本光学设备高出几倍，这意味着我们的系统更适合大规模实施，如医疗保健场所和养老院。
本文的其余部分安排如下：在部分3系统概述已呈现。部分4提出前景提取算法并在Section中5特征提取过程。部分6描述了半监督跌倒检测方法和章节7介绍实验结果。部分8总结这项工作。
3、方法概述
为了成功设计跌倒检测系统，一方面我们必须研究什么是跌落特征以及哪些特征可以区分跌倒而不是其他人类活动，另一方面，我们必须定义跌倒检测过程步骤并识别和克服与他们相关的困难。
3.1 瀑布特征
正如在[25]，跌倒事件的特点是突然和高速的垂直运动，人体姿势的快速变化，通常，它们之后缺乏明显的运动。
3.1.1垂直运动速度
它是检测坠落事件最常用的运动特征之一，除了降低歧视之外，它还提供有关坠落强度以及可能的伤害的有用信息。垂直运动速度可以定义为人体高度的时间导数，如（1).
V = nabla; ha(t) (1)
其中ha（t）代表在时间实例t的3D空间中人的实际高度。
3.1.2人体姿势改变
与普通人类活动相反，在人类姿势缓慢变化的过程中，人体姿势突然发生变化。一方面，人的姿势可以是特征。按人的宽高比计算，这是有效的，因为这个比例在跌倒事件发生时的值大于与站立位置的人相同的比率，另一个是人体的方向[13].
3.1.3缺乏重要的运动
此功能用于描述坠落的严重程度。它基于这样的假设：在严重跌倒事件发生后，该人将至少在一段时间内保持不动。此功能不足以区分跌倒。虽然它可以与上述特征一起使用以减少误报警，但是它可能增加误报率。
3.2 系统架构
所提出的跌倒检测机制包括树阶段：
- 前景/背景提取和人类检测；b）适当的特征提取；c）决策机制利用。
系统整体架构如图1所示。
我们算法的第一步是检测每个捕获帧的场景中的人物。这可以通过应用图像分割和背景减除方法来完成。一旦检测到人员，系统就会跟踪它们并估计它们的高度，以便计算垂直运动速度并分析它们的姿势。
一旦检测到人类，系统就会跟踪它们并估计它们的高度，以便计算垂直运动速度，并分析它们的姿势。在本文中，我们选择结合Section的前两个特征3.1，以便发现跌倒事件。使用第三个特征会导致假阳性率降低并增加假阴性率，因为在跌倒事件后不一定发生缺乏显着移动的事实。然而，跌倒检测系统的主要关注点是实现低假阴性率，即其目标是检测所有跌倒事件，即使其中一些不是真的（误报警）。因此，我们倾向于从分析中排除第三个特征。
最后，决策机制使用上述特征，以表示跌倒并触发警报。使用半监督方法离线初始化该机制。
捕获的帧
决策机制
图像分割
垂直运动速度
人体检测
姿势分析
跌倒警报
图1跌倒检测系统架构
3.3 视觉约束和挑战
在这项工作中，我们专注于两个不同的事情。首先，我们希望开发一个强大而低成本的系统，该系统将使用简单的低端网络或IP摄像机。其次，该系统必须能够实时操作。鉴于设备限制和问题的性质，并且知道我们的系统性能本质上取决于图像分割的效率，因为它是跌倒检测过程中的第一步，我们应对以下挑战：
1.分割算法必须能够处理杂乱和纹理背景。
2.系统必须在动态变化的视觉条件下正确操作，例如可变照明。
3.根据摄像机位置，瀑布可以在任何方向上发生，并且必须被检测到，即使人类被部分遮挡也是如此。
4.决策机制必须是健全的，以区别于其他可能看起来像跌倒的普通人类活动，但它们不是，例如坐着和弯曲。
5.跌落是突发事件，因此整体跌倒检测过程必须以低计算成本和存储器要求为特征，以便实时操作。
在以下部分中，我们将逐步描述跌倒检测过程，并将展示我们如何应对这些挑战。
4、图像分割
在本文中，术语图像分割算法涉及背景减除和前景提取技术。对于跌倒检测系统的图像分割技术的要求被定义为已知67％的人类跌倒事件发生在患者家中或靠近患者家中。这些要求在操作模式方面可分为两类：室内环境操作要求和室外环境操作要求。
室内和室外环境操作之间存在一些差异。由于人造光源，照明条件可以在室内环境中显着地和突然地改变，而在室外环境中，照明通常会逐渐地和缓慢地改变。此外，与室内环境相比，室外环境呈现更复杂的背景，具有更高的背景运动和更多的移动物体。
我们的方法利用最好的组件来适应操作要求的需要。换句话说，不同的分割技术用于室内和室外环境。术语室内环境对应于患者的家，诊所，养老院，而室外环境指的是靠近患者家（例如后院，花园）的区域。因此，评估了三种分割技术。他们每个人都使用不同的方法来分割问
资料编号：[3379]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
