Expert Systems with Applications 39 (2012) 5935–5945
Contents lists available at SciVerse ScienceDirect
Expert Systems with Applications
journal h omepag e: www.elsevier.com/locate/eswa
Eigenspace-based fall detection and activity recognition from motion templates and machine learning
David Nicholas Olivieri uArr;, Ivaacute;n Goacute;mez Conde, Xoseacute; Antoacute;n Vila Sobrino
Computer Science and Engineering, University of Vigo, Spain
a r t i c l e i n f o
Keywords:
Human fall detection Human motion analysis PCA
Eigenspace classification
a b s t r a c t
Automatic recognition of anomalous human activities and falls in an indoor setting from video sequences could be an enabling technology for low-cost, home-based health care systems. Detection systems based upon intelligent computer vision software can greatly reduce the costs and inconveniences associated with sensor based systems. In this paper, we propose such a software based upon a spatio-temporal motion representation, called Motion Vector Flow Instance (MVFI) templates, that capture relevant veloc- ity information by extracting the dense optical flow from video sequences of human actions. Automatic recognition is achieved by first projecting each human action video sequence, consisting of approxi- mately 100 images, into a canonical eigenspace, and then performing supervised learning to train multi- ple actions from a large video database. We show that our representation together with a canonical transformation with PCA and LDA of image sequences provides excellent action discrimination. We also demonstrate that by including both the magnitude and direction of the velocity into the MVFI, sequences with abrupt velocities, such as falls, can be distinguished from other daily human action with both high accuracy and computational efficiency. As an added benefit, we demonstrate that, once trained, our method for detecting falls is robust and we can attain real-time performance.
。 2011 Elsevier Ltd. All rights reserved.
- Introduction
Automatically determining human actions and gestures from videos or from real-time surveillance cameras has received consid- erable attention both in the academic literature and in commercial applications. Intelligent surveillance systems for the health care industry are particularly attractive since they promise to increase the quality of remote care as well as reduce the growing costs of present remote care methods. Indeed, due to the marked increase in the percentage of elderly persons compared to that of working age population, intelligent home surveillance systems and applica- tions will play an important role in future personalized care sys- tems. For the elderly, video based monitoring could provide a convenient and comprehensive detection system for anomalous behavior, such as falls or excessive inactivity.
In general, determining human motion is a difficult problem in computer vision, and there are many different approaches, including tracking the full 3D body motion with multiple cameras, to Bayesian inference tracking. A recent review by Poppe (2010), provides an up- dated account of several of the most successful methods. For obtain-
uArr; Corresponding author. Address: Universidad de Vigo, E.S.E. Informaacute;tica, 32004 Ourense, Spain. Tel.: 34 988387026.
E-mail addresses: olivieri@ei.uvigo.es (D.N. Olivieri), ivangconde@uvigo.es
(I. Goacute;mez Conde), anton@uvigo.es (X.A. Vila Sobrino).
ing information about more limited human motions, such as anomalous activities and falls, the full 3D tracking produces an over- abundance of information at the cost of huge computation. Indeed, a more simplistic and computationally viable approach can be found from work on human gait characterization, where dimensionality reduction transforms a sequence of images into points within a canonical space for the purpose of distinguishing types of human gaits by Huang, Harris, and Nixon (1999a) and disorders such as de- grees of Parkinson by Cho, Chao, Lin, and Chen (2009). More recently, other authors have described fall detection systems based upon vi- deo sequences (see Liu, Lee, amp; Lin, 2010) using similar techniques.
This paper describes a computer vision software system and algorithms for the detection of human activity using a canonical eigenspace transformation of a novel spatio-temporal motion tem- plates. Machine learning algorithms are applied for discerning the following common activities: walking, walking exaggerated, jog- ging, bending over, lying down, and falling. We show that fall detection can be accomplished with considerable accuracy without the use of sensors nor a full reconstruction of the 3D human pos- ture. Thus, it is an effective and inexpensive method that can be implemented for real-time monitoring.
In particular, we introduce a new representation, denoted MVFI (Motion Vector Flow Instances) templates, which together with eigenspace methods, provide robust detection for a wide class of indoor human motions. The MVFI template encodes the both the
0957-4174/$ - see front matter 。 2011 Elsevier Ltd. All rights reserved. doi:10.1016/j.eswa.2011.11.109
size and direction of the optical flow vector from each frame of a motion sequence. Instead of col
剩余内容已隐藏，支付完成后下载完整资料
内容列表可以在SciVerse ScienceDirect上找到
应用专家系统
期刊e: www.elsevier.com/locate/eswa
运动模板和机器学习的特征空间跌落检测和活动识别
David Nicholas OlivieriuArr;伊凡·戈麦斯Conde Xose安东维拉Sobrino
西班牙维哥大学计算机科学与工程
摘要
通过视频序列自动识别人类异常活动和室内环境中的跌倒，可能成为低成本、以家庭为基础的卫生保健系统的一项可行技术。基于智能计算机视觉软件的检测系统可以大大降低基于传感器系统的成本和不便。本文提出了一种基于时空运动表示的运动矢量流实例(motion Vector Flow Instance, MVFI)模板软件，该软件通过从人类动作的视频序列中提取密集的光流来获取相关的速度信息。自动识别是通过首先将每个人类动作视频序列(大约100幅图像)投影到一个标准特征空间中，然后进行监督学习，从一个大型视频数据库中训练多个动作来实现的。我们证明了我们的表示法结合PCA和LDA对图像序列的正则变换提供了很好的动作识别能力。我们还证明，通过将速度的大小和方向都包含到MVFI中，具有突然速度的序列，如瀑布，可以与其他日常人类行为区分开来，具有较高的准确性和计算效率。另一个好处是，我们证明，一旦训练，我们的方法检测跌倒是稳健的，我们可以获得实时性能。
.
关键词:
人体跌倒检测 人体运动分析 PCA 特征空间分类
- 介绍
无论是在学术文献中还是在商业应用中，从视频或实时监控摄像头中自动确定人的动作和手势都受到了广泛的关注。卫生保健行业的智能监测系统尤其具有吸引力，因为它们承诺提高远程保健的质量，并降低目前远程保健方法日益增长的成本。事实上，由于与工作年龄人口相比，老年人的比例显著增加，智能家居监控系统和应用将在未来的个性化护理系统中发挥重要作用。对于老年人来说，视频监控可以为摔倒、过度不活动等异常行为提供方便、全面的检测系统。
一般来说，人体运动的确定是计算机视觉中的一个难点问题，贝叶斯推理跟踪方法有很多种，包括利用多个摄像机对人体的三维运动进行全程跟踪。Poppe(2010)最近的一篇综述对几种最成功的方法进行了更新。为获得对于更有限的人类运动信息，如异常活动和下落，完整的3D跟踪产生了大量的信息，以巨大的计算成本。实际上,一个更简单和计算上可行的方法可以从工作中找到对人体步态特征,在降维变换序列图像点的规范空间内为目的区分类型的人体步态的黄,哈里斯和尼克松(1999 a)和帕金森的疾病如de -希腊曹、曹、林、陈(2009)。最近，其他作者使用类似的技术描述了基于vi- deo序列的跌落检测系统(见Liu, Lee， amp; Lin, 2010)。
本文介绍了一种利用典型特征空间变换的新型时空运动瞬变板检测人体活动的计算机视觉软件系统和算法。机器学习算法用于识别以下常见活动:走路、走路夸张、慢跑、弯腰、躺下和摔倒。我们证明，在不使用传感器或不完全重建人体三维形态的情况下，可以相当准确地完成跌落检测。因此，它是一种可以实现实时监控的有效且廉价的方法。
特别地，我们引入了一种新的表示形式，表示为MVFI(运动矢量流实例)模板，它与特征空间方法一起，为广泛的室内人体运动提供了鲁棒检测。MVFI模板对两者进行编码运动序列中每一帧光流矢量的大小和方向。而不是整个块着色相同的颜色(如建议的MFH(运动流历史)在文卡特什先生和Ramakrishnan(2004)，我们分别在x和y方向上表示盒子的大小。这使得我们能够高精度地分辨垂直和水平的运动，这是跌落检测算法所需要的。在我们的方法中，MVFI tem板被提取并投射到一个正则特征空间中。投影图像模板用于训练LDA分类器来识别一组六种人类行为。这项技术很有效，因为它对大的水平和垂直速度特别敏感，就像在瀑布中遇到的那样。
2.相关工作
larson amp; Bergmann(2008)最近的研究中发现了跌倒检测的动机，他们描述了老年人跌倒的病因。Moylan amp; Binder(2007)对老年人跌倒的健康风险评估进行了研究，并提供了充足的数据来证明跌倒作为一种主要健康风险的严重性。例如，在65岁以上的人群中，每年有近三分之一的人摔倒，其中10-15%的人会造成严重伤害。更重要的是，75%的骨折患者无法恢复以前的活动水平，这对生活质量造成了严重的影响。
在学术文献中，有几种方法报告了使用适合家庭监测的技术来检测跌倒。然而，为了为家庭环境建立可靠的跌落检测系统，了解典型跌落的特征是很重要的，这已经被一些研究者描述过。Wu(2000)特别地从正常活动中获得了物体下落的速度特性，并利用这些信息建立了一个检测系统。在他们的系统中，他们使用身体标记和摄像机来检测标记，这使得他们能够识别出在摔倒事件中身体运动的独特特征。从这些信息中，他们得到了标记的时间轨迹和垂直速度。通过测量日常活动，如下楼梯、捡东西、进出浴缸和躺下，他们能够量化这样一个事实，即摔倒(向前、向后和绊倒)产生的水平/垂直速度是正常活动产生速度的两到三倍。
随后来自Bourke, O #39;Donovan， amp; OLaighin(2007)的研究使用人体标记和特殊的视频硬件来获取关于秋季事件的广泛的速度剖面数据。实验是经过精心准备的，实验对象会掉入0.75米厚的垫子中，从而在不伤害实验对象的情况下，使跌落动力学尽可能的真实。他们从实验剖面上确定了一个垂直速度阈值，这个阈值足以用传感器探测到下落。基于传感器的系统也在Noury等人(2007)的工作中进行了详细的描述，他们研究了跌落检测的基本原理和传感器在实际应用中的几种选择。为了更好地描述瀑布，Nyan, Tay, Tan， amp; Seah(2006)利用高速摄像机的角速度特性对瀑布进行了测量和分析。尽管如此，这些系统主要使用的传感器，用户必须经常佩戴，这可能是笨重的，并容易停用。
Chen, Bharucha， amp; Wactlar(2007)在工作中描述了纯粹基于实时视频监控的检测。Williams, Ganesan， amp; Hanson(2007)研究了更复杂的深度场，他们考虑了分布式智能摄像网络来探测家中的跌落。最近，Liu et al.(2010)使用Zer- nike多项式和k近邻分类器从日常活动中提取秋季事件，该多项式捕捉运动的角分量作为多极展开。在计算机视觉社区中，确定视频场景中的人类行为已经有了很长的历史，并且已经足够成熟，值得最近发表几篇调查文章。Forsyth, Arikan, Ikemoto, O #39;Brien， amp; Ramanan(2006)描述了人体的运动学跟踪，以及理解运动的努力。最近，Poppe(2010)的一项广泛调查描述了标记人类行为图像序列的最成功的方法。
为了能够完整地描述人体运动，已经开发了几个系统，可以有效地将二维跟踪提升到三维。例如，Deutscher amp; Reid(2005)描述了使用带有26个可移动的an- gles的stick模型，并在每个节点上使用粒子过滤器来重建整个人类运动。Bobick amp; Davis(1996)通过一种被称为运动模板的基于表象的代表怨恨来描述活动识别的经典工作。他们引入了MHI(运动历史实例)和MEI(运动能量实例)tem- plate，试图捕捉多个图像的信息。Venkatesh Babu和Ramakrishnan(2004)利用相同的运动模板形成了特征向量，表明视频序列中的几个人类动作可以进行高精度的分类。现代方法，由Meeds, Ross, Zemel， amp; Roweis(2008)描述，使用贝叶斯图形模型来推断人类和动物运动的连接棍模型，而不强加运动类型的先验知识。Felzenszwalb, Girshick, McAl- lester， amp; Ramanan(2010)展示了如何使用多尺度可变形部件模型从视频中提取运动细节
没有先前的对象模型。I_kizler amp; Forsyth(2008)已经证明
人体各部分的原子三维运动与隐马尔可夫模型(HMMs)相结合，可用于复合运动，就像音素组合成单词一样。其他值得注意的刻画人类行为的方法包括:Han, Wu, Liang, Hou， amp; Jia(2010)，他们使用了层次化流形空间;Kellokumpu, Zhao， amp; Pietikainen(2010)，他们使用了动态纹理。
虽然这些方法的目标是提供对人体运动的完整描述，但对于实时应用程序来说，它们的计算成本很高。对于目前的跌倒检测，这是特别正确的，因为目标是区分运动的类型。在这种有限的情况下，依赖于时空信息的技术更适合和更有效。时空信息可以被编码为一个运动tem- plate表示，捕捉帧之间的运动特征，无论是位置或速度的形式。结合PCA等降维算法，这些方法可以对不同类型的运动进行分类。该思想起源于Etemad amp; Chellappa(1997)对特征脸的研究，他们采用线性判别分析(linear discriminant analysis, LDA)，也称为规范分析(canonical analysis)来优化不同人脸类别的可分性。该方法的基本观点是，虽然人脸的基本特征是相同的，但协方差在人脸识别中起着重要作用。将特征空间变换的思想应用于人体运动的特征空间变换中，首先描述了基于人的步态进行识别的方法。Murase amp; Sakai(1996)较早地提出了利用特征空间变换分析步态的方法，他们证明了时空相关性对区分不同类型的运动的影响。Huang, Harris， amp; Nixon (1999b)， Huang et al. (1999a)采用主成分分析法对不同人群的步态进行分类。它们引入了一个变换到正则特征空间的概念，首先由一个主成分分析，然后是一个费雪LDA来减少类内方差同时最大化类外方差。Das, Wilson, Lazarewicz， amp; Finkel(2006)采用了一种两阶段主成分分析方法，第一阶段降低了维度，第二阶段对新空间中的曲线进行比较。在步态识别的一个有趣的应用中，Cho等人(2009)展示了基于步态的老年帕金森病患者帕金森程度的PCA分类器。
图1所示。训练和测试跌落/动作检测器的工作流程。学习阶段将一组与不同动作类相关的图像序列转换为时空运动模板，这些模板随后映射到一个标准特征空间。将测试序列变换为相同的特征空间，利用距离度量进行分类。
如前所述，基于运动模板的主成分分析特征空间方法得到了广泛的研究。运动tem- plate可以是轮廓，从前景/背景减法(帧差)，或可以基于时间平均老化的光流。Davis amp; Bobick(1997)和Bobick amp; Davis(2001)使用了运动能量图像(MEI)和运动历史图像(MHI);这些是二值累积运动图像和时间历史运动图像。在Huang et al. (1999b)和Huang et al. (1999a)的工作中，使用了MHI和MEI。Venkatesh Babu和Ramakrishnan(2004)采用了MHI和MFH(运动流历史)的思想。利用MHI和MFH提取的特征对KNN、Bayes、神经网络和SVM分类器进行训练，对一组7人的动作进行记录。运动模板的最新变化在Ahad, Tan, Kim， amp; Ishikawa(2009)(时间运动识别)和Ahmad amp; Lee(2010)(可变轮廓)中有描述。这些最近的论文强调了对特征空间方法的兴趣，以及模板工程与分类方法可以大大提高整体识别结果的事实。
3.理论与算法
我们采用的基于主成分分析的特征空间方法由几个协调步骤组成，目的是训练我们的系统自动检测视频序列中的跌落和动作。首先，一组规范转换(由PCA和LDA组成)dramat——将图像序列的维数减少到多维空间中的一组点，尽管在大小上显著减小。系统的工作原理如图1所示。监督学习是将不同动作、不同对象的多个vi- deo序列训练成运动模板序列，再将运动模板序列转换成正则空间中的点。图像序列在正则空间中产生一个轨迹，因此每个训练过的基于knn的动作都可以用正则空间中大量这类轨迹的均值和方差来表示。因此，通过形成运动模板，将序列转换为正则特征空间，然后从所有训练过的运动类轨迹中选择完整轨迹的最小最小距离，实现对视频序列中动作的识别。
我们的系统有很多细节，每个细节都与之相关数学的正则变换，以及机器学习的过程。
3.1预处理
在本文中，我们使用图1所示的系统对六种不同的人类行为
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[444123]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
