英语原文共 11 页
基于网络摄像头的情绪状态检测
摘要 游戏设计者必须要处理监控游戏玩家的情绪状态这个复杂的任务。游戏中有许多不同的影响玩家情绪的因素。由于游戏的体验经历几乎发生在无意识下，例如有声思维等传统方法可能会干扰游戏体验，从而使获得的结果产生偏差。其他方法包括将电缆和电极装配到播放器监测生物信息。尽管这些设备可以提供非常准确的结果，但它们并不常见，并且可能导致游戏时产生不适感。因此我们提出了一种基于网络摄像头的心率监测方法，它可以用来预测运动员的情绪状态。我们首先分析关于情绪状态的心率变化。这让我们能够找到情绪状态之间的相关性，例如沮丧，感兴趣，挑战和无聊。第二步是用创建一个基于网络摄像头的方法来监控心率。这是通过从面部区域提取RGB通道然后使用降维方法检索底层组件来执行的。从基于网络摄像头的方法获得的结果远非完美，但这是预期的，因为我们在实际条件下进行了测试。最后一个目标是使用从基于网络摄像头的方法获得的心率来预测玩家的情绪状态。预测的准确性高达76%，超出了我们的预期目标。该系统将在Unity 3D中实现，以使其集成和采用更容易。
关键词 图像处理 基于网络摄像头 基于视频 心率监测
非接触式 自适应游戏 有效计算 用户体验 人机交互
简介
在过去的十几年里，计算机硬件得到了大幅地改进，最终导致了具有先进图形，高性能和逼真游戏物理特性的令人印象深刻的游戏引擎的创建。因此，更多的注意力集中在监控玩家的情绪状态，然后可以利用这些状态来使游戏内容适应玩家各自的能力。这类游戏被称为有效游戏。自适应游戏的目标是在用户和游戏之间创建一个循环，称为有效的循环。例如，如果用户当前感觉沮丧的话，游戏应该自动识别它并降低难度。这将逐渐有助降低玩家的沮丧感。作为回报，游戏将再次开始增加游戏难度。
情感游戏基于一种Csikszentmihalyi 和 Csikzentmihaly创建的被称为流动理论的理论。这个理论定义了什么造成了活动，例如玩耍，愉快等概念。这个想法是一项活动应该给人们提供挑战，但不能超出他们的能力范围。这个理论后来被Sweetser and Wyeth用于数字游戏。此外，进行了一项基于流动理论分析玩家体验的研究。该研究强调了适应性游戏的好处，以及如何保持游戏对玩家的吸引力，如图1所示。此外，它还强调了在玩游戏时不打扰用户从而不干扰玩家体验的重要性。
考虑到游戏玩法数据可能不够，监控玩家体验会变得非常复杂。可以使用附加装置，例如，将电缆和电极装配到播放器以监测测量值，例如面部表情，心率和语音。尽管这些设备可以提供显着的效果，但它们并不常见，并且可能会给玩家带来不适。我们这项研究的动机不是利用传统上需要复杂设备的测量，而是使用基于网络摄像头的方法进行提取。例如，有多个系统能够使用网络摄像头识别面部表情。这些系统已经研究了很多年，面部表情的微小变化仍然难以捕捉。另外，最近基于网络摄像头的心率监测方法受到越来越多的关注，并且在短时间内取得了重大进展。这引出了以下研究问题：
“可以使用基于网络摄像头的心率监测方法在大多数情况下预测真实游戏场景中玩家的情绪状态吗？”
该问题结合了在医学领域中使用基于网络摄像头方法监测心率的研究与在数字游戏中进行的用于分析运动员情绪状态变化的研究。为实现这一目标，我们将分析与玩家体验相关的心率变化。然后，我们将构建和评估基于网络摄像头的方法。最后，我们将使用心率预测球员的情绪状态。该项目的可交付成果是Unity 3D组件，可以在任何游戏中轻松集成。
在本研究的其余部分，我们将了解最新技术，然后概述用于实施的设计以及一些实施细节。接下来，我们将描述实验设置并评估为该项目设定的目标。最后，我们将通过说明我们希望实施的一些未来改进来结束。
2.发展现状
Shaker等人创建的系统检查了用户体验与游戏环境变化之间的关系。实验期间使用的游戏来自Super Mario Bros平台。被考虑的玩家状态是参与，挑战和挫折。实验中使用的变量是游戏特征，头部运动和游戏体验问卷（GEQ），它们在每场比赛后都被填充。他们的实验结果表明，参与者的头部运动几乎是失去比赛时的两倍。此外，当玩家获得游戏体验时，这些头部动作趋于减少。此外，不经常玩的玩家进行更多的头部动作，因此，头部动作可以指示玩家经历了多少。从这项研究中获得的另一个结果是，玩家不喜欢太难或太容易的游戏，这遵循了前面提到的流程理论。
在Drachen等人的工作中，分析了关于游戏的心理生理学。在实验中，他们使用了三个第一人称视角的射击游戏（Prey，Doom 3和Bioshock）。考虑到球员的情绪状态是积极效果，负面效果，挑战，紧张，流畅，专注和游刃有余，而使用的变量是心率，GEQ和Electrodermal活动（EDA），用于监测球员唤醒和情绪。在所有比赛中，在负面效果，挫折感和紧张情绪期间心率似乎更高，而在积极效果，流畅，游刃有余和挑战数量低的情况下，心率通常较低。分析了两种不同情景下生理变化与用户体验的关系; 与电脑对战并与另一个人对战。这引入了社交互动因子，如前所述，它是由Sweetser和Wheth创建的GameFlow理论的组成部分之一。被考虑的玩家状态是无聊，挑战，沮丧和乐趣。使用包括心率和问卷等多种输入方式调差。在他们的结果中，他们没有注意到心率变化与情绪状态挫折和无聊之间的任何相关性。该结论与Drachen等人的结果不一致。造成这种差异的原因之一是使用了不同的游戏。另一个原因可能是Mandryka进行的实验缺乏参与者。只有八个参与者参加。 Mandryka使用的问卷类似于GEQ，其中参与者必须通过使用5分李克特量表对声明进行评级来回答诸如此条件无聊的陈述。这些类型的问卷被称为基于评级的问卷。进行了一项研究，以比较基于评级和基于偏好的问卷。这是针对两种不同的游戏Bug Smasher和Maze Ball使用两种类型的问卷进行的。结果表明，基于偏好的问卷往往更加一致，因为它们受个人意见的影响较小。这个想法是不同的人可能对问题中的得分3有不同的定义：游戏在1到5的范围内有多么有趣。另一方面，如果参与者被问到哪个游戏在游戏A和游戏之间更有趣游戏B，那么问题就不那么模糊了。
研究之一——基于偏好的调查问卷，由Yannakakis和Hallam执行。在他们的研究中，他们研究了儿童娱乐中生理学和偏好之间的关系。 在这种情况下，唯一考虑的玩家状态是娱乐（有趣）和用于包括心率和问卷的变量。他们研究中使用的游戏包括Bug Smasher和Space Invaders。 他们的结论是平均心率与娱乐有很强的相关性。最后的研究分析是，其中相机控制的效果与相关性进行了分析心理测量。考虑到的玩家状态包括有趣，挑战，无聊，沮丧，兴奋，焦虑和放松。使用的输入模式是心率（HR），血容量脉搏（BVP），皮肤电导（SC）和基于4替代强制选择（4-AFC）偏好的问卷。 他们的结果遵循Yannakakis和Hallam获得的结果，其中平均心率与乐趣相关。 此外，显示较高的最低心率与兴趣和兴奋有关，而较低的最低心率与无聊有关。 此外，马丁内斯得出的最重要的成果是以下的状态：有趣，沮丧，挑战和无聊的状态。
3.设计方案
本节提供有关所提议系统的规格和设计的说明。系统分为三个部分，如图2所示。
第一个组件是血容量脉冲（BVP）库，用于处理BVP设备。 第二个组成部分是Space Maze，这是该项目中用于实验的游戏。 最后，第三个组件是Unity 3D的Surveillance Suite，它是系统的主要组成部分。 它处理基于网络摄像头的心率监测方法和球员状态预测。
3.1 血容量脉冲（BVP）库
该组件的目的是使用BVP传感器监测播放器的心率并将信号保存在数据库中。 然后在评估期间检索数据，以将从BVP传感器获得的心率与从基于网络摄像头的方法获得的心率进行比较。 该设备的制造商是Wild Divine，该产品被称为IOM Training Hardware，如图3所示。据我们所知，没有可用的C＃库支持该设备。 因此，创建了一个名为IOM Handler的小型库，它可以提取设备输出并返回心脏信号。 这是通过将设备作为人机接口设备（HID）处理并检索字符串流作为输入来执行的。 使用传感器接入点组件，通过对心脏信号应用峰值检测算法来计算心率。
3.2 The space maze
Space Maze是一款在Unity 3D中创建的猎物/捕食者游戏，也是由数字游戏协会提供的。 该游戏基于Maze Ball的，这是其他研究人员之前使用过的另一款游戏[15,28]。 选择这个游戏背后的原因是将评估中获得的结果与之前研究人员所获得的结果进行比较。游戏中的玩家目标是收集所有三个弹丸，然后退出迷宫，同时试图避免在不到120个击中敌人秒。 仅使用一只手（箭头键）来玩游戏，因此可以将BVP传感器连接到另一只手上。 此外，它包含两个单独的级别，可以按任何顺序播放。
Space Maze最初由之前的项目创建，用于分析相机控制的效果。 因此，它包含一个动态相机控制器，它基于约束满足问题（CSP）框架。相机角度根据以下三个变量改变：距离，高度和帧的相干性，如图4所示。
除了游戏功能之外，还添加了另一个组件，即Camera Handler。 此组件的目标是从网络摄像头中提取单个图像（帧），然后将这些帧发送到Surveillance Suite。另一种可能性是将相机处理程序添加到Surveillance Suite而不是游戏中。不选择后一选项的原因是因为相机输入可以用于游戏内的其他功能，例如导航输入。
3.3 适用于Unity 3D的Surveillance Suite
这是系统的主要组成部分，试图预测球员的情绪状态。 该组件分为两部分; 方法访问点和用户模型。 前一部分是基于网络摄像头的方法，用于监控心率。 该方法首先提取头部区域并检测任何头部运动。 然后，它提取RGB通道并使用降维方法分解底层组件。 最后，使用功率谱密度（PSD）计算心率。 后一部分是用户模型，其使用心率与游戏事件一起使用人工神经网络（ANN）来预测运动员状态。 正在考虑的游戏事件是角色与最近的敌人之间的距离，敌人击中的次数和游戏持续时间。
3.3.1 方法访问点
该方法的输入是从网络摄像头接收的图像流。对于每个图像，使用Open Computer Vision（OpenCV）库检测面部区域，该库用于具有类似要求的其他项目[9,17,24]。 然后通过取面部区域中所有像素的平均值来提取红色，绿色和蓝色（RGB）通道。 最后，通过考虑RGB通道可能包含外部噪声，使用维数减少方法来提取底层组件。 该项目中使用的方法是主成分分析（PCA），它是一种线性方法。 其他方法可用，但表明PCA能够实时获得足够的结果。 然后选择PCA返回的三个组件之一。 在这项研究中，使用了第三个组件，因为与其他两个组件相比，它是最准确的。 此外，PCA是使用30秒移动窗口计算的。
在选择组件之后，使用功率谱密度（PSD）来提取心率，其使用快速傅立叶变换（FFT）来计算。 该想法是识别信号的功率如何在频域上分布。 使用的频率范围是[0.75，3]，其对应于心率最小和最大节拍为每分钟45和180。
3.3.2 用户模型
用户模型用于表示玩家的情绪状态。给定一组测量值，称为输入模态或特征，用户模型使用映射来预测玩家的情绪状态。虽然收集的特征越多，预测的准确性越高，但在预测某些情绪状态时，某些特征可能无关紧要。此外，如果不去除这些不相关的特征，则它们可能对用户模型的准确性产生负面影响。消除不相关的特征被称为特征选择，其针对每种情绪状态单独执行。特征选择过程分为两部分;寻找解决方案并评估解决方案。对于该项目，所使用的搜索算法是顺序前向选择（SFS）。另一方面，使用单层感知器（SLP）执行解决方案评估。在检索每个情绪状态的子集特征之后，通过将特征子集输入到多层感知器（MLP）中来创建用户模型，以支持非线性关系。 SLP和MLP都使用神经进化训练，更具体地说是遗传算法。
4.系统评估
本节讨论为评估我们的系统而进行的实验。 首先，我们将解释所考虑的情景和条件。 然后，我们将深入研究从实验中收集的数据，这些数据将用于评估Surveillance Suite组件并将结果与先前设定的目标进行比较。
4.1 实验目标
该项目的第一个目标是分析心率变化与玩家体验之间的关系。 因此，要求参与者在监测其热量的同时玩游戏。随后分析收集的数据。 第二个目标是测试基于网络摄像头的方法。这是通过同时使用BVP传感器和基于网络摄像头的方法比较参与者的心率来实现的。最终目标是预测球员的情绪状态，这结合了前两个目标。参与者必须在使用基于网络摄像头的方法监控心率的同时玩游戏。
4.2 实验设置
通过改变照明条件，实验设置也分为三种情景，如图5所示。使用多种照明场景的原因是之前的研究人员表示，这种基于网络摄像头的方法很脆弱，并且依赖于照明场景。因此，在这三种不同的光照条件下测试该方法将更好地概述该方法的实际精度及其在现实世界中的表现。为了设置这些场景，实验必须在可以控制照明的实验室环境中进行。参与者坐在笔记本电脑前面玩游戏。网络摄像头和BVP传感器连接到笔记本电脑，BVP传感器安装在参与者的手指上。使用的网络摄像头是LogitechWebcam C250，其分辨率设置为640times;480。之前的研究人员将每秒帧数（fps）设置为15或30 [9,12,17,18,23,24]。对于该实验，与先前的研究不同，基于网络摄像头的方法连接到也具有其自身功能的游戏。因此，由于fps可能在整个游戏中变化，因此在游戏过程中计算平均fps。
每个参与者都被要求在所有三个场景中玩两个级别的游戏。 在每个场景之后，要求
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
