英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
扩展Cack-handed数据集（CK ）：一个完整的表情渐变数据集
Patrick Lucey1,2，Jeffrey F. Cohn1,2，Take Kanade1，Jason Saragossa Ambadar2
宾夕法尼亚州，匹兹堡，卡内基梅隆大学，机器人研究所， 152131
宾夕法尼亚州，匹兹堡，匹兹堡大学，心理学系，152602
patlucey@andrew.cmu.edu, jeffcohn@cs.cmu.edu, tk@cs.cmu.edu, jsaragih@andrew.cmu.edu ambadar@pitt.edu
Cain Matthews
宾夕法尼亚州，匹兹堡，福布斯大道4615号，迪士尼研究,15213
摘要
2000年，Cohn-Kanade（CK）数据库被发布，它的目的是促进自动检测个人面部表情的研究。从那时起，CK 数据库已成为最广泛使用的算法开发和评估测试平台之一。在此期间，个人面部表情识别主要有三个限制：1）虽然AU代码得到了很好的验证，但情感标签并没有得到验证，因为它们指的是所要求的而不是实际执行的内容，2）缺乏一个共同的绩效指标来衡量评估新算法，3）尚未出现常见数据库的标准协议。因此，CK数据库已被用于AU和情绪检测（即使后者的标签尚未经过验证），不仅缺少与基准算法的比较，而且使用原始数据库的随机子集使得元分析变得困难。为了解决这些问题和其他问题，我们提出了扩展Cohn-Kanade（CK ）数据库。CK 序列数增加了22％，受试者数增加了27％。每个序列的目标表达式是完全FACS编码的，并且已经修改和验证了情绪标签。除此之外，还添加了几种类型微笑的非呈现序列及其相关元数据。我们使用主动外观模型（AAM）和线性支持向量机（SVM）分类器来呈现基线结果，根据数据对所提出的AU和情绪检测的这一主题进行交叉验证。情感和AU标签，以及扩展的图像数据和跟踪的地标将于2010年7月提供。
介绍
自动检测面部表情已成为一个越来越重要的研究领域。它涉及计算机视觉，机器学习和行为科学，可用于许多应用，如安全[20]，人机交互[23]，驾驶员安全[24]和保健[17].过去十年来该领域取得了重大进展[21,22,27]在自然主义背景下对非姿势面部行为越来越感兴趣[4,17,25]并提出从多个视图记录的数据[12,19]和3D成像[26].在大多数情况下，一些限制是常见的。这些包括：
- 观察者间表达元数据的可靠性和有效性的报告不一致或不存在。例如，情感标签提到了请求的表达式而不是实际执行的表达式。除非可以量化标签的有效性，否则无法根据手动（人）标准校准算法性能。
- 用于评估AU和情感检测的新算法的常用性能指标。已建立算法的已发布结果将为比较新算法的性能 提供必要的基准。
- 通用数据库的标准协议，以进行可能的定量荟萃分析。
这些因素的累积效应使得各种系统的基准测试非常困难或不可能。这在使用Cohn-Kanade（CK）数据库时突出显示[14]，这是最广泛使用的数据集之一。
开发和评估面部表情分析算法。在其当前分布中，CK（或DFAT）数据库包含97个受试者的486个序列。每个序列包含从起始（中性框架）到峰值表达（最后一帧） 的图像。对于面部动作单元（AU），可进行FACS编码。由于其受欢迎程度，该领域最近的关键进展评估了他们对CK数据库的改进[16,22,25,2,15].然而，如上所述，一些作者在数据库上采用了留一法交叉验证策略，其他人则选择了另一种随机训练/测试集配置。其他作者也报告了广泛情绪检测任务的结果，即使没有经验证的情绪标签与数据集一起分发。由于没有进行可靠的比较，这些因素的组合使得很难评估该领域的当前技术水平。这是目前可用的众多公开数据集中的常见问题，例如MMI[19]和RUFACS[4]数据库（见Zeng等[27]对当前可用的数据库进行全面调查）。
在本文中，我们尝试通过展示Extended Cohn-Kanade（CK ）数据库来解决这三个问题，该数据库顾名思义是当前CK数据库的扩展。我们添加了另外107个序列以及另外26个主题。每个序列的峰值表达是完全FACS编码的，并且参考FACS调查员指南修改和验证了情绪标签[9]通过情感研究人员的视觉检查确认。我们建议使用留一法的主题交叉验证策略和接收器操作员特征（ROC）曲线下面的区域来评估性能以及上限误差测量。我们使用我们的主动外观模型（AAM）/支持向量机（SVM）系统来呈现基线结果。
扩展Cohn-Kanade（CK ）数据集
图像数据
使用两台硬件同步Panasonic AG-7500相机记录210 名成人的面部行为。参与者年龄为18至50岁，69％为女性，81％为欧裔美国人，13％为非洲裔美国人，6％ 为其他群体。实验者指示参与者进行一系列23次面部显示;这些包括单一行动单位和行动单位组合。每个显示器都以中性面开始和结束，并注明所有例外情况。正面视图和30度视图的图像序列被数字化为640x490或640x480像素阵列，具有8位灰度或24位颜色值。该数据库的完整详细信息在[14].
有姿势的面部表情
在原始分布中，CK包括来自97名受试者的486个FACS编 码序列。对于CK 分布，我们进一步增加了数据集以包括来自123个受试者的593个序列（另外107个（22％）序列和26个（27％）科目）。图像序列的持续时间不同（即10到60帧），并将起始点（也是中性帧）与面部表情的峰值形成相结合
非姿势面部表情
在记录CK期间，84名受试者在任务之间一次或多次向实验者微笑。这些微笑在没有开始之前就执行。它们包含在CK 中的初始池。进一步纳入的标准是：
a)开始时相对中性的表情。
b)没有指示所请求的定向面部动作任务。
c)在微笑特征到达峰值之前没有面部遮挡。
d）没有图像花影（例如，相机运动）。来自66名受试者（91％女性）的一百二十二个微笑符合这些标准。百分之三十二伴随着短暂的话语，这在社交背景下并不出乎意料，因此不是排除的标准。
行动单位标签
表达式
对于593个提出的序列，提供了峰值帧的完整FACS编码。通过第二个经认证的FACS编码器对大约15％的序列进行比较编码。观察员间的协议用系数kappa量化，这是协议的比例高于预期偶然发生的比例[10]对于观察者间协议的平均kappas，对于在顶点编码的动作单元为0.82，对于逐帧编码为0.75。在表1中给出了在CK 数据库中编码为AU的数据。FACS代码与峰值帧一致。
表1.在CK 数据库上由峰值帧的手动FACS编码器编码的AU的频率.
非表达式
动作单元的子集被编码用于存在/不存在。这些是AU6，AU12，微笑控制（A15，17，AU 23/24）和AU25/26。对20％的微笑进行了比较编码。通过Cohens kappa系数测量的编码器间协议对于AU6为0.83，对于微笑对照为0.65。
验证情感标签
表达式
我们根据受试者对7种基本情绪类别中的每一种的印象，包括来自具有名义情感标签的593个序列的池中的所有图像数据：愤怒，蔑视，厌恶，恐惧，快乐，悲伤和惊喜。使用这些标签作为基本事实是非常不可靠的，因为这些模仿通常不同于FACS概述的陈规定型。这可能导致影响系统训练的地面实况数据出错。因此，我们根据FACS编码的情感标签标记了CK 。选择过程分为3个步骤：
1.我们将FACS代码与FACS maual[9]的情绪预测表进行了比较。情绪预测表列出了每种情绪的原型和主要变体的面部配置（根据AU组合），除了蔑视。如果序列满足情绪的原型或主要变体的标准，则将其临时编码为属于该情绪类别。在第一步中，通过严格应用情绪预测“规则”来完成与情绪预测表的比较。严格地应用该规则意味着存在未在表中列出的附加AU，或者缺少AU导致排除该剪辑。
2.在第一次通过后，进行了更松散的比较。如果序列包括未包含在原型或变体中的AU，我们确定它们是否与情绪或剧透一致。例如，将考虑突然显示的AU 4与情绪不一致。（AU4是消极情绪或注意力的一个组成部分，而不是惊喜）。在厌恶的情况下，A4将被认为是一致的，因为它是负面情绪的一个组成部分，可能伴随着AU 9.同样，我们评估是否缺少任何必要的AU。表2列出了合格标准。如果Au失踪，其他考虑包括：AU20不应该出现，除了恐惧;除厌恶外，不应出现AU9或AU10。微妙的AU9 或AU10可能存在于愤怒中。
表2.面部动作单元的情绪描述.
3.第三步涉及对表达式是否与目标情绪类别相似的感知判断。这个步骤并不完全独立于前两个步骤，因为包含情感的必要组成部分的表达可能会表现为该情绪的表达。然而，第三步是因为FACS代码 仅描述峰值阶段的表达并且没有考虑导致峰值表达的面部变化。因此，需要从剪辑到开始到峰值 的视觉检查以确定表达是否是情绪的良好表示。
作为该多步骤选择过程的结果，发现593个序列中的327个符合七种离散情绪之一的标准。该选择过程的清单是表3中给出，CK 数据集的示例在图1中给出。
图1.CK 数据库的示例.顶层的图像包含在原始CK数据库中,底部的图像表示扩展数据.数据库中存在8种情绪和30种AU.Emotion和AU标签的例子是：（a）厌恶-AU1 4 15 17,（b）快乐-AU6 12 25,（c）惊喜-AU1 2 5 25 27,（d）恐惧-AU1 4 7 20,（e）愤怒-AU4 5 15 17,（f）蔑视-AU14,（g）悲伤-AU1 2 4 15 17,和（h）中性-包括AU0.
表3.由峰值帧的CK 数据库上的手动FACS编码器检查61情绪的频率。
不带微笑
序列一次一个地投射到大型观看屏幕上，分组为10到17个参与者。参与者在每个项目后的暂停期间记录他们的判断。他们被要求观看整个剪辑并在看到剪辑结尾处的项目编号后做出判断。判断包括微笑类型（逗乐，尴尬，紧张，礼貌或其他），以及微笑强度的李克特式评级（从1=无情绪到7=极端情绪），以及对微笑类型判断的信心（从1=没有信心7=极端自信）。
对于每个序列，我们计算了将其视为有趣，尴尬，紧张，礼貌或其他的参与者的百分比。这些百分比称为判断分数。从五个判断分数中，如果至少50％的参与者认可该类型，并且不超过25％认可另一个，则微笑被分配到模态类型。50％的认可标准代表了最小模态反应。竞争对手类型的25％最大认可用于确保模态响应的离散性。根据这一标准，19个被归类为感知有趣，23个被认为是感知礼貌，11个被认为是感到尴尬或紧张，1个被视为其他。CK 包括模态分数和每个序列的评级。有关使用此部分数据库的详细信息和未来工作，请参阅并引用[1].
基线系统
在我们的系统中，我们采用基于主动外观模型（AAM）的系统，该系统使用AAM来跟踪面部并提取视觉特征。然后，我们使用支持向量机（SVM）对面部表情和情绪进行分类。我们的系统概述如图所示2.我们将在以下小节中描述这些模块中的每一个。
图2.我们的自动系统的框图.使用AAM跟踪面部,从中我们获得相似性标准化形状（SPTS）和规范外观（CAPP）特征.这两个特征都用于使用线性SVM进行分类对于AU检测,我们只使用线性一对二所有SVM（即感兴趣的AU与感兴趣的非AU）.
主动外
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[19895]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
