英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料
用于监测客户兴趣深度学习的人脸分析系统
摘要
在市场调查中，最令人兴奋的、创新的和有前途的趋势之一是客户兴趣的量化。本文提出了一个基于深度学习的系统来监控客户行为，专门用于兴趣检测。该系统首先通过头部姿态估计来测量顾客的注意力。对于面向广告或感兴趣产品的顾客，系统进一步分析面部表情并报告顾客的兴趣。该系统首先检测人脸姿态;然后分割对面部表情识别重要的面部成分，生成图像化的人脸图像;最后，利用图像化后的人脸图像与原始人脸图像相结合的置信值对人脸表情进行分析。该方法将局部特征与整体面部信息相融合，实现了鲁棒的面部表情识别。利用所提出的处理管道，使用一个基本的成像设备，如网络摄像头，头部姿态估计和面部表情识别是可能的。拟议的管道可以用来监测焦点小组对各种想法、图片、声音、文字和其他刺激的情绪反应。
关键词： 面部表情识别；头部姿态估计；客户监控；卷积神经网络
1.介绍
客户兴趣的量化和测量相关广告和产品的喜爱度对广告很重要(Barretto 2017)。客户满意度调查是一种量化客户兴趣的传统方法，近年来被认为是一种侵入性方法(Barretto 2017)。根据巴雷托(2017)，调查回复率下降，因为从特定人口统计群体收集的数据有限。持续的挑战是找到新的方法来监控客户的兴趣(Barretto 2017)。另一种方法是由销售人员在观看广告或购物阶段观察顾客的行为来记录顾客的兴趣。然而, 这项任务要求每个销售人员都具备特定的技能，而每个观察人员对客户行为的理解可能不同。在这方面，成功的销售-客户互动只发生在少数非常机智和有才华的销售人员身上(Menon和Dubeacute; 2000)。Mis- saglia等人(2017)认为，基于主观情绪感知的方法不一定能正确地捕捉个人情绪状态。相比之下，自动测量提供更准确和可靠的输出。因此，迫切需要开发非侵入性的、客观的、定量的工具来监测客户的兴趣。在市场营销文献中，最近的一个主题是了解人类使用不同工具的选择，如大脑图像(Langleben et al. 2009)，脑电图(EEG) (Ohme et al. 2009;Cook等人2011年)、眼动跟踪(Wedel和Pieters 2000年;Ungureanu et al. 2017)、心率登记(Micu和Plummer 2010)以及其他策略。也有一些研究涉及到顾客行为分类(Popa et al. 2010;Liu et al. 2017, 2018)和客户面部分析研究(Kasiran and Yahya 2007;特谢拉等人2012)。估计客户视觉关注焦点是监控客户兴趣的方法之一。在文献中，一些关于视觉注意焦点的研究是基于头部姿态估计的(Ba和Odobez 2011;Riener和Sippl 2014;Sheikhi和Odobez 2015)。此外，为营销目的检测客户情绪是一个不断增长和具有挑战性的研究领域(Karu-salo 2013)。个人情绪对直觉决策过程有很强的影响(Karu-salo 2013)。情绪积极的人认为事情进展顺利，环境是安全的。但在消极情绪下，他们觉得事情进展不顺利，可能存在需要警惕的事件的威胁(Kahneman 2011)。消费者的情绪和情绪对营销人员很重要(Sahney 2011)。对这些心理状态的准确理解可以指导营销人员设计一种刺激，从而导致积极状态(Sahney 2011)。当消费者处于积极情绪时，他会更容易接受产品、服务和品牌提供(Sahney 2011)。面部表情识别可以帮助我们理解顾客的感受。因此，做出有助于提高销售额的正确决策是可能的。根据Ekman and Friesen(1975)，愤怒、恐惧、悲伤和厌恶被归类为消极情绪，而快乐是积极情绪。惊讶被排除在外，因为它不可能被归类为积极或消极的情绪。Laros和Steenkamp(2005)认为，快乐的消费者会感到乐观、有希望、热情、受到鼓励、高兴、快乐、放松和兴奋。本研究提出一种基于深度学习的系统，着重于头部姿态定位和面部表情识别，以监测客户兴趣。该系统首先检测人脸，然后估计头部姿态方向，以检测视觉注意焦点。假设相机在相关的广告或产品上，所以正面脸显示视觉关注焦点。如果被检测的人脸朝向广告或者感兴趣的产品，然后系统开始识别面部表情。该系统收集特定时间内客户的面部表情，由专家确定。根据收集到的面部表情，系统决定顾客的情绪是积极的还是消极的。图1显示了建议的系统管道。在广告展示或在线广告中使用基本的成像设备，如网络摄像头，头部姿态估计和面部表情识别系统是可能的。因此，可以使用非侵入性、定量和低成本的客户利益监测系统。建议的系统可以用于确定一些因素，如市场营销活动和其他客户感兴趣的业务策略。销售人员也可以根据顾客行为的反馈来改变他们的营销广告。这个平台也可以让销售人员对客户情绪做出有效的反应，从而带来更大的满意度。
图1 提出的处理流水线（p_t预定义时间）
建议研究的主要贡献可归纳为四点：
1.提出了一种非侵入性、客观和定量的顾客兴趣监测系统。
2.建议的系统不保存客户的面部图像，因此它保护了个人隐私。系统只处理当前获取的客户映像，不需要保存进行处理。如果有存档客户面部表情信息的要求，可以将去识别的头像人脸图像存档。图标化的人脸图像包括面部表情数据，同时仍然保护个人隐私。
3.提出了一种多任务3级联CNN (Convolutional Neural Network，卷积神经网络)模型。CNN使用的第三个拟人化图像与原始人脸图像结合的置信度值。拟人化图像的置信度包括部分信息，而原始面部图像的置信度包括整体信息。基于局部和整体信息的融合可以改进面部表情识别。
4.在面部成分分割阶段，系统检测和定位已知的面部成分是重要的面部表情识别，并产生一个图标化图像。在面部表情识别阶段，使用图标化图像的置信度值作为输入，CNN允许引导训练，通过强迫结构的早期层学习检测和定位重要的面部成分。
2 相关工作
文献中的许多论文报告了使用图像或视频解决现实世界问题的方法。运行时对于视频处理很重要，各种框架正在开发以提高速度(Yan et al. 2014a, b;Bayrakdar等人，2017)。对象识别(Yan et al. 2019)、文本检测(Yan et al. 2018a, b)、面部表情识别(Oztel et al. 2018b)、头部位置估计(Riener and Sippl 2014)等可以作为现实世界问题的例子。在本节中，我们检视了本研究的两个主要主题，即面部表情识别和头部姿态估计。
2.1 面部表情识别
自动面部表情识别是一个活跃的研究领域，其应用越来越广泛，如化身动画(Zalewski和Gong 2005)、医疗(Yolcu等人2017)、机器人(De Carolis等人2017)、交通(Shaykha等人2015;Zhang和Hua 2015)，智能环境(Jung-Bae Kim et al. 2013;Takahashi等人2015;Teyeb等人2015;Lozano-Monasor等人2017年)和人机交互(Terzis等人2013年;Zhao等人2013;Niforatos和Karapanos 2015;Baldassarri等人2015;Benmohamed等人，2015;Arigbabu等人，2016;Samara等人，2017)。自动面部表情识别研究通常基于Ekman和Friesen早期作品中定义的六种通用面部表情，即厌恶、快乐、恐惧、愤怒、悲伤和惊讶(Ekman and Friesen 1971)。面部表情识别研究可分为基于几何和基于外观的方法(Pons和Masip 2017)。基于几何的方法侧重于从面部成分之间的位置关系中获得的特征(Pons和Masip 2017)。基于外观的特征定义了由表情引起的面部纹理(Lee et al. 2012;Ghimire和Lee 2013;Perumal Rama- lingam和Chandra Mouli 2018)。目前用于面部表情识别的基于外观的方法包括局部二值模式(LBP)算子(Zhao and Pietikainen 2007)、方向梯度直方图(HOG) (Ghimire and Lee 2012)、主成分分析(PCA) (Sobia et al. 2014)等。
深度学习方法是面部表情分析的最新趋势。Lopes et al. (Lopes et al. 2017)利用CNN网络，结合图像旋转、人脸裁剪、强度归一化等图像预处理技术，仅提取特定的特征用于表情，并对六种基本表情进行了研究。Pitaloka等人(Pitaloka等人，2017)也利用CNN研究了六种基本表达。他们应用了预处理技术，如调整大小、人脸检测、裁剪和数据归一化，包括局部归一化、全局对比度归一化和直方图均衡化。Matsugu et al. (Matsugu et al. 2003)提出了一种基于规则的微笑检测算法和使用cnn的人脸检测算法。
2.2 头部姿势估计
头部姿态估计已经被研究用于不同的目的，如视觉监视(Cheng Chen和Odobez 2012;Kang等人2014年)，驾驶员注意力(Murphy-Chutorian等人2007年;Alioua等人2016)，视觉注意焦点(Ba和Odobez 2009;Riener和Sippl 2014)和机器人(Gaschler等人2012)。
头部姿态估计系统使用不同的方法开发，如基于外观、基于模型、流形嵌入和非线性回归方法(Patac- chiola和canangelosi 2017)。基于外观的方法是将一幅新的头部图像与一组头部姿态模板进行比较，以找到最相似的视图。基于外观的方法的一个缺点是它仅限于估计离散的姿态位置(Murphy- Chutorian和Trivedi 2009)。此外，一些模板需要昂贵的计算图像比较(Murphy- Chutorian和Trivedi 2009)。在基于模型的方法中，几何信息或面部地标位置用于头部姿态估计(Murphy-Chutorian和Trivedi 2009)。基于模型的方法的准确性取决于从图像中推断出的几何线索的数量和质量。流形嵌入方法基于降维技术，如PCA (Mur- phy-Chutorian and Trivedi 2009)。头位估计是通过将图像投影到PCA子空间，并将结果与一组嵌入模板进行比较(McKenna和Gong 1998)。流形嵌入方法的缺点是，外观变化可能受到姿态和身份以外的因素的影响，如照明(Mur- phy-Chutorian和Trivedi 2009)。在非线性回归方法，一个标记的训练集用于创建从图像到姿态的非线性映射(Patacchiola和canangelosi 2017)。非线性回归方法需要一个一致的数据集来训练参数(Patacchiola和canangelosi 2017)。
cnn是一种非线性回归方法(Patacchiola和canangelosi 2017)。cnn对头部姿态定位问题显示了高精度的结果。Tran和Kim(2017)提出了一种用于头部姿态估计的CNN方法。他们的网络由三个cnn组成，对应于三种头部姿态类型，即偏航、俯仰和翻滚。Mukherjee和Robertson(2015)结合基于cnn的分类和回归模型来估计头部姿态。Xu和Kakadiaris(2017)使用从CNN获取的全局和局部特征来估计头部姿态和定位地标。Patacchiola和Cangelosi(2017)使用CNN和自适应梯度方法进行头部姿态估计。
3.1 人脸检测
使用Viola and Jones算法(Viola and Jones 2004)裁剪每张人脸图像以减少背景信息，只保留表情和头部特定姿态特征，该算法在文献中表现突出。维奥拉和琼斯算法基于三个主要思想。第一个想法是一个完整的图像，允许快速特征评估，并降低每帧特征检测的复杂性(Viola和Jones 2004年)。在位置x, y处的积分图像包含了包含此坐标(Viola and Jones 2004)的x, y上方和左侧的像素之和，如Eq. 1所示。
其中ii(x,y)是一个积分像，i(x,y)是一个原始像。积分图像可以通过公式2和3对原始图像进行一次计算(Viola和Jones 2004)。
其中，s(x, y)为累计行和，s(x， -1) = 0, ii(-1, y) = 0。
第二个想法是使用AdaBoost算法选择一些重要的特征来创建分类器(Viola和Jones 2004年)。采用AdaBoost学习算法进行特征选择。每个弱分类器被限制仅依赖于单一特征(Viola和Jones 2004)。设计了弱学习算法来选择单变量矩形的特征，理想地分隔了消极和积极的例子(Viola和Jones 2004年)。弱学习者确定最佳的阈值分类函数来错误分类每个特征的最小数量的例子(Viola和Jones 2004)。弱分类器的定义如下(Viola and Jones 2004):
在hj(x)是弱分类器，fj 是功能, ?j 是一个阈值，pj 表示不等号方向的奇偶性。最后一种技术是在级联结构中结合分类器的方法(Viola和Jones 2004)。组合结构如图2所示。级联分类器通过将注意力集中在重要的图像区域来提高速度性能(Viola和Jones 2004年)。
图2 此联结构示意图(Viola and Jones 2004)
3.2 卷积神经网络
深度学
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[606127]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
