英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
高保真度面部动画捕捉和重新定位轮廓
图1：我们的性能捕捉方法擅长于准确捕捉和重新定位嘴巴和眼皮动作
摘要：人类天生对面部表情的微妙暗示很敏感，尤其是在眼睛和嘴巴的区域。目前的面部动作捕捉方法由于多重限制而无法准确地重现这些区域的运动。摘要本文提出了一种新的性能捕捉方法，该方法着重于面部的感知重要轮廓特征。此外，我们的两步优化方案的输出也很容易被动画师编辑。为了说明我们系统的强度，我们提出了一个重新定位的应用程序，它包含了主要的轮廓线，以将一个参与者的假唱与一个生物的假同步进行映射。
CR类别：i.3.7计算机图形：三维图形和现实主义——动画i.3计算机图形：动画——动作捕捉关键字：面部动画，性能捕捉，面部重定向，轮廓，曲线，混合形状，校正词
- 引言
数字角色，无论是人类还是生物，在电影和视频游戏中都很流行，经常在屏幕上扮演人类角色。通过逼真的图像，提供令人信服的面部动画是一个巨大的挑战，那就是可以表达情感，并与观众交流。康宁汉等人2005年的认知研究;Nusseck等人2008年的研究表明，人类在交流中严重依赖面部表情。例如，微表情有助于解读情绪;而唇读对于理解对话至关重要。即使是这些面部线索和观众的期望之间最细微的不协调，也可能导致1993年的虚假情绪。到目前为止，动画逼真的面孔的艺术仍然掌握在少数专业艺术家的手中。动画的质量取决于建模者是否有能力制作出大量的融合形状，捕捉到演员最独特的表情，以及动画师们制作出一组复杂形状的能力。
性能捕捉技术提供了一种有效的替代方法来创建引人注目的面部动画。同时捕捉演员的面部和身体动作，演员可以自由移动，是一个理想的生产环境。最常见的解决方案是基于标记的视频系统，因为它们是灵活和可靠的。然而，这些稀疏的标记无法提供足够的细节来重现现实面孔上的细微差别。由于从照相机中看到的频繁的自我遮挡，眼睑和嘴巴周围的区域尤其有问题。在实践中，艺术家们必须手动清理动画，通过雕刻额外的融合形状和仔细调整动画曲线。结果有时在艺术家之间是不一致的，很难客观地评价。因此，虽然背景字符可以有效地使用性能捕捉，但高质量的英雄角色仍然是劳动密集型的，而且生产成本很高。
在这项工作中，我们展示了一个能够产生高保真面部动画的艺术家友好系统。我们系统的一个重要特点是将眼睑的轮廓轮廓和内口结合起来，重建精确的动画。给定一组融合和一组2D特性（标记和轮廓），我们的系统会自动地解决形状上的动画曲线，并在序列的每一帧上产生额外的纠正。弯曲形状和矫正剂的组合精确地匹配皮肤、眼睛和内口的运动。虽然与标记等固定的特征相匹配是相对简单的，但与遮挡轮廓相匹配是一个挑战，因为7的轮廓在皮肤上不断变化。因此，我们采用了一种简单而有效的启发式方法，在基于可见性信息的每个帧上动态地将跟踪曲线与网格上的轮廓联系起来。
虽然一个带有固定形状的线性融合变形系统可以提供特定于演员的空间细微差别，比如额头上的皱纹和皮肤上的细褶，但它通常无法捕捉到不同的融合变形之间微妙而复杂的非线性交互。此外，要精确地与少量的blend形状相匹配，很难精确地匹配内口。我们没有让艺术家手工雕刻矫正器，而是在融合变形动画的顶部解决了这些额外的校正形状，以便更好地匹配每一帧的特性，使用拉帕奇安变形方法bo奇和Sorkine 2008。这两步方法不仅增加了运动所需的微妙之处，而且还确保了艺术家可以使用熟悉的融合变形系统来编辑动画。
我们将我们的系统应用于两个具有微妙表情和对话的专业演员的表演。由此产生的动画提供了情感、准确的眼睛眨眼和可读的嘴唇，所有这些都来自于一组稀疏的2D特征。在我们的系统中，在动态选择的遮挡轮廓中，可能会出现具有挑战性的唇部运动。此外，我们还表明，演员的准确表现可以直接驱动一个可信的谈话生物。用一种简单的启发式方法将演员的嘴唇形状扭曲到该生物口中的说话部分，一个假唱的生物就很容易实现。我们的工作展示了在眼睛和内嘴周围加入遮挡轮廓的重要性，并展示了一个制作高质量面部动画的生产测试系统。
- 相关工作
高度详细的面部表情和性能可以在受控环境中被专用的硬件捕捉到。3D扫描技术，如多视角视频Fyffe等，2011年;Ghosh et al . 2011;贝勒等人，2011年，张等人，2004年;章子怡和黄2004;怀斯et al . 2009;李et al . 2009;Mova;空间成像有限公司是用来捕捉皮肤和光度信息的几何细节的。这些技术可以用来制作逼真的数字替身亚历山大等人，2010年;Borshukov et al . 2005]。然而，受限制的捕获环境不适合需要同时进行面部动画和身体动作捕捉的产品。此外，扫描技术无法获得关于内耳和眼睛的准确信息，这对高保真度的表现非常重要。
由于其灵活的捕捉设置，2D视频技术更加合适。无标记技术依赖于纹理信息（AAM Cootes等人，1998年，光学流角和Schunck 1981），自动跟踪视频创和布雷格勒2002年的特征;黑色和Yacoob 1995;Covell和Bregler 1996;Baltrusaitis et al . 2012]。尽管这些方法总体上是高质量的，但这些方法对快速运动和光照变化很敏感，这在固定捕捉中很常见。在生产环境中，由于其在不同环境下的可靠性，基于标记的技术在生产环境中是首选的;Bickel et al . 2007;黄et al . 2011]。然而，追踪的数据很少，而且缺乏精细的皮肤细节。特别地，由于遮挡，很难追踪眼睑轮廓和内唇轮廓。
眼睛和嘴巴周围的面部特征对于高质量的面部动画尤其重要。诸如Live driver tm Image Metrics和HMCamp;GrabberTM dynamixyz这样的商业应用程序只跟踪这些区域的数字木偶，并且取得了令人印象深刻的结果。早期作品，如特佐普洛斯和1993年;巴克斯和布雷克1998年使用了等高线来跟踪这些区域。在我们的工作中，我们使用轮廓来追踪眼睑和内唇的轮廓线，因为它也捕捉到与摄像机垂直的唇部运动。我们还加强了眼角膜的接触，以帮助确定基于图像的曲线的3D位置。
可编辑的面部动画是通过将一个面部钻机Orvalho等人2012年安装到跟踪数据中获得的。使用面部钻机应用之前的知识，可以用来填补从视频中没有捕捉到的缺失信息。例如，指定的融合变形钻井平台被设计用来捕捉演员Pighin等人1999年的独特表现;刘et al . 2008;李et al . 2010;黄et al . 2011;Seo et al . 2011]。目前已经有研究应用基于解剖学的肌肉模型，Sifakis等人在2005年模拟面部动画。结果在物理上是合理的，但很难控制和激活。数据驱动模型可用于训练面部形状的先验或运动的先验，李等人2010;怀斯et al . 2011;马et al . 2008]。然而，培训课程是密集的，很难获得一致的培训数据。尽管我们的工作也建立在一个艺术家所熟悉的融合变形平台上，但我们允许模型外的动画捕捉细微差别，而不依赖于一组复杂的形状。与我们的工作并行的是，李等人在2013年采用了一种类似的方法来使用每帧校正词来进行面部跟踪。然而，为了获得实时的性能，他们在外口周围使用固定的轮廓，而不是内口的遮挡轮廓。
最近，以素描为基础的界面，刘等人，2009;米兰达等人2011年被用来控制面部表情，尤其是眼睛和嘴巴区域。我们的灵感来自于这些方法的易用性，同样地利用眼睛和嘴巴的轮廓来让脸部动起来。
- 性能捕捉管道
我们系统的输入是一个演员的面部表情的视频流，一个演员脸部的中性网格，以及一组为演员打造的造型。然后，我们的系统会自动重新构造给定网格上的面部表情，以匹配从视频中捕捉到的特征。
输入视频由两个同步的高清摄像机记录在一个头盔上的头盔上（图1）。演员戴着stipple的化妆品，在皮肤上提供稀疏的圆点图案。这种设置在电影制作中很常见，因为它与身体的动态捕捉一起工作，为演员的脸部提供最大的覆盖，而且相机相对于头部是静态的。从视频中，我们可以使用一种类似于布雷格勒等人2009年的自动定位跟踪算法来估计相机参数并跟踪这些点。除了追踪的点，我们还会手动追踪上眼睑和下眼睑的轮廓，以及内唇的轮廓（图4（a）），这是脸部的主要轮廓线。内唇曲线从嘴角散发出来，延伸至嘴角。
对于一个输入框，我们通过解决两个优化问题，重建一个匹配跟踪点和曲线的网格。首先，我们计算融合变形权重，以找到给定的融合变形子空间中的最佳形状。接下来，我们通过为给定的帧解决一个额外的融合变形来最小化剩余匹配错误。最后的结果是一个融合变形动画，它捕捉到了精确的眼睑和内口形状的细微差别。动画师可以选择用标准的融合变形编辑工具编辑生成的动画曲线。
- 动画重构
考虑到一组稀疏的2D特性作为输入，我们的目标是通过解决两个优化问题来重建参与者的性能。由于它们使用了相同的约束条件，所以我们将首先描述我们的约束公式，然后是优化框架。
4.1 点约束
2D标记是自动从演员脸上画的点图案自动追踪的。由于它们的位置是固定在皮肤上的，所以我们可以从所选的坐标系中计算出参与者的中性几何的对应点。网格表面的点x用以重心为中心的坐标表示：x=AV，其中A是相对于它的三角形矩阵的以重心为中心的坐标，V=v1，v2，。vn是网格上所有顶点vi的一个向量。
一个给定的二维标记m=mx的二维标记，我和对应的点x在齐次坐标中表示为y，我们把拟合误差定义为它们在图像平面上的距离。cm（V）=mxQ 2 y Q yq 2 y Q 1 y，（1）y=x 1，而Q=q1q1q 2是用标准相机校准框架进行捆绑调整获得的3 4相机投影矩阵。
从两个相机上可以看到3D束在脸部中心的二维标记。因此，我们可以使用bundle调整方法来估计它们的3D位置。下面的3D点约束被用来匹配一个bundle p.cp（V）=x p。（2）我们只在每个帧中使用可见的标记和捆绑包，因此约束的数量可能在不同的帧中有所不同。一个典型的框架包含多达50个3D约束。
4.2轮廓约束
我们的输入轨迹曲线是脸部的主要轮廓：内唇和眼睑跟随轮廓边缘。与外阴唇或鼻唇沟等固定的轮廓不同，主要的轮廓可以自由地在网格表面滑动。例如，当嘴唇流出时，内唇的轮廓会发生变化。我们想要动态地将每个跟踪曲线与每一帧的多边形网格上的边缘轮廓联系起来。一个边缘轮廓包含了网格上的一个边缘循环的连接边的子集。图2（a）显示了口腔区域的几个候选的边缘循环。
轮廓曲线对应关系。为了匹配面部的跟踪曲线，我们选择几何上的边缘轮廓，从相机中可以看到的轮廓边缘的最大数量（图2（a）中的黄色轮廓）。轮廓边缘被定义为一个可见的多边形和一个隐藏的多边形所共享的边。我们把这个选定的边缘轮廓作为一个遮挡的轮廓。
遮挡轮廓与跟踪曲线之间的对应关系是从前一帧的网格中初始化的。因为最优解可能改变遮挡轮廓，我们可以在找到对应和求解优化之间进行迭代，直到收敛。在实践中，我们发现一个迭代足以满足我们所有的示例。通过允许遮挡轮廓在框架内改变，我们可以在复杂的唇部运动中不断地调整嘴唇几何形状。
拟合二维曲线。一旦选择了一个遮挡轮廓来匹配一个跟踪的曲线，我们就会在两者之间创建一个映射。我们首先将所有的轮廓顶点投影到图像平面上，然后我们将遮挡轮廓的端点对齐到跟踪曲线上的相应端点。在我们目前的设置中，我们在口腔区域有四条追踪的曲线：每个摄像头的下唇和上唇的独立曲线。因此，我们将遮挡轮廓分成四个部分，用两个唇角和嘴唇中间作为终点。对于遮挡轮廓上的每一个端点，我们选择最接近的跟踪曲线的投影作为相应的端点。最后，我们使用弧长映射来建立内部点之间的对应关系（图2（b））。因此，用于拟合2D标记的方程（1）可以直接应用于将遮挡轮廓的顶点与跟踪曲线相匹配。
图2：遮挡轮廓和跟踪曲线之间的对应关系。
3 d眼睑曲线拟合。使用可见性信息有助于减少使用2D约束产生的歧义。类似地，我们还可以将以前的跟踪曲线知识合并到我们的框架中。具体地说，我们利用了眼睑在角膜表面滑动的事实，这是一个相对僵硬的物体。我们将这一功能整合在一起，将眼睑曲线从相机上投射到角膜上，以获得3D曲线。利用在跟踪曲线上计算的相应点，我们可以应用方程（2）来匹配得到的3D曲线。
4.3优化框架
我们在每一帧中收集所有的二维标记约束和3D捆绑约束，包括来自跟踪曲线的约束，来制定优化问题。我们最小化的能量是所有约束的平方l2误差。
融合变形配件。第一个优化解决了最适合跟踪标记和曲线的融合变形权重w。给定一个中性网格V0和融合变形基础B，每个融合变形作为一个列，其目标是将变形的网格V（w）=V0 Bw与输入特性相匹配。
min w 2 sum; i=1 omega;iEi(w) s.t. minus;1 le; w le; 1 .(3)
这两个能量项分别是眼睛和内口的2D标记和2D曲线，权重=1.0。由于这两个约束都是线性的，所以我们用二次规划来解决这个问题，以加强边界。结果是一个变形的网格V，在融合变形子空间中。
子空间纠正。根据blend形状的质量，V可能无法准确地捕捉给定的性能。我们想要更好地匹配约束条件，通过求解额外的9个修正形状V，而不引起噪声或过度拟合。这个优化有5个能量项。除了2D标记和2D曲线，我们还使用了眼睑的3D曲线。为了防止对网格几何的任意改变，我们使用了一个co正切加权调和算子约束Meyer等人2002年的正则化。脸部的可变形部分和身体的其他部分之间的网状边界被用作3D点约束，并且它仍然固定在整个动画中。
min ∆V 5 sum; i=1 omega;iEi(∆V). (4)
在我们的实验中，我们使用=1。0来表示调和算子约束，捆绑包和标记;与等高线相关的约束条件=0。5。因为所有的约束都是线性的，我们可以用QR分解来求解相应的线性方程组，得到最小二乘解。
最终的形状将两个优化的解决方案
全文共16874字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[16765]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
