英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
计算机辅助动画制作中的自动漫画匹配
宋志军 于军 周长乐 王鹏
a厦门大学认知科学系，厦门，中国
b厦门大学脑类智能系统福建省重点实验室，厦门，中国
c厦门大学计算机科学系，厦门361005
d合肥工业大学计算机科学与信息工程学院，合肥，中国
文章历史：
收到2011年12月4日收到修改后的表格
2012年6月22日
已接受2012年8月24日可上网2013年3月26日
关键词：
匹配
最大后验最大可能性多对多的对应关系
摘要
传统的卡通动画绘画一直是一项乏味的工作。为了提高该过程的效率，需要开发包括自动插入和着色的自动漫画生成系统。关键帧中卡通人物的自动匹配是系统的先决条件。本文提供了一种新的匹配算法，具有迭代最大后验（MAP）估计和最大似然（ML）估计。具体而言，该算法将卡通匹配制定为多对多标签问题。为了改进匹配结果，采用优化方法来交替进行MAP估计和ML估计。此外，我们使用局部形状描述符来构造对应关系，并且可以实现匹配中的旋转和尺度不变性。实际数据集上的实验结果证明了所提出的自动漫画匹配方法的有效性。
＆2013 Elsevier B.V.保留所有权利。
1.介绍
在传统的卡通制作中，用户进行繁杂的介入和着色过程，以便在各帧之间生成并根据给定的关键帧填充它们的颜色。为了利用计算能力进行高效的动画制作，自动漫画合成，中介和着色功能已添加到计算机辅助2D动画系统中。
对于动画合成，余等人。 [43]提供了一个新的卡通复用框架来合成基于流形学习的漫画[37-41,46]。该框架采用颜色，边缘和形状的多种特征来描述卡通人物，并从现有的卡通数据集合成新的卡通片段。但是，此方法无法在合成的卡通剪辑中生成新帧。与卡通合成的想法不同，Fekete et al。 [9]提供了一种通过插值生成新的卡通框架的基于方法的通信结构。此外，Kort [16]提出了一种自动介入的交互式模型，其中提供了[9]中提到的“不可检测”部分的可能解决方案。但是，这种方法建议用于相对简单的动画风格，如剪切动画。陈等人。 [8]提供了一种在特征点上应用启发式方法的类似方法。由于匹配方法无法实现全局优化，因此相应结构的有效性受到限制。 Seah等人[20,31]提出了MFBA算法包括匹配关键帧和自动插入光栅图像。但是，这种方法不能很好地保持其他类型图像（如卡通人物）轮廓的形状和平滑度。为了解决匹配复杂的卡通人物的问题，余等人[42]基于半监督图形学习[10,11,33-35,44,45]提出了一种新的通信建设框架。具体而言，新框架为对象上的每个点构造了局部补丁，并将这些补丁对齐到一个新的特征空间中，其中对象之间的对应关系可以通过后续的集群进行检测。除了卡通动画中提出的技术之外，在形状匹配[1,23]，形状配准[47]，形状对齐和形状检索[22]中可以找到关于信函构造的相关工作。
匹配的第一阶段是通过适当的描述符来表示卡通人物。已经提出了大量描述符[1,19,21,24-26]来描述形状。然而，在动画制作中，关键帧中的字符通常具有开放形状的复杂结构。因此，形状描述符“形状上下文”[1,23]适用于我们的应用程序，因为它使用相关分布来模拟复杂字符。对于匹配方法，匈牙利算法[27]用于形状上下文匹配[1]。但是，它只能获得一对一的对应关系，所以如何均衡采样点的数量就成了一个问题。基于奇异值分解（SVD）的方法[28,30]也存在同样的问题。早期的谱函数构造方法，如[32,36]，直接对相邻矩阵应用特征分解。由于高维度和数据冗余，这些方法不是健壮和准确。此外，与匈牙利算法和基于SVD的方法类似，它们只能获得一对一的相关性。为了实现多对多的通信，提出了不同的聚类技术[5-7]。然而，这些方法的性能受到大多数情况下用户无法控制的簇的大小的严重影响。
最近，基于图形切割开发了一组新技术[3,15]。使用图形切割的基本技术是为能量函数构造一个专门的图形，以使图形上的最小切割最小化能量。这些方法已经成功地用于各种各样的应用，包括图像分割[4,18,29]，图像恢复[2,3]，图像合成[17]，多场景重建[14]和医学成像[12,13 ]。以图像分割为例，分割任务的目的是将每个标签分配给图像中的一组像素。因此，标签和像素可以形成图形，其中可以使用图形切割来获得最佳的一对多分配。相应地，信函结构可以被认为是标签问题。给定两个字符S和P，可以通过将特征点siisin;S分配给特征点piisin;P来建立多对多的相关性，反之亦然。具体来说，为了估计特征点分配，我们采用迭代优化方案来交替地执行最大后验（MAP）估计和最大似然（ML）估计。 MAP估计问题用马尔可夫随机场（MRF）建模，并且图割算法用于找到MAP估计的解。 ML估计是通过计算高斯模型中的特征点的均值来实现的。总之，我们提出了一个新的多对多卡通信件建设框架。通过最大后验（MAP）估计将对应结构表示为标签分配问题，其中采用图割方法来获得多对多结果。通过将最大似然（ML）估计与MAP过程相结合，可以将对应构造结果迭代地提炼成最优的结果。
2.通过标签分配自动漫画匹配
我们的方法的输入是由全局形状上下文描述符[1]描述的一对关键帧。 两个形状P和Q可以分别由特征点{p1，p2，...，pn}和{q1，q2，...，qm}定义。 ps的形状描述符被定义为坐标系下形状P的其余n-1个点的直方图hs：hs（c）1/4＃{pj：jne;s，pj-psisin;bin（c） }，其中箱体均匀分开对数极坐标空间。 然而，由于全局形状上下文在旋转不变性方面的失效，它不能直接用于我们的应用。 全局形状上下文描述符可以通过使用特征提取[1]中的相关分布和定向来修改，并且它被称为定向形状上下文给定源字符P，每个点psisin;P由60维定向的形状上下文特征I（ps）1/4 [I1（ps），...，I60（ps）]定义。在纸箱匹配中，应提供目标字符Q1/4 [q1，...，qm]。如果我们将它表示为标签问题，则可以将字符Q中的m个点假定为标签，然后目标是找到标签配置f 1/4 {fp | p}。标签fp表示P中的点被分组到Q中的哪个点。对于指定的标签qi，P中有k个点被分组。然后，一个60维向量可以被构造为
ķ
phi;eth;iTHORN;1/4Ieth;qiTHORN;thorn;Sigma;pj，eth;1THORN;
j1/41
用来描述标签qi的属性。这60个组件与I（ps）的相应60个组件具有相似的含义。令Phi;1/ 4 {phi;（ps）}为psisin;P的预测对应标签的并集。如果P和Phi;是已知的，匹配就是找到一个最佳对应配置f#39;，这最大化了标签配置的后验概率
f#39;1 / 4argmax PrffjPhi;，PTHORN;，eth;2THORN;f
其中f#39;可以通过学习过程或初始化估计获得。第3节介绍了标签配置的解决方案。为方便起见，表1列出了本文其余部分使用的重要标记。
3.卡通匹配的框架
图1显示了自动漫画匹配的框架。在步骤1中，生成一对输入关键帧。在步骤2中，这两个帧被采样为两个点集合P1 / 4 [p1，...，pn]和Q1 / 4 [q1，...，qm]，并且这些点由定向形状上下文建模步骤3.之后，在步骤4中，将点psisin;P表示为特征点，将点qtisin;Q表示为标签。进行MAP估计以建立图表表示。在步骤5和步骤6中，迭代地进行图割[3]和ML估计的方法以获得最优标签配置。最后，在步骤7中，基于点对应建立笔画对应关系。
3.1。标签配置的MAP估计
基于字符P和潜在标签特征Phi;，标签f可以
Preth;f jPhi;,PTHORN; 1frasl;4 Preth;Phi;,Pjf THORN;Preth;f THORN; Preth;Phi;,PTHORN;
prop;Preth;Phi;,Pjf THORN;Preth;f THORN;, eth;3THORN;
这是一个MAP估计问题，可以用MRF来模拟。
被定义为
Preth;Phi;，PjfTHORN;alpha;Pi;expeth;-Deth;pi，f pi，Phi;THORN;THORN;，4（
piisin;P
其中D dpi，fpi，Phi;）是数据惩罚函数，它将特征点pi的惩罚与给定的Phi;的标签fpi进行比较。 惩罚函数可以表示为
Deth;pi,f pi ,Phi;THORN; 1frasl;4 ‖Ieth;piTHORN;minus;phi;eth;f pi THORN;‖2 1frasl;4 eth;I1eth;piTHORN;minus;I1eth;f pi THORN;THORN;2
thorn;...thorn;eth;I128eth;piTHORN;minus;I128eth;fp THORN;THORN;2 eth;5THORN;
此外，方程中的Pr Prf。 （2）可以被限制为涉及像素对的MRF
Preth;fTHORN;prop;exp sum; sum; Vpi,pj eth;fpi ,fpj THORN;!, eth;6THORN;
其中N（pi）是点pi的邻域。 Vpi，pjeth;fpi，fpjTHORN;命名为平滑惩罚函数，是一个集体势函数。 在这里，我们采用广义Potts模型来定义平滑惩罚函数
,pjTHORN; Vpi,pj eth;fpi ,fpj THORN; 1frasl;4 lambda;sdot;exp alpha; sdot;Teth;fp≠fqTHORN;
0minus; Ieth;piTHORN;minus;Ieth;pjTHORN; 1 1frasl;4 lambda;sdot;exp@ alpha; Asdot;Teth;f p≠f q
其中lambda;4 0是平滑因子，alpha;4 0用于（pi，pj）对惩罚的贡献，并且如果其论元为真，则T（）为1，否则为0。
从方程 （3），（4）和（6），我们可以得到
Preth;f jPhi;,PTHORN;prop;Pi; sdot;exp minus; sum;
Hence, Eq. (13) can be rewritten as part; 1frasl;4 sum; ‖Ieth;pTHORN;minus;phi;eth;iTHORN;‖2 1frasl;4 0, for each i: eth;15THORN;
expeth;minus;Deth;p ,f!,Phi;THORN;THORN; piisin;P i pi
（9）piisin;Ppi，pjisin;P
Pr（fjPhi;，PTHORN;alpha;Pi;sdot;exp - Sigma;）
因此，方程 （13）可以改写为
part;1/4Sigma;‖Ieth;pTHORN;-phi;eth;iTHORN;‖21/4 0，对于每个i：eth;15THORN;
exp（D-p），f！，Phi;（）piisin;Pi pi
part;phi;eth;iTHORN;fp1 / 4i
根据公式 （13）可以得到Phi;的ML估计
Vpi，pj f fpi，fpjTHORN;：（8）下面的能量函数可以通过取
pi，pjisin;P对数
3.3。算法分析
下面介绍自动漫画匹配算法的细节。算法的细节在表2中给出。此外，还应解释几个问题。
MAP估计是一个NP难题。 Boykov等人。 [3]提出通过搜索图模型中的最小切割来获得近似解。通过计算图形终端之间的最大流量可以获得最小切割。根据参考文献。 [3]，提供了一个有效的最大流算法来管理二元标签问题。此外，还提出了一种称为alpha;扩展[3]的算法来迭代地执行多重标记。在我们的方法中，进行alpha;展开[3]来解决算法步骤3.1中的MAP估计。
现在，应分析算法的计算复杂性。我们算法的主要计算负担是第3步。我们可以使用字符P1 / 4 [p1，...，pn]和Q1 / 4 [q1，...，qm]之间的对应关系作为示例。如果Q中的点用作标签。步骤3.2的时间复杂度为O（n）。在步骤3.1中，采用图割算法[3]（alpha;展开）。该算法在执行步骤3.1时需要O（nmTalpha;）时间来执行MAP估计，其中m是Q中标签的数量，Talpha;是alpha;扩展内部的迭代次数。设T是步骤3.1的执行次数。然后，我们的算法的计算复杂度是O OnTi 1/41mTalpha;）。
4.实验结果和讨论
在本节中，将进行实验来构建卡通动画中复杂人物的相关性。
4.1。实验设置
我们对从真实世界的卡通动画制作中获得的数据集进行实验。因此，每个测试数据集中都有一对关键帧，每个帧都有一个层。两个关键字的数据集在图2中给出。此外，在＃数据集1中的两个关键帧之间添加标度方差，并且在＃数据集2中的两个关键帧之间添加旋转方差。在定向形状上下文计算，箱的数量是60.因此，对于每个点，获得60维特征矢量以表示该特征点。在下面的实验中，我们比较了四种方法：（1）具有匈牙利算法的全局形状上下文（GSC），（2）具有匈牙利算法的面向形状上下文（OSC），（3）具有全局形状上下文（GSC） MAP-ML估计和（4）具有MAP-ML估计的面向形状上下文（OSC）。在实践中，卡通中间词应该基于描述图纸中物体形状的笔画的精确匹配来生成。因此，我们首先获取特征点对应关系，然后构建strok
4.2。评估性能
我们基于两个数据集进行匹配实验。在附图中，在图3和图4中，给出了使用“具有匈牙利语的GSC”，“具有匈牙利语的OSC”，“具有MAP-ML的GSC”和“具有MAP-ML的OSC”的两个数据集的匹配结果。在这些结果中，我们利用红色箭头来指示两个关键帧中的对应点。如图3所示，在字符的两个视图之间构建匹配。这四种方法在信函建设中的表现在图3（a）的四幅图中给出。结果表明，当存在尺度变化和形变时，“OSC与MAP-ML”可以很好地匹配人物鼻子的特征点。但是，“使用匈牙利GSC”，“使用匈牙利OSC”和“使用MAP-ML的GSC”可能导致严重错配。在第1张，第2张和第3张图像中，脸部正面视图中的鼻子点与脸部左下角视图的右眉毛和嘴巴不匹配。在其余的两个子图中（图3（b）和（c）），可以看出，对于建立相关性的“OSC与MAP-ML”的性能也比其他三种方法好得多。此外，图3（a，1-4; b，1-4和c，1-4）的三幅图像清楚地表明，所提出的方法MAP-ML在多对多的对应构造中是有效的。图4给出了#dataset 2的匹配结果。显然，图4（a，1-3）和（a，1-4）表明，“MAP-ML的OSC”比“GSC with MAP- ML“进行匹配。它表明形状描述符“OSC”在处理形状旋转时比“SC”更有效。图5通过这四种方法提供了两个数据集的笔画对应结果。特别是红色箭头表
全文共9519字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[12701]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
