160 IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 19, NO. 1, JANUARY 2017
Dynamic Manga: Animating Still Manga via Camera Movement
Ying Cao, Xufang Pang, Antoni B. Chan, Senior Member, IEEE, and Rynson W. H. Lau
Abstract—We propose a method for animating still manga imagery through camera movements. Given a series of existing manga pages, we start by automatically extracting panels, comic characters, and balloons from the manga pages. Then, we use a data-driven graphical model to infer per-panel motion and emotion states from low-level visual patterns. Finally, by combining domain knowledge of film production and characteristics of manga, we simulate camera movements over the manga pages, yielding an animation. The results augment the still manga contents with animated motion that reveals the mood and tension of the story, while maintaining the original narrative. We have tested our method on manga series of different genres, and demonstrated that our method can generate animations that are more effective in storytelling and pacing, with less human efforts, as compared with prior works. We also show two applications of our method, mobile comic reading, and comic trailer generation.
Index Terms—Camera movement, comics, 2-D animation, semantic estimation.
I. INTRODUCTION
DURING the last few decades, manga, i.e., Japanese comics, has grown to be one of most popular storytelling mediums, consumed by an increasingly larger number of audiences across the world. However, as our viewing experience is shifting to smartphones and tablets, the way to consume comics remains traditional, mainly turning digital comic pages that are converted from print. In an attempt to evolve the medium of comic storytelling, new digital comic formats, such as Infinite Comics and DC Squared [1], have been unveiled recently, which introduces dynamics to static comics by moving comic characters and balloons to tell a story. However, they are often manually created by professional artists using special-purpose tools (e.g., Manga25 [2]) with a lot of authoring efforts. The high production cost makes it impractical to deploy such dynamic formats at a large scale.
Our goal of this work is to create a low-cost system that enables arbitrary users to produce a dynamic format of manga with compelling motion from existing manga pages. Low-cost
Manuscript received July 28, 2015; revised February 15, 2016; accepted August 29, 2016. Date of publication September 14, 2016; date of current version December 14, 2016. This work was supported in part by two GRF grants from the Research Grants Council of Hong Kong (CityU 11200314 and CityU 115112). The associate editor coordinating the review of this manuscript and approving it for publication was Prof. Klara Nahrstedt.
The authors are with the Department of Computer Science, City University of Hong Kong, Hong Kong, China (e-mail: caoying59@gmail.com; pangxufang@gmail.com; abchan@cityu.edu.hk; rynson.lau@cityu.edu.hk).
This paper has supplementary downloadable material available at http://ieeexplore.ieee.org, provided by the authors. The Supplementary Material contains videos. This material is 34.5 MB in size.
Color versions of one or more of the figures in this paper are available online at http://ieeexplore.ieee.org.
Digital Object Identifier 10.1109/TMM.2016.2609415
in our context means minimal user intervention, which allows for large-scale application of our method in practice. However, due to the low-cost requirement, it is infeasible to target for the complex animations used by Infinite Comics and DC Squared because of two technical aspects. First, moving comic characters individually requires accurate masks of every character, which is difficult to achieve without manual efforts since manga drawings mainly consist of monochromatic line drawings. Second, to create compelling motions of individual characters, it is essential to understand the semantic relations among the characters, which are hard to obtain automatically. Hence, instead of moving the foreground contents, we focus on creating the illusion of motion by mainly moving a virtual camera while keeping the contents still. This is, in spirit, similar to the Ken Burns effect [3] widely used in documentary filmmaking, where the illusion of motion is created by panning over and zooming into or out of still photographs over time.
Although it is based on simple camera movements, producing an animation that effectively tells a story is challenging. First, to properly show important contents of manga, we need to automatically detect semantically important comic characters from the monochromatic line drawings. Second, camera movements need to be guided by high-level semantics of the contents (e.g., motion states or emotional states of comic characters), which are not available a priori. Third, camera movements must be well planned, such that they are meaningful and consistent throughout the animation, while also properly aligning with the narrative in the manga pages.
To address these challenges, we present a novel approach for automatically generating a storytelling animation from existing manga pages via camera movement mainly comprising of zooming and panning. Our method also simulates a set of special effects (e.g., shaking camera, motion blurring, and moving motion lines) automatically or with little user intervention. Given a sequence of manga pages in raster format, we begin by automatically segmenting panels and balloons, and detecting comic characters based on contour grouping (see Section IV). With the extracted elements, we infer the motion and emotion states of each panel using a context-aware graphical model based on a set of low-level background visual cues that can be easily and reliably detected. Finally, we use the extracted elements and the inferred semantics to determine the type, path and speed of camera movements over time, ba
剩余内容已隐藏，支付完成后下载完整资料
多媒体，第19卷，第19期。2017年1月1日
动态漫画:通过镜头移动动画
曹颖，徐芳，陈安东，高级会员，电气和电子工程师协会, 刘德华
摘要：我们提出了一种通过摄像机运动来体现动画图像的方法。在现有的一系列漫画书中，我们首先从漫画书中自动提取嵌板、漫画人物和气球。然后，我们使用一个数据驱动的图形模型来从低层次的视觉模式推断每个面板的运动和情绪状态。最后，结合电影制作的领域知识和漫画的特点，我们在漫画中模拟相机的动作，从而产生动画。结果增加了漫画的内容，动画的动作揭示了故事的情绪和张力，同时保持原作的叙述。我们已经在不同类型的漫画系列中测试了我们的方法，并证明了我们的方法可以生成更有效的动画，在讲故事和节奏方面，与之前的作品相比，人们的努力更少。我们还展示了我们的方法，移动漫画阅读和漫画追踪的两种应用。
关键词：摄影机运动，漫画，二维动画，语义估计
引言
在过去的几十年里，日本漫画已经成为最受欢迎的讲故事的媒介之一，被越来越多世界范围内的观众所消费。然而，随着我们的观影体验转向智能手机和平板电脑，消费漫画的方式仍然是传统的，主要是将数字漫画书从印刷版转换成漫画。为了发展漫画故事的传播媒介，新的数字漫画形式，如无限漫画和DC的平方，最近被揭开了，它通过移动漫画人物和气球来讲述一个故事，给静态漫画带来了动力。然而，他们通常是由专业的艺术家手工创建的，他们使用特殊用途的工具(例如Manga25)，有大量的创作工作。高昂的生产成本使得大规模地部署这种动态格式是不切实际的。
我们的目标是创建一个低成本的系统，使任意用户能够在现有的漫画页面中产生动态的漫画格式。
在我们的语境中，意味着最小的用户干预，这允许大规模应用我们的方法在实践中。然而，由于低成本的需求，由于两个技术方面的原因，针对无限漫画和方形数码相机所使用的复杂动画的目标是不可行的。首先，将漫画人物单独移动需要每个人物的准确的面具，这是很难做到的，因为漫画主要是由单色线条图构成的。其次，要创造出引人注目的人物动作，必须要理解人物之间的语义关系，这是很难自动获得的。因此，我们不再移动前台内容，而是主要通过移动虚拟摄像机来创建动作的错觉，同时保留内容。这是一种类似于肯·伯恩斯效应[3]的精神，广泛应用于纪录片制作中，在电影制作中，动作的错觉是通过对静止的照片进行调整和放大来创造的。
虽然它是基于简单的摄像机动作，但制作一个生动的动画讲述一个故事是有挑战性的。首先，要正确地展示漫画的重要内容，我们需要从单色画中自动检测出语义上重要的漫画人物。其次，相机的动作需要由内容的高级语义(如运动状态或喜剧人物的情绪状态)来引导，而这不是先验的。第三，相机的动作必须是精心策划的，这样它们在整个动画中都是有意义和连贯的，同时也要与漫画中的故事保持一致。
为了应对这些挑战，我们提出了一种新颖的方法，它可以自动生成一种从现有的漫画页面中生成的故事动画，主要由缩放和平移构成。我们的方法也模拟了一组特殊的效果(例如，抖动相机，运动模糊，移动的运动线)，或者很少的用户干预。鉴于一系列漫画光栅格式的页面,我们开始通过自动分段面板和气球,和基于轮廓的检测漫画人物分组(见第四节)。与提取的元素,我们推断出每个面板的运动和情感状态使用上下文感知图形模型基于一组低背景视觉线索,可以很容易地、可靠地检测到。最后，我们利用提取的元素和推断的语义来确定摄像机运动的类型、路径和速度，基于电影制作的领域知识和漫画的特点(参见第六节)。
我们用不同的故事节奏和视觉风格测试了我们的漫画系列。我们的研究结果表明，我们的方法简化了漫画内容的动画创作，并能产生比一般漫画更有效的动画效果。
图1所示。我们的方法的概述。根据(a)一个漫画页面(“精灵尾巴”)，我们的方法自动提取(b)面板，卡通人物，气球，和infers(c)每个面板运动状态(慢，中，快)和情绪状态(悲伤，平静，焦虑，兴奋)。然后，它基于(d)提取的元素和估计的语义，生成不同速度的2D摄像机动作(例如缩放和平移)，从而产生一个能够有效地讲述这个故事的动画视频。(a)输入页面，(b)元素提取，(c)语义估计，(d)摄像机模拟，(e)动画。
现有的替代品。我们还演示了两种应用，以方便移动漫画阅读和快速创建漫画预告片。
综上所述，我们第一次尝试通过相机的动作来进行动画的动画效果，并通过以下技术的贡献:1)自动检测漫画人物漫画人物区域的方法;2)上下文感知的图形模型，可以从一系列低层次的视觉模式中对每个面板中的动作和情绪状态进行有力的推断;3)通过结合电影制作的领域知识和漫画的特点，制定相机动作的规划方法。
二背景
动画静止图像:将动画动作添加到一个静态图像中一直是计算机图形社区的兴趣所在。Freeman等人的早期研究[4]用一个带通滤波器在一个图像上产生引人注目的运动错觉。为了使2D静止图像有动画效果，研究人员尝试使用广泛的来源来驱动一些目标对象的运动，包括手绘草图[5]，视频中估计的运动参数[6]，以及3D动作捕捉数据[7]，[8]。一些方法[9]，[10]利用基于物理的模拟合成自然现象的随机动态(例如，涟漪水和摇摆树)来增加场景照片。Xu等[11]从动物群体的静止图像中生成动物的运动序列，通过对个体的快照进行排序，并对有序的快照进行变形以平滑动画。Shlizerman等[12][0]交叉排列的排列整齐的人脸图像，从同一个人的脸部图像集合中生成人脸动画。为了令人信服地讲述这个故事，我们的目标运动应该基于图像内容的高级语义进行精心策划。这本质上把我们的工作和以前的工作区分开来，在这里，合成的运动，无论是随机的还是由用户设计的，都不是为了向观众传达故事情节。
Burns的效果保持一致。虽然我们的方法有一个相似的目标，但是我们的方法有两个主要的不同:首先，他们的方法不考虑内容的语义，而我们利用推断语义来确定虚拟摄像机的时间行为(例如速度)，从而导致更复杂的效果，从而使故事变得更好。第二，他们的方法需要繁琐的过程，在每一个滑稽的面板上收集眼球追踪数据，而我们的方法是低成本的，只需要很少的手工操作。
元素提取、语义估计和摄像机运动仿真。在一个漫画页的栅格格式，元素提取器开始自动标记所有的面板，主题和气球。然后，将被标记的漫画页作为输入，语义估计器使用上下文感知的图形模型来推断每个面板的动作和情绪状态。最后，通过结合电影制作的领域知识和漫画特征，利用估计的语义和被标记的元素来计算摄像机运动的类型、运动轨迹和速度。
四元素的提取
在一系列的漫画页面中，我们的元素提取器会分析每个漫画页面，并将感兴趣的元素，包括面板、气球和漫画人物。
多媒体的IEEE交易，第19卷，不。2017年1月1日
图2所示。漫画人物检测。等高线加厚，以提高其在这个图中的可见度。(a)输入面板，(b)轮廓提取，(c)轮廓选择，(d)轮廓聚类，(e)检测区域。
1.面板和气球提取。
我们用[16]的自动方法提取嵌板。
然后根据它们的边界框来计算提取的面板的读取顺序[17]。为了提取气球，我们首先使用[18]的方法检测面板中的文本区域，这有助于在漫画图像中定位文本行。然后将文本区域填充为白色，通过在文本区域中随机选择的种子点，运行trapped-ball方法[19]来识别气球区域。对于无边界的气球，这种方法可以输出相当不规则的大区域，我们只是把文本区域的包围盒当作探测到的气球来处理。
2 .漫画人物检测
自动提取前景的准确边界。
漫画中的人物是具有挑战性的，因为人物往往是有开放的边界和没有颜色信息。因此，给定一个分段的面板，我们的目标仅仅是检测字符的包围盒，这对于我们将它们框定在矩形窗口中是足够的。，虚拟摄像机(如第六节所述)。
我们的观察是为了强调漫画人物，漫画艺术家们经常用明显的轮廓来画他们。，长、弯、厚的边缘(如人体、脸和头发的轮廓)[20]，而背景物体使用短曲线边缘(例如，自然图像中的树叶或建筑物上的装饰图案)或长直线(例如，建筑物的边界)。因此，我们建议通过检测和分组长、弯曲和厚的轮廓来检测卡通人物区域。注意，在低层次的图像特征上操作将使我们的检测方法非常一般化，并且独立于字符类型(例如，人、动物或机器人)，尽管代价是它对高度混乱的场景的健壮性。然而，我们发现，这种杂乱的场景只是偶尔会被艺术家们用于一些特殊的效果，因为频繁出现的视觉复杂性会影响他们的作品的视觉清晰度。
在输入面板图像I中，我们的字符检测算法分为三个步骤:粗轮廓提取、轮廓选择和轮廓聚类。为了防止在气球和文字上出现假阳性，我们用白色填充气球区域，然后再进行卡通人物的检测。
参考文献：
[1]Cheredar，“DC计划如何发展数字漫画书的故事讲述(提示:更多的蝙蝠侠，更少的噱头)，”2013年。(在线)。效果,
能力:http://venturebeat.com/2013/06/06/how-dc-plans-to-evolve-digital-comic
“Manga25”[2],2015。(在线)。可用:http://manga25.com/en/
[3]“肯·伯恩斯效应”，2013年。(在线)。可用:https://en.wikipedia.org/
维基/ Ken_Burns_effect
[4]W. Freeman, E. Adelson，和D. Heeger，“没有运动的运动”。
Proc. ACM SIGGRAPH, 1991, pp. 27-30。
[5]P. Litwinowicz和L. Williams，“用图画来动画形象”。
Proc. ACM SIGGRAPH, 1994, pp. 409-412。
[6]M. Sun, A. Jepson, E. Fiume，“视频输入驱动动画”，在Proc中。
第9个IEEE Int. Conf. Comput。粘度,2003年,页96 - 103。
[7]. Hornung, E. Dekkers, L. Kobbelt，“2D的人物动画”。
图片和3D运动数据，“ACM Trans图”。,26卷,不。1、2007年艺术。不。1。
[8]E.Jain，“注意力引导算法重新定位和增强动画，静态和视频，”博士论文，卡内基梅隆大学，机器人技术。美国宾夕法尼亚州匹兹堡大学研究所，2012年。
[9]Shinya, M. Aoki, K. Tsuisuguchi和N. Kotani，“动态纹理:基于物理的二维动画”，在Proc. ACM SIGGRAPH中，
1999年。
[10]Y。创等，“随机运动纹理的动画图像”，在Proc. ACM SIGGRAPH, 2005，第883 - 860页。
[11]徐志伟等，“动物运动从静止状态”，《中华人民大学学报》，2008年第1期，第1页，第1页，第1页，第1页，第1页，第1页。
[12]. Shlizerman, E. Shechtman, R. Garg和S. Seitz，“探索photobios”，在Proc. ACM SIGGRAPH, 2011, pp. 61:1-61:9。
[13]“微软照片故事”2016。(在线)。可用:http://en。wikipedia.org/wiki/Photo_Story
[14]Y。曹文轩，刘锦洪，《自动风格漫画的设计》，《亚洲》，2012年第1期，第141页。
[15]Y。曹文轩，刘锦洪，“看这里:漫画元素的关注导向构成”，《中国动漫展》，2014年，第94页。
94:11。
[16]X. Pang, Y。刘德华、陈家强，“一种针对漫画的稳健的面板抽取方法”，第22届ACM Int. Conf.多媒体，2014，1125 - 1125页。
[17]K. Arai和T. Herman，“在移动设备上阅读漫画的自动电子漫画场景帧提取方法”，第7版，Conf。
通知。抛光工艺。:新件。,2010年,页370 - 375。
[18]L. Li, Y。王、唐、十、高，“无监督语音文本局部化”，第12期，第12期。
Recognit,2013年,页1190 - 1194。
[19]张，陈，Y。张，胡，和R.马丁，“矢量化卡通动画”，IEEE Trans。粘度第一版。图。,15卷,不。4、618 - 618页。
7月/ 8月。2009年。
[20]G.办公室，更多如何绘制漫画册1:人物素描的基础。日本东京:Graphic-Sha,2004。
[21]徐丽萍，Y。夏，和J. Jia，“通过相对完全变异的结构提取”，在Proc. ACM SIGGRAPH Asia，
2012年,139:1-139:10页。
[22]黄、杨、刘、吴，“用边缘增强的各向同性非线性滤波器在动画图像中的提取”，在实验中。
虚拟现实连续达成。,2010年,页1214 - 1221。
[23]X. Ren, C. Fowlkes和J. Malik，在Proc. 10 IEEE Int. Conf. Comput中，“使用条件随机字段进行尺度不变的等高线完成”。
粘度,2005年。
[24]Y。Boykov, O. Veksler和R. Zabih，“通过图形切割的快速近似能量最小化”，IEEE Trans。Distrib平行。系统。,23卷,不。11日,
第1239 - 1222页,2001年1
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22096]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
