英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
2011年12月7日至9日举行的2011年智能信号处理和通信系统国际专题讨论会
从动画中提取关键帧的漫画条自动生成
Pakpoom Tanapichet\ Nagul Cooharojananone2, Rajalida Lipikorn*3
数学和计算机科学系
泰国朱拉隆功大学科学学院，曼谷，103301 pakpoom.t@student.chula.ac.th, 2 nagul.c@chula.ac.th, 3 rajalida.l@chula.ac.th
摘要：本文提出了一种从卡通动画中生成漫画的新方法，其目的是以更系统的表现形式覆盖更多的面板内容。考虑 在一般的视频摘要技术中，由于其对高宽比的限制，往往会删除一些重要的内容；因此，本文提出了一种利用全景图技术新方法。 每个关键帧中的详细信息。该概念是获得不同大小的关键帧产生的摇摄和非摇摄镜头。每个生成的关键帧被视为漫画面板。他们是 以漫画书的形式组织起来的。该方法的结果是由各种动画的关键帧生成的漫画板组成的连环画页。 它们比普通的键框更美观，而且它们的内容也与它们各自的漫画改编相似。
视频摘要；动画；漫画；全景图像；镜头边界；光流；面板组织；
(a)
(b)
I 导言
视频个性化已经成为研究人员的热门话题，因为它允许用户快速、高效地从视频中收集特定内容。几种技术 视频摘要是近年来提出的一种新方法。它们中的大多数倾向于从视频中选择最合适的帧(也称为“关键帧”)并使用它们作为代表。这些技术 视频长径比[1]、[2]、[3]、[4]、[5]、[6]、[7]。关键帧通常是根据用户的重要性选择的。这些技术选择了关键帧。 从镜头序列中，它们根据视频纵横比[1]、[2]、[3]、[4]、[5]、[6]、[7]保持帧的维数。
当镜头序列在一段时间内进行平移时，如果只选择一个关键帧，那么关键帧中可能会缺少一些重要的元素，就会出现这个问题。相反，如果两个关键框架被选中以覆盖所有内容，由于对纵横比的限制，应该在同一关键帧上的元素将被分离为两个关键帧。这可以使连续性内容在那些连续的关键帧中被误解，如图1(a)-(b)所示。这些现有的技术也表示没有整洁组织的关键帧。
- Corresponding author
978-1-4577-2166-3/11/$26.00 copy;2011 IEEE
图1.(a)和(b)定高宽比关键帧和(b)的比较一个包含两个重要元素的全景关键帧被圈了起来
本文介绍了一种覆盖动画中多个重要内容的新技术。所提出的技术并不是从帧集合中选择关键帧，而是生成新关键帧根据基于规则的光流。当摄像机被检测为平移时，该方法将生成全景关键帧，从而将多个重要元素组合成一个关键帧。 如图所示。l(c)因此，代表一个视频的关键帧将根据光流而改变其尺寸，而全景关键帧的大小应该更宽或更高。
图1(c)示出了由所提出的技术生成的全景关键帧。它包含了图中的每一个重要元素。l(a)和1(b)。受高宽比限制的框架显然无法避免。 这两个要素都很重要，而全景关键框架则能更好地描述信息的连续性。
本文的主要目的是提出一种新的技术来利用这些生成的全景关键帧，将每个关键帧转换成一个漫画面板。这些面板将被安排为 一页连环画给读者更多的审美表现。
II有关工程及资料
一般来说，视频摘要领域的研究处理用镜头和框架。它被部署为仅提取重要的信息以节省时间和存储空间。这个可以通过确定每个框架的重要性来实现丢弃不重要的帧，只留下关键帧重要。视频摘要领域的最新方法专注于每个元素所代表的元素的重要性关键帧。一种方法[1]，[2]提出了一种直方图错误检测，另一种基于熵差的方法[3]。这些方法设法检索重要的关键帧，他们定义的另外两种方法改进了。通过减少关键帧的数量来提高效率[4]，以及将音频功能纳入账户[5],还有一个努力改进算法在线[6]。尽管如此，所有的这些方法仍然使关键帧的纵横比保持不变是一致的。他们通常会删除一些信息框架边界或尝试通过分割镜头覆盖它们不必要地序列成多个关键帧。一些方法可能并不严格到关键帧的大小，但仍然如此将自己局限于纵横比[7]。
2011 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS) December 7-9,2011
有一些特点，不同的卡通动画和一般的电影视频，促使我们提出这一方法。一些现有的算法处理亮度、透视图、昏暗。 电影中不能应用于动画片的视角，这些动画有时被描绘成超现实的身体，而且与电影不同的是，动画片通常不包含。 一段很长的镜头。镜头边界检测是一种基于镜头转换将视频分割成镜头序列的技术。镜头边界检测结果 埃德·勒，等人。[8]设法满足镜头过渡的一般情况。因此，本文提出的方法将其应用于一般情况下的镜头边界检测。镜头序列也可以b e通过光流分离，光流是两个连续帧之间的运动矢量场。本文将经典的Lucas-Kanade方法[9]应用于光流的反演。
为了解决本文提出的问题，本文采用了将两个或多个重叠的平移帧拼接在一起的全景拼接技术[10]。结果是包含内容的框架。 从所有涉及到缝纫的框架。它通常有不同的纵横比与输入图像，预期更宽或更高取决于摇摄方向。
II提出的方法
本节介绍如何生成和组织漫画。 首先，输入视频的时间代码将按照A部分的描述进行标记。两个连续标记时间代码之间的帧集合将从现在开始称为“镜头序列”。 每个镜头序列将用于使用B部分中提出的全景拼接生成关键帧。然后将ftese关键帧视为漫画面板并将其放入漫画中，如后面C部分所述。
A.时间码标记
在该步骤中，通过使用镜头边界和光流来标记时间码来形成镜头序列。 当拍摄边界包含不同的内容时，应用镜头边界来分离两个镜头序列，同时应用光流来从摄像机平移动作中分离两个镜头序列。
图2.时间代码标记示例。(a)使用镜头边界进行标记.(b)使用光流标记。
图3.光流显示(a)摄像机向下平移.(b)照相机正在放大，(C)照相机正在向右平移。
-
- 镜头边界：根据镜头过渡标记时间码。 根据Le等人的说法，当镜头过渡发生时标记时间。 [8]，如图2（a）所示。 当镜头转换发生在两个连续帧中的内容突然改变的情况下，从这些帧缝合的全景图像将给出一些乱码关键帧。
光学流程：虽然所提出的方法使用镜头边界，但是在没有镜头过渡但是镜头序列是多向平移的情况下，它还需要光流来标记时间码。如果镜头序列正在平移，则光流中的大多数矢量（也称为“全局光流”）指向具有相同幅度的相同方向，并且镜头序列中的对象向相反方向移动。具有指向其他方向的矢量的光流被称为局部光流。如果平移序列改变方向，则全局光流也改变其方向。由于每个镜头序列应仅在一个方向上包含镜头平移，因此只要全局光流改变方向，就会标记时间码。图2（b）示出了具有黑色箭头的帧序列，其指示平移方向。当镜头序列向左平移时标记时间码，然后突然向下改变方向。该标记将序列分成两个镜头序列。图3示出了光流的可视化，其中箭头示出了在相机运动的相反方向上移动的物体的运动。 每个箭头的长度表示运动矢量的大小。 图3（a）示出了在摄像机平移时向上的全局光流点。 图3（b）示出了当摄像机放大时光流指向框架边界的点。图3（c）示出了当摄像机向右平移时向左的全局光流点。 在两种情况下，全局光流中的所有矢量指向具有相同幅度的相同方向。
B.关键帧生成
- 在该步骤中，使用基于规则的光流从在部分A中获得的镜头序列生成关键帧。 每个镜头序列应包含全局光流，通常代表帧的主要组成部分。 所提出的方法将为每个镜头序列生成一个关键帧，以尽可能多地覆盖视频中的特征信息。 镜头序列可分为三大类：
- 非平移：当镜头序列的全局光流保持静止时，镜头序列被称为“非平移”。 还有一些情况是光流指向许多方向，使得全局光流不确定。 换句话说，平移方向是未知的。 可以假设镜头序列没有平移。 当镜头序列被分类为非平移时，镜头序列中仅一个帧被选择作为关键帧。 由于在拍摄序列期间可能存在一些物体运动，因此选择中间帧以在物体移动期间描绘物体是合适的。
- 平移：全局光流时的一次拍摄序列指向具有稳定幅度的一个方向，镜头序列被称为“平移”。如果镜头序列正在平移，则算法生成全景关键帧。为了生成这些关键帧，必须根据需要从镜头序列中直观地选择第一帧和最后一帧。一旦选择了第一帧，就确定从第一个关键帧开始的两个连续帧之间的矢量的大小。如果幅度大于帧宽度（或高度）的一半，则算法将选择后者作为附加帧。然后，算法使用相同的标准来根据需要递归地选择附加关键帧，直到到达镜头序列的最后一帧。然后将这些选定的关键帧拼接在一起[10]。从这种类型的镜头序列生成的关键帧是覆盖相应平移序列中的每个元素的全景帧。
4）缩放：这种类型的镜头序列发生在大多数时候光流的周围环绕某些特定位置，所描绘的物体正在缩小或扩大。 检测到变焦时，将仅选择一帧来表示拍摄序列。 在这种情况下，当镜头序列放大时将选择第一帧，并且当镜头序列缩小时将选择最后一帧。 覆盖大多数内容的框架被选为关键帧。
2011 International Symposium on Intelligent Signal Processing and Communication Systems (lSPACS) December 7-9,2011
A
F
Single
Double
Sidebar
图4.安排的类型。
C.面板组织
在从B部分生成关键帧之后，它们将被组织成连环画面以进行系统表示。 从B部分获得的每个关键帧都成为本节中的漫画面板。 最初，面板组织限制为不超过两列和四行，以便清晰描述; 否则，相应的面板将太小。 漫画的每个页面被初始化为漫画书的标准尺寸，其为2：3（宽度高度）
如图4所示，有三种类型的排列，有五种类型的分类面板：
1）普通面板：从非平移关键帧获得。 图4中的面板C，D和E是正常面板的示例。
2）宽面板：从水平平移获得关键帧。 图4中的面板A是宽面板的示例。
3）半宽面板：从垂直平移关键帧获得，尺寸大于11：9。
4）方形面板：从垂直平移获得尺寸窄于11：9但不小于正方形的关键帧。 图4中的面板B是方形面板的示例。
5）高大的面板：从垂直平移关键帧获得尺寸比方形窄。 图4中的面板F是高面板的示例。规定页面包含四行用于优化，除了页面包含不超过一个双排列的情况。 当面板是单个排列时，它在页面中消耗更多空间，因此页面中的行数减少到三个以适合空间。
使用前面提到的定义和初始设置，按照算法1中的描述执行面板组织，其中P表示所有生成的面板，Pi是第i个面板n是从前面部分获得的所有面板的数量。 该算法从集合中的第一个面板PI开始执行，并且值i沿着该过程递增。 该算法旨在使用通用漫画来组织面板作为示例，而它尝试尽可能地优化页面空间。 它还对面板进行了订购，以便至少减少混淆
算法1.面板组织panelOrganizing(P) while i lt; n
if(isWide(Pi) ) II(isSemiwide(Pi))
setSingle(Pi)
i=i l
else if(isNormal(Pi)amp;amp; isNormal(Pi lraquo;
if(isNormal(Pi 2)amp;amp; isNormal(Pi 3raquo; setDouble(Pi,Pi l)
setSingle(Pi 2)
i=i 3
else if(isTall(Pi 2raquo;
setLeftsidebar(Pi 2)
i=i 3
else if(isSquare(Pi 2)I l isSquare (Pi 3raquo; setDouble(Pi,Pi l)
setDouble(Pi 2,Pi 3)
i=i 4 else
setSingle(Pi,Pi l,Pi 2) i=i 3
else if(isNormal(Pi)
amp;amp;(isSquare(Pi l)IIisTall(Pi l))) setDouble(Pi,Pi l)
i=i 2
else if(isSquare(Piraquo; setDouble(Pi,Pi l)
i=i 2
else if(isTall(Piraquo; if(isNormal(Pi l)amp;amp; isNormal(Pi 2raquo;
se
全文共8523字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[1573]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
