英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料
2020年3月5日
使用显著图和线积分卷积的增强铅笔画的自动生成
Michitaka Hata ；Masahiro Toyoura ；Xiaoyang Mao
摘 要 艺术家通常不会把一幅画的所有区域都画得一模一样，而是试图通过强调重要的东西，同时消除不相关的细节，使作品更有表现力。由于信息选择的主观性，创造有这种加重效应，还富有表现力的绘画形象仍然是一个挑战。本文提出了一种自动将输入图像转换成铅笔画的新技术，该技术具有突出和消除效果。该技术利用视觉注意的计算模型显著图来预测输入图像中的注意焦点。提出了一种新的基于多分辨率金字塔的细节层次控制算法，用于局部调整绘制参数，如铅笔笔划的密度、方向和宽度，使其达到显著图定义的关注度。实验结果表明，该方法生成的图像具有与真实铅笔画相似的视觉效果，能够成功地将观察者的注意力引向焦点。
关键词 铅笔画；显著图；线积分卷积；注意力焦点；多分辨率金字塔
介绍
与照片相比，绘画往往可以通过强调相关的内容而忽略无关的细节来更有效地传达信息。熟练的艺术家可以通过改变图片中的渲染参数来突出焦点，从而成功地将观众的注意力引导到焦点上。本文提出了一种自动将输入的照片转换成具有这种加重效果的铅笔画图像的新技术。铅笔画无论是作为准备草图还是作为成品渲染都非常出色。单色基调和“未完成”的特定意境往往能激起人们的好奇心和想象力，因此也被广泛用作服装或建筑设计和科技插图的表达媒介。由于是单色的，对于强调的效果而言，特别重要的在于实现魅力外观，以及铅笔画的表现力[1]。图1（d）展示了一位艺术家的铅笔画示例。为了将观察者的注意力引向松鼠，他在外部区域消除不相关的细节，并且相应地改变渲染参数，例如笔划的纹理，以突出松鼠。在现有的自动铅笔画生成方法[2]中生成的图1（b）中没有达到这样的加重效果。图1（c）是用所提出的方法生成的结果。我们可以看到松鼠以类似于图1（d）的方式表现出来。
图1：使用显著图和线积分卷积（LIC）生成突出的铅笔画。（a） 输入图像。（b）现有方法[2]的结果。（c） 所提出方法的结果。（d） 艺术家的作品
近十年来，非照片真实感绘制技术的发展，使得模拟包括铅笔画在内的几乎所有传统艺术媒体成为可能。然而，自动创建具有这种强调效果的真正富有表现力的绘画图像仍然是一个挑战。难点主要在于信息选择的主观性。给定同一场景，不同的艺术家可能会通过强调不同的区域或对象来创作非常不同的作品，这取决于他们如何感知或理解场景，以及他们想表达什么样的主题。分析图片之间差异的一个已知视角是表示是以观众为中心还是以对象为中心[3]。以对象为中心的图片，以毕加索的作品为代表，是对艺术家所知即大脑图像的诠释，而以观众为中心的图片则是对艺术家所见即视网膜图像的诠释。虽然以对象为中心的图片中的信息选择可以纯粹是主观的，但是视网膜图像上的显著特征或位置很可能被选择为在以观众为中心的图片中要强调的对象。图2是英国著名艺术家J.M.W.特纳以观众为中心的典型作品。
图2：J.M.W.特纳的一幅以观众为中心的画作《雨蒸汽与西部大铁路的速度》
我们可以看到，他通过模糊其它区域的细节，使火车前部成为焦点。火车的前部很可能是他第一眼看到这一幕就注意到的地方。受特纳工作的启发，我们提出了使用显著图[4]，一种视觉选择性注意的计算模型，来自动预测以观众为中心的图片中的注意焦点的想法。为了突出焦点，我们还提出了一种根据显著性地图给出的注意程度来控制细节级别和笔画外观的技术。我们的主要贡献概括如下：
——一种结合显著图和线积分卷积（LIC）的自动生成具有加重效果的以观察者为中心的铅笔画的新框架。
——提出了一种新的多分辨率方案，通过局部调整不同的渲染参数来达到增强效果。
——提高现有基于LIC的铅笔画生成方法的图像质量的新技术。
——一个评价实验，用于验证增强在诱导观众视觉注意方面的效果。
实验结果表明，该方法生成的图像具有与真实铅笔画相似的重影效果，并能成功地将观察者的注意力引向焦点。
本文的其余部分由以下几节组成。第2节对相关工作进行了回顾。第3节简要介绍了现有的基于LIC的铅笔画生成技术和显著图。第4节通过介绍新技术的基本思想、总体步骤和细节，详细介绍了所提出的技术。第5节介绍了评价实验的一些结果。第6节对论文进行总结。
先前的工作
在这一部分中，我们从铅笔画生成和视觉注意模型在图像抽象中的应用两个方面对相关工作进行了回顾。
铅笔画的生成
铅笔画作为一种最受欢迎的艺术媒介，在过去的十年里也被广泛地应用于非写实主义的绘制中。计算铅笔画的方法主要有两种。第一种方法是对材料和技能进行物理模拟，主要结合交互式绘制或三维非真实感绘制生成真实感的铅笔画图像。第二种方法是绘画过滤，它包括拍摄图像并应用某种图像处理或过滤技术将其转换为视觉上类似于铅笔画的图像。我们的技术采用第二种方法。它以二维图像为输入，自动转换成铅笔画的图像。
作为基于模拟的方法，Sousa和Buchanan通过扫描电子显微镜研究真实的铅笔画，建立了铅笔画观察模型[5,6]。Takagi等人提出了将纸张微观结构和颜色颜料分布建模为三维体数据，并利用体射线跟踪绘制彩色铅笔画的方法[7]。Semet等人使用交互式人工蚂蚁方法从参考图像生成铅笔画[8]。Melikhov等人使用磁盘B样条曲线将图像转换为铅笔画笔划，且拥有内部物理模拟[9]。Lee等人开发了一种基于GPU的实时绘制技术，用于使用铅笔绘图风格绘制三维网格[10]。
最近，AlMeraj等人，[11] 根据人体手臂运动的物理模型以及对人体笔画的观察分析，设计了一种在视觉上类似于人类笔画的线条生成算法。
在大量基于图像处理或滤波的铅笔画生成技术中[12-18]，一个主要的方案是使用线积分卷积（LIC）。LIC是一种基于纹理的流场可视化技术，它通过沿矢量场的局部流线对白噪声进行低通滤波来可视化流场。受LIC图像中笔画和流线痕迹之间视觉相似性的启发，Mao等人提出了一种通过将输入图像的抖动版本与定义笔划方向的向量场卷积自动将2D输入图像转换为铅笔画的技术[2]。该方法已推广到彩色铅笔画[12]和视频[13，14]。最近，我们做了更多的工作来进一步改进基于LIC的方法[15-17]。
然而，据我们所知，以往关于铅笔画的研究主要集中在如何生成真实感的笔画或阴影，而如何自动生成突出的铅笔画的问题还没有被探讨。我们所提出的方法扩展了现有的LIC方案，用于自动生成加重铅笔图。我们采用了一种新的基于多分辨率金字塔的方法来局部调整LIC的参数，使其与相关度相适应，从而突出注意力的焦点。
视觉注意模型在图像提取中的应用
视觉注意模型已经被许多研究所探索，以实现绘画渲染中的抽象效果。DeCarlo和Santella提出了一种根据用户的注视信息来控制样式化图像中细节层次的方法[19]。该方法的优点是能够反映用户的真实意图，但缺乏对眼睛跟踪的要求，限制了其在实际应用中的实用性。我们的方法使用显著图来预测用户的注意力，因此它是全自动的。显著性地图是一种显示视觉注意强度（显著程度）的空间地图。由于大脑的吞吐量是有限的，广角的信息不能在瞬间被处理。因此，人类聚集了多种特征，然后将注意力转移到不知不觉中获得的更为重要的地方。
显著图已经被用于生成其他类型的绘画图像。Collomose和Hall使用显著图生成油画风格的图像[20]。边缘的视觉注意被检测出来，并且只有那些具有高关注度的边缘之后才会被绘制。Winnemoacute;ller等人提出了一种自动实时视频提取框架[21]，在该框架中，低频区域被进一步过滤掉，以便能够进一步强调信息量最大的区域（由高频组成的区域）。Kyprianidis和Kang发表了一系列优秀的论文，使用不同的滤波核和边缘增强技术来获得高质量的实时图像和视频抽象[22-26]。Zhao等人。使用显著图来控制抽象程度[27]。虽然我们的技术可以看作是一种图像抽象技术，并且与使用显著图定义抽象程度的思想相同，但是我们已经开发了一套新的技术，将显著图应用到铅笔画生成的具体应用中。
预备工作
如前几节所述，显著图和基于LIC的铅笔画生成方案是我们构建技术的两个重要基础技术。作为理解所提出技术的算法所需的准备工作，我们在本节中简要描述了使用LIC生成铅笔画和计算显著图的过程。
用LIC生成铅笔画
如图3所示，给定一张照片，Mao等人的技术在以下7个步骤中生成铅笔画图像[2]：
- 从输入图像生成灰度图像。
- 从灰度图像生成边缘图像。
- 通过对在步骤1生成的灰度图像应用随机抖动来生成噪声图像。
- 通过给每个分割区域指定一个随机方向或使用输入图像的梯度来生成向量场。
- 将LIC应用于白噪声和矢量场。
- 通过将边缘图像添加到LIC图像来生成笔划图像。
- 通过将笔划图像与纸张样本合成来获得输出图像（铅笔画）。
图3：用LIC生成铅笔画
利用抖动图像作为噪声，得到的铅笔画具有与输入图像匹配的色调，改变噪声的粒度或LIC中一维卷积核的长度，可以得到不同宽度或长度的铅笔画。在下一节中，我们将描述如何将这些参数调整到局部显著性值以实现加重效果。
显著图
我们使用Itti等人的模型[4]来计算显著图。
如图4所示，首先，以多分辨率从高斯金字塔和Gabor金字塔中提取强度、颜色（红色、绿色、蓝色和黄色）和方向（0°、45°、90°和135°）。然后，通过计算金字塔各层之间的差异，为每个金字塔生成一个特征图，模拟中心环绕型感受野。每个特征映射的多分辨率层被组合成一个显著性映射，其中相似特征被抑制，不同特征被进一步非线性强调。最后，统一显著图的强度、颜色和方向，得到输入图像中每个位置的显著性（或“显著性”）的地形编码显著图。
图4：显著图的计算模型
所提出的方法
基本思路
在真实的铅笔画中，艺术家不仅要控制细节的层次，还要控制笔画的外观，从而达到强调的效果。图5是一个艺术家用铅笔画的例子。聚焦区域（由虚线包围的区域）以清晰和锐利的笔划绘制成精细的细节。虚线与虚线之间的外围区域用粗、平的笔划画出，外部区域简单省略。为了达到相似的效果，该方法使用高斯滤波的显著图，称为绘制图，来定义每个区域的相关性。为了使笔划的密度和外观局部地适应相关性，我们首先从输入图像中建立高斯金字塔，然后根据绘制图中的显著性值从金字塔中选择合适的分辨率来计算噪声、边缘和向量场。
总体步骤
给定任意输入图像，所提出的方法在以下9个步骤中将其自动转换为加重铅笔画（图6）：
图5：焦点及其渲染。通过笔画的对比来附加重音。与虚线和虚线之间的区域相比，虚线的内侧被清楚地画出。虚线的外侧被省略了。沃尔特斯艺术博物馆(http://art.thewalters.org/detail/15810/
little-girl-dressing-her-little-brother/) (CC BY-NC-SA 3.0)
- 从输入图像中生成显著图，平滑显著图得到绘制图。
- 从输入图像生成灰度图像。建立一个多对比度高斯金字塔，对比度随着分辨率的降低而下降。
- 根据绘制地图中像素的显著性值，从多对比度高斯金字塔的不同层中选择像素，生成多分辨率图像。
- 从多分辨率图像生成边缘图像。
- 利用Gabor金字塔生成一个矢量场，在计算显著性图时用于提取方向特征。
- 通过对高斯金字塔的每一层应用随机抖动来生成噪声金字塔。
- 将LIC应用于噪声金字塔和向量场以生成LIC金字塔。然后根据绘制图，在LIC金字塔的适当层上选择像素，生成多分辨率LIC图像。
-
通过在多分辨率图像中添加多分辨率边缘图像来生成笔划图像。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[254298]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
