Transferring Color to Greyscale Images
Tomihisa Welsh Michael Ashikhmin Klaus Mueller
Center for Visual Computing, Computer Science Department, SUNY at Stony Brook*
Figure 1: Colors are transferred to the second image without user intervention. Source image courtesy copy; Ian Britton - FreeFoto.com
Abstract
We introduce a general technique for “colorizing” greyscale images by transferring color between a source, color image and a destination, greyscale image. Although the general problem of adding chromatic values to a greyscale image has no exact, objec- tive solution, the current approach attempts to provide a method to help minimize the amount of human labor required for this task. Rather than choosing RGB colors from a palette to color individual components, we transfer the entire color “mood” of the source to the target image by matching luminance and texture information between the images. We choose to transfer only chromatic infor- mation and retain the original luminance values of the target image. Further, the procedure is enhanced by allowing the user to match areas of the two images with rectangular swatches. We show that this simple technique can be successfully applied to a variety of images and video, provided that texture and luminance are suffi- ciently distinct. The images generated demonstrate the potential and utility of our technique in a diverse set of application domains.
Keywords: Image Processing, Color, Texture Synthesis, Video
1 Introduction
Color can be added to greyscale images in order to increase the visual appeal of images such as old black and white photos, classic movies or scientific illustrations. In addition, the information con- tent of some scientific images can be perceptually enhanced with color by exploiting variations in chromaticity as well as luminance.
The task of “colorizing” a greyscale image involves assigning three-dimensional (RGB) pixel values to an image which varies along only one dimension (luminance or intensity). Since different colors may have the same luminance value but vary in hue or satu- ration, the problem of colorizing greyscale images has no inher- ently “correct” solution. Due to these ambiguities, human interaction usually plays a large role in the colorization process. Even in the case of pseudocoloring, [Gonzalez and Wintz 1987] where the mapping of luminance values to color values is auto- matic, the choice of the colormap is commonly determined by human decision.
Since most colorization software used in the movie industry is proprietary, detailed technical documents describing the process are generally not publicly available. However, a few web articles describe software in which humans must meticulously hand-color each of the individual image regions. For example, one software package is described in which the image is first polygonalized so the user can color individual components much like a coloring book. Then the system tracks polygons between frames and trans- fers colors in order to reduce the number of frames that the user must color manually [Silberg 1998]. Alternatively, photographs can be colorized using photo-editing software to manually or auto- matically select components of a scene. The area is then painted over with a color selected from a palette using a low opacity level.
There also exist a number of applications for the use of color in information visualization. For example, Gonzalez and Wintz [1987] describe a simple approach for pseudocoloring greyscale images of luggage acquired by X-ray equipment at an airport. The method uses separate transformations for each color channel which results in coloring objects with the density of explosives in bright orange and other objects with a blue tone. Further, color can be added to a range of scientific images for illustrative and educa- tional purposes. In medicine, image modalities which only acquire greyscale images such Magnetic Resonance Imaging (MRI), X-ray and Computerized Tomography (CT) images can be enhanced with color for presentations and demonstrations.
Pseudocoloring is a common technique for adding color to greyscale images such as X-ray, MRI, scanning electron micros- copy (SEM) and other imaging modalities in which color informa- tion does not exist. Pratt [1991] describes this method as an “image enhancement” technique because it can be used to “enhance the detectability of detail within the image.” In its most basic form, pseudocoloring is a transformation T [Pitas 1993], such that，
cxy= Tfxy where fxyis the original greyscale image and c(x,y)is the resulting color vector for the three RGB color channels. A simplified example of this method is the application of an arbitrary color map to the data where a single, global color vec- tor is assigned to each greyscale value. The strength of this approach is that it does not alter the information content of the original data since no extra information is introduced. For example, in an pseudo-colored MRI image there will be a one-to-one corre- spondence between each density value and color value, even though the color choice is arbitrary. However, by using a colormap.
which does not increase monotonically in luminance, pseudocol- ored images may introduce perceptual distortions. Studies have found a strong correlation of the perceived “naturalness” of face images and the degree to which the luminance values increase monotonically in the colormap [Rogowitz and Kalvin 2001].
Our concept of transferring color from one image to another is inspired by work by Reinhard et al. [20
剩余内容已隐藏，支付完成后下载完整资料
将颜色转移到灰度图像
Tomihisa Welsh Michael Ashikhmin Klaus Mueller
SUNY计算机科学部视觉计算中心
图1:在没有用户干预的情况下，将颜色转移到第二个图像。图片来源:Ian Britton - FreeFoto.com
抽象
我们介绍一代通过在源图像，彩色图像和目标灰度图像之间传输颜色的用于“着色”灰度图像的技术。虽然将色度值添加到灰度图像普遍问题没有确切的，客观的解决方案，当前的方法是试图提供一种帮思路从而帮助减少此任务所需的人力。相比于从调色板中选择RGB颜色作为个人着色组件，我们通过匹配图像间的亮度和纹理信息将源的整个颜色“意象”转移到目标图像上。我们选择只传送色彩信息并保留目标图像的原始亮度值。此外，通过允许用户来将两个图像的区域与矩形样本匹配来增强程序。我们表明只要图像纹理和亮度足够不同，这种简单的技术可以成功地应用于各种图像和视频。生成的图像展示了我们的技术在不同应用领域的潜力和实用性。
关键字：图像处理，颜色，纹理合成，视频
1介绍
颜色可以添加到灰度图像，以增加图像的视觉吸引力，如老黑白照片，经典电影或科学插图。此外，利用色度和亮度的变化，可以增强感知一些科学图像的信息内容。
为灰度图像”上色”的任务包括为仅沿一维(亮度或强度)变化的图像分配三维(RGB)像素值。由于不同的颜色可能具有相同的亮度值，但在色调或饱和度上有所不同，因此灰度图像的着色问题并没有固有的正确解决方案。由于这些模糊性，人际互动往往在色彩化过程中扮演着重要的角色。即使在伪着色的情况下，[Gonzalez和Wintz 1987]，亮度值到颜色值的映射是自动的，颜色映射表的选择通常是由人类决定的。
由于电影产业中使用的大多数着色软件都是专有的，因此描述这一过程的详细技术文档通常不会被公开或获得。然而，一些网络文章描述了一种软件，在这种软件中，人类必须小心翼翼地为每个单独的图像区域进行手工上色。例如，描述了一个软件包，其中首先对图像进行多边形化，这样用户就可以像着色本一样为各个组件进行着色。然后系统跟踪帧之间的多边形并传输颜色，以减少用户必须手动着色的帧数[Silberg 1998]。或者，可以使用照片编辑软件对照片进行着色，手动或自动选择场景的组件。然后，使用低不透明度级别从调色板中选择的颜色覆盖该区域。
颜色在信息可视化中的应用也有很多。例如，Gonzalez和Wintz[1987]描述了一种简单的方法，用于对机场x射线设备获取的行李图像进行假彩色灰度图像处理。该方法对每个颜色通道分别进行变换，使爆炸物密度较大的物体呈亮橙色，其它物体呈蓝色。此外，颜色可以添加到一系列科学图像的说明和教育目的。在医学上，只有获得灰度图像的图像模式，如磁共振成像(MRI)、x射线和计算机断层扫描(CT)图像，可以用色彩增强，以进行介绍和演示。
伪着色是一种用于向灰度图像中添加颜色的常见的技术，如x射线、MRI、扫描电子显微镜(SEM)和其他不存在颜色信息的成像模式。Pratt[1991]将这种方法描述为一种”图像增强”技术，因为它可以用来增强图像中细节的可检测性。在其最基本的形式中，伪着色是一个变换用T表示[Pitas 1993]，例如这样的表达式:
c（x,y）=T(f(x,y))
其中f(x,y)是原始灰度图像，c(x,y)是三个RGB颜色通道的最终颜色向量。该方法的一个简化示例是将任意颜色映射应用于数据，其中为每个灰度值分配一个单一的全局颜色向量。这种方法的优点是，它不改变原始数据的信息内容，因为没有引入额外的信息。例如，在伪彩色MRI图像中，每个密度值与颜色值之间存在一一对应关系，即使颜色的选择是任意的。然而，通过使用一种不单调增加亮度的色彩映射表，假彩色图像可能会引入知觉失真。研究发现，人脸图像的感知自然度与颜色映射表中亮度值单调增加的程度有很强的相关性[Rogowitz和Kalvin 2001]。
我们将颜色从一幅图像转移到另一幅图像的概念是受到Reinhard等人[2001]的工作的启发，其中颜色在两幅彩色图像之间传输。在他们的工作中，使用一个简单但令人惊讶的成功过程，将源图像的颜色转移到第二个彩色图像。基本方法是将图像之间颜色值的三维分布进行匹配，然后将目标图像的颜色分布转换为匹配源图像的颜色分布。此外，还可以使用样本来匹配两幅图像之间的相似区域。
在本次研究中，灰度图像由一维分布表示，因此只有亮度通道可以在两幅图像之间匹配。由于单个亮度值可以表示图像的完全不同部分，因此使用像素邻域内的统计信息来指导匹配过程。一旦一个像素被匹配，它的颜色信息被传递，但是原始亮度值被保留。在困难的情况下，可以使用一些样本来帮助源图像和目标图像之间的匹配过程。在源色和目标样板之间传输颜色之后，使用L2距离度量将每个灰度图像像素匹配到目标色块中的一个像素，从而为灰度图像中的每个像素分配最终颜色。因此，每个像素匹配都是通过只匹配同一图像中的其他像素来确定的。我们发现，这个简单的过程适用于广泛的图像类型。此外，这些方法很容易引申到到视频处理上。这里，着色过程首先应用于视频序列中的单个帧。然后使用原始帧的着色样条为场景中的其他帧分配颜色。我们发现，对于对象没有戏剧性变化的场景帧，着色过程出奇地好。
2颜色转换算法
在本节中，我们描述了颜色转移的一般算法;然后将基本思想扩展到使用样本。颜色转换的一般过程需要几个简单的步骤。首先每个图像转换成lalpha;beta;颜色空间。我们使用抖动采样来选择彩色图像中的一小部分像素作为样本。接下来，我们按照扫描线的顺序遍历灰度图像中的每个像素，并使用邻域统计在彩色图像中选择最匹配的样本。最佳匹配由像素亮度加权平均和邻域统计量确定。色度值(alpha;、beta;渠道)的最佳匹配像素然后转移到灰度图像,形成最终的图像。使用色板进行颜色转换涉及相同的全局图像匹配过程，但只在源色板和目标色板之间进行。然后，使用纹理合成方法将目标样本区域中的彩色像素作为源像素，将颜色传输到其余的非彩色像素。下面提供了更具体的细节和理由。
2.1全局图像匹配
两种颜色(源)和灰度(目标)RGB图像转换为解相关性的lalpha;beta;空间[Ruderman et al . 1998年]进行后续分析。lalpha;beta;空间开发最小化之间的相关性三个坐标轴的颜色空间。提供了三个解相关性的颜色空间,主要通道对应一个消色差亮度通道(左)和两个彩色通道alpha;和beta;,大致对应于瞳和红绿对手频道。因此，在一个颜色通道中所做的更改应该对其他通道中的值影响最小。lalpha;beta;色彩空间的原因是选择在当前的程序,因为它提供了一个解相关性的消色差通道彩色图像。这使我们能够有选择地把彩色alpha;和beta;渠道从彩色图像的灰度图像没有横跨海峡的工件。转换过程直接遵循Reinhard等[2001]。
为了将色度值从源图像转移到目标图像，灰度图像中的每个像素必须与彩色图像中的一个像素匹配。比较基于该像素的亮度值和邻域统计量。亮度值是由l频道lalpha;beta;空间。为了考虑两幅图像亮度的全局差异，我们进行亮度重映射[Hertzmann et al. 2001]，对源图像的亮度直方图进行线性移位和缩放，以匹配目标图像的直方图。这有助于在两幅图像的亮度范围内创建更好的对应关系，但不会改变目标图像的亮度值。
邻域统计是对图像进行预计算，由像素邻域亮度值的标准差组成。我们发现一个5x5像素的邻域大小对大多数图像都很有效。对于一些有问题的图像，我们使用较大的邻域大小。
由于像素值之间的视觉显著变化大多归因于亮度差异，我们可以限制作为源颜色像素的样本数量，同时仍然可以获得图像中显著的颜色变化范围。这使得我们可以减少对灰度图像中每个像素的比较次数，并减少计算时间。我们发现，在随机抖动的网格上取大约200个样本就足够了。然后根据亮度(50%)和标准差(50%)的加权平均，对灰度图像中各像素按扫描线顺序进行匹配，选择最佳匹配颜色样本。我们还加入了邻域均值，并改变了权重的比例，但没有发现结果有显著差异。一旦找到最佳匹配的像素,alpha;和beta;色度值转移到目标像素保留原来的亮度值。
当两幅图像的颜色区域在亮度值上对应时，这种自动的全局匹配过程在图像上工作得相当好。但是，目标图像中与源图像中适当结构的亮度值不接近的区域将不会显示为正确的。图2c显示了使用全局图像匹配过程进行颜色转移的结果。在这里，天空和树木在图像之间匹配得相当好，但是目标中的道路与源中的道路不匹配。
图2:算法的两种变体。(a)源彩色图像。(b)基本全局算法的结果(无样本)。(c)从图2a中转换样本颜色的灰度图像。(d)使用样本的结果。
2.2样本
为了在色彩传递过程中允许更多的用户交互，提高效果，在两幅图像的对应区域之间使用了样本。图2a,b,d展示了基本思想。第一步是使用上面描述的通用程序来转移颜色，但现在只在相应的样本之间进行。这允许用户在源色和目标色之间选择性地转换颜色。我们也希望结果对单个样品是好的，因为在同一样品中不同颜色区域的亮度水平应该有更少的重叠。我们在全局过程中执行亮度重映射，但只在相应的样本之间执行。同样，我们使用随机抖动采样，每个样本大约有50个样本。第二步类似于纹理合成算法[Efros and Leung 1999; Efros and Freeman 2001]其中L2距离用于寻找纹理匹配。我们使用灰度图像中的邻域Ng和彩色样本中的邻域Ns之间的L2度量来定义误差距离：
其中I为灰度图像，S为彩色样本的亮度通道，P为这些邻域中的像素。
注意，在这个阶段，我们不再搜索彩色图像的纹理匹配，而是只搜索目标图像中彩色样本中的匹配。该方法的优点是，在第一阶段，我们有选择地将颜色转移到样本中，这可以防止具有相似邻域统计数据的像素，但防止图像的错误部分破坏目标样本的颜色。它还允许用户从图像的任何部分转移颜色到选择区域，即使这两个相应的区域在纹理和亮度级别上有很大差异。其次，由于我们期望图像内部的纹理一致性比两个不同图像之间的纹理一致性更强，所以我们期望纹理与彩色目标样条相似的像素具有相似的颜色。
2.3视频
视频的彩色化可以使用上面描述的彩色化过程实现自动化。为了给场景中的所有帧着色，我们首先将颜色从源彩色图像转移到单个目标帧。然后，视频序列中的每一帧都可以使用同一帧中使用的彩色目标色块着色。如果使用这些过程成功地对单个帧进行着色，那么由与该单个帧相同的对象组成的帧也将进行类似的着色。在录像过程中提供了三个样例剪辑。
3.结果
图3展示了该算法应用于各种图像域的最终结果。图3a-c显示了给树叶、脸部和景观照片上色的结果。这种技术在将图像分割成不同亮度集群或每个区域都有不同纹理的场景中效果很好。然而，一般来说，目前的技术并不能很好地处理人脸。虽然颜色可以很好地转移到样本中，L2距离并不总是区分皮肤和嘴唇，有时衣服和头发之间的区别的一个充分的措施。
图3d-f展示了该算法对不同类型科学数据的使用情况。虽然这项技术不打算用医学图像数据进行临床诊断，但它可能用于解剖图或增强科学表现。
虽然我们证明了该算法在许多图像域中都能很好地工作，但我们并没有声称该技术能在大多数图像上工作。应该清楚的是，当一个人只考虑一个像素周围的小邻域大小时，通常不可能确定该邻域属于一个纹理还是另一个纹理。然而，通过使用高分辨率的图像和较大的邻域，我们可以得到更好的结果。此外，我们认为，更多的图像可以使用提供的基本方法着色，但更好的纹理分类方法，以牺牲简单性和计算时间。
使用优化的MATLAB代码，在奔腾III 900mhz CPU上，该算法对一张图像的运行时间可以从15秒到4分钟不等。运行时间将根据用于比较的样本数量、样本数量、邻域大小和图像大小而变化。大多数图像可以在一分钟内合理地着色。
4结论
本文提出了一种新的、通用的、快速的、用户友好的方法来解决灰度图像的着色问题。虽然标准方法通过全局调色板分配像素颜色来完成这一任务，但是我们的技术允许用户首先选择一个合适的彩色图像，然后将该图像的色彩意象转换为手头的灰度图像。我们有意保持基本技术的简单和通用，不需要在图像之间进行配准或合并空间信息。通过添加少量的用户指南，我们的技术可以应用于更大类别的图像。在这种模式下，用户首先将所需的色彩意象从彩色图像中指定的一组样本区域转移到灰度图像中相应的一组样本区域。然后，在着色过程的第二和最后阶段，使用彩色样条，使用纹理合成类方法，对灰度图像中的剩余像素进行着色。目前，L2距离用于测量图像内部的纹理相似性。在未来，我们相信通过使用更复杂的纹理相似性度量，该技术可以得到很大的改进。
鉴于互联网图像搜索引擎的日益成熟，以及集中式和可索引的图像集合的出现，我们使用示例彩色图像对灰度图像进行着色的技术尤其具有吸引力，这些集合可用于轻松定位合适的彩色图像。最后，还可以利用基本纹理样本数据库在用户引导的着色过程中进行初始颜色转换。
- 用树皮和树叶的样本绘制的树叶图像。由亚当·超级奇提供的原始图像。目标图片由http：/philip.greenspun.com提供。
- 将面部照片染成彩色的结果。四个样本被用于头发，皮肤，衬衫和背景，与11x11邻域大小为L2公制。由莱拉提供的图片。
- 将安塞尔·亚当的照片着色的结果。总共使用了3个样本。由保罗·基尼茨提供的原始图片。
(d)利用全球匹配程序，将陆地卫星7号卫星图像(转换为灰度)与另一张陆地卫星图像进行着色。
（e）彩色MRI体积的一片。我们使用了从可见的人类项目数据集和两个
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[435836]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
