彩色光流
摘要：灰度光流法一直是光流恢复方法的研究热点。彩色图像的光流恢复可以使用直接方法实现，即不使用计算成本高的迭代或搜索策略。回收的光流经过处理后可以进行质量评估和裁剪，为运动估计提供了一种有效、高效的工具。本文简要介绍了光流的概念，给出了光流约束方程及其在彩色图像中的推广。给出了求解该扩展方程的新方法。给出了将这些方法应用于两种合成图像序列的结果。
1、介绍
光流是计算机视觉中许多任务的有效工具。它已被应用于运动分割、相对深度和三维重建(运动结构)等问题。传统上，该领域的大多数研究人员都将他们的努力集中在扩展Horn和Shunck的方法或Lucas和Kanade的方法上，所有这些方法都是处理灰度图像。尽管彩色图像序列有三个维度而不仅仅只有一个维度的信息可用，但是彩色图像序列在很大程度上还是被忽略了。Golland提出并讨论了两种融合颜色信息的简单方法。他研究了RGB、归一化RGB和HSV颜色模型。他的结果表明，彩色方法在非恒定颜色图像区域的流提供了一个较好的估计。本文比较了传统的灰度与Golland的方法以及两种新的颜色方法，并提出了将灰度方法扩展到彩色的方法当中。
2、光流
图像序列的光流是一组向量场，将每张图像与下一张图像关联起来。每个向量场表示每个像素从图像到图像的表观位移。如果我们假设像素保持它们的强度，我们就得到了“灰度守恒方程”，
（2.1）
其中I是一个图像序列，[dx,dy]坐标处的像素的位移矢量为[x,y]和t和dt的图像序列中的帧和时间位移。Fennema首次提出了亮度保护和光流的想法。
2.1显而易见的解决方案是使用基于模板的搜索策略。围绕每个具有一定规模的模板像素，并在接下来的图像搜索中寻找最佳匹配。通常使用的是绝对差或和的平方差指标的相关性来总结最佳匹配。这个过程通常被称为块匹配.这样的搜索策略是成本计算，在过去的二十年中一直基于梯度，一般不会代表子像素替代最好的方法。他们解决2.1微分形式，按照Taylo展开。后丢弃高阶项，这是
（2.2）
这里我们只有一个方程有两个未知数，这个问题答案不是恒定的，必须加上额外的约束条件才能得到一个解。
下面简要介绍两种最常用和最早的光流恢复方法，Horn、Shunck的光流恢复方法和Lucas、Kanade的光流恢复方法。这些方法和其他传统方法在Barron等人的文章中被概述和定量比较。
2.1 Horn和Schunck
Horn和Shunck是第一个施加全局平滑约束的，假设流在图像上是平滑的。他们的最小化函数：
（2.3）
可以表示为一对Gauss-Siedel迭代方程
（2.4）
和
（2.5）
2.2 Lucas和Kanade
Lucas和Kanade提出了一个假设:在一个局部的邻近区域内，流动是恒定的。他们的方法通常是用大小为5 times; 5像素的邻域来实现，以估计位移的像素为中心。在加权最小二乘公式中，邻近中心附近的度量值具有更大的权重。
2.3 其他方法
后来的方法一般是对这两种传统方法的扩展。近年来，研究集中在使用鲁棒性的概念来修改Lucas和Kanade的方法。这些方法选择一个函数，而不是测量值对拟合线的平方差(隐式在最小二乘计算中)，以提供测量值对最佳线的贡献的估计。函数的选择使得离群值的权重小于那些靠近最佳拟合线的点。这个公式的结果是一种使用迭代数值的方法，例如梯度下降或逐次过度松弛。
3、使用彩色图像
从彩色图像中恢复光流似乎一直是图像处理和计算机视觉领域的研究人员所忽视的问题。Ohta提到了这个想法，但没有提出算法或方法。Golland在一篇论文和相关论文中提出了一些方法。她提出用三色平面推导出三个方程，然后用标准最小二乘技术求解
（3.1)
3.1颜色模型
本文对三种颜色模型进行了实现和测试。它们是RGB、HSV和归一化RGB。RGB(红、绿、蓝)颜色模型将颜色分解为各自的红色、绿色和蓝色组件。归一化RGB计算为
（3.2）
每一种颜色都被标准化了用这一点所有颜色的总和。如果该点的颜色值为零，那么该点的归一化颜色值为零。HSV (色度，饱和度，亮度)模型表示图像的亮度(V)独立于颜色(H, S)。单纯基于亮度的光流依赖于亮度守恒。相反，基于色度和饱和度的方法纯粹依靠颜色守恒。将两者结合起来的方法包含了两种假设。与HSV相似，YUV模型将颜色分解为亮度(Y)和颜色坐标系(U,V)。两者的区别在于对颜色平面的描述。H和S以极坐标形式描述一个矢量，分别表示角分量和幅度分量。然而，Y, U和V形成一个正交的欧几里得空间。这些空间的另一种选择是CIE感知线性色彩空间，也被称为UCS(统一色度尺度)。这种颜色系统具有欧氏距离在颜色空间上与颜色或强度变化的感知线性对应的优点。YUV和UCS都还没有实现，尽管这是分析彩色光流的下一步。
3.2方法
求解扩展亮度守恒方程3.2有两种明显的方法：
bull;忽略一个平面，使用高斯消去法快速直接求解。
bull;使用最小二乘或伪逆方法解决超定系统。
任意地忽略其中一个平面可能会丢掉比保留的对光流计算更有用的数据。但是，如果算法的速度是至关重要的，忽略一个平面可以减少内存需求和计算成本。另一种可能是合并两个平面并将其作为系统中的第二个方程。在构造每个系统时，应考虑解的数值稳定性。通过使用简单的旋转方法，可以确保最佳的可能条件的解决方案。
几乎所有的线性代数文本都讨论了最小二乘和伪逆计算的方法。
一个简单的邻域最小二乘算法，类似于Lucas和Kanade的，尽管没有使用加权，也被实现了。中心像素周围的3 times; 3 times; 3邻域的值被合并到一个大的超确定系统中。
从彩色图像中计算光流的另一种方法是利用传统的灰度技术估计每个平面的光流，然后将这些结果进行融合，得到一个矢量场。这种融合在这里通过简单地选择每个点的固有误差最小的估计向量来实现。
上述方法均已在本研究中实施并进行了比较。
- 误差分析
图像重建是评估光流法准确性的标准技术，特别是对于未知真值的序列(见Barron和Lin)。利用光流法恢复的流场将第一幅图像扭曲成近似第二幅图像的重建图像。如果光流是准确的，那么重建图像应该与图像序列中的第二图像相同。一般将整个重建图像的RMS误差作为图像重建误差。但是，计算图像中每一点的重建误差是有利的。这使得除了具有高内在误差的剔除估计之外，还可以采用一定程度的阈值设置。
阈值化后的流场密度也可以用来比较不同的方法。这就是本文所采用的比较方法。
表1 计算时间
- 结果与讨论
表1使用Matlab比较不包括低通滤波和导数计算次数。在700Mhz Pentium III上计算记录的时间处理器。这突出了直接颜色方法计算成本的急剧下降。两行部分旋转高斯消去法可以在大约20Hz的情况下执行。与Horn和Shunck的方法相比，在灰度方法领域中表现最好的方法，这代表了大约四倍的速度增长。
图5.1比较了三种常见的灰度光流方法;Horn和Shunck， Lucas和Kanade ， Nagel。这张图说明了在选定的图像重建误差阈值下计算的流场密度。可以看出，Lucas和Kanade的方法略优于Horn和Shunck的方法，而后者在图像重建误差gt;asymp;1.35方面优于Nagel的方法。
图5.2比较了Lucas和Kanade的用三种颜色方法的表现。该图像序列的第一帧如图5.3所示。这个序列以每帧[-1，-1]像素的速度进行旋转。这里展示的三种颜色方法是HSV的饱和和值平面的高斯消除(带旋转)，RGB颜色平面的高斯消除和邻域最小二乘。邻域最小二乘在颜色方法中表现最好，在密度较高时接近Lucas和Kanade。两个高斯消去版本的表现都比其他版本差。
一个图像序列显示一个度逆时针旋转的中心周围的图像被用来评估其他三种颜色光流方法。像素位移在每帧0到1.5像素之间。比较方法为“颜色恒常性”、最小二乘解为3.2、联合horn和Shunck。Horn和Shunck的(灰度)算法被用作这个比较的尺度。查询结果显示在图5.4。联合Horn和Shunck将Horn和Shunck光流恢复应用于RGB图像的每个平面，并利用基于相关错误的赢者通吃策略将它们融合到一个流场中。可以看到，联合霍恩和Shunck方法执行类似霍恩和Shunck。最小二乘方法和直接解颜色常量方程的效果不佳。
图5.5给出了邻域最小二乘算法恢复的光流实例。这符合旋转的图像序列。更大的向量(大于5)已被移除并替换为零向量。这个磁场的密度是95%。
图5.1 灰度方法在彩色云翻译中的应用比较
图5.2灰色和彩色方法在彩色云翻译中的应用比较
图5.3 转换RGB云序列的第一帧
图5.4 应用于旋转图像序列的技术的比较
- 结论和未来工作
彩色光流计算非常简单，具有与传统灰度方法相似的精度水平。这些算法的速度是一个显著的优势;提出的线性光流方法比灰度、非线性方法运行速度快得多。YUV和UCS颜色模型将实现和比较。邻域最小二乘方法的精度可以通过多种方式来提高。使用稳健的方法，例如
剩余内容已隐藏，支付完成后下载完整资料
英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[596081]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
