英语原文共 19 页
摘要
恶劣天气条件的检测对于气象中心至关重要，特别是对空中，海上和地面交通管理的需求。在本文中，提出了一种基于计算机视觉的系统，该系统可以检测是否存在雨或雪。为了在图像序列中将前景与背景分开，使用经典的高斯混合模型。前景模型用于检测雨雪，因为这些是动态天气现象。提出了基于测光和尺寸的选择规则，以便选择潜在的雨条纹。然后计算用几何矩法估计的雨雪条纹（HOS）方位直方图，假设其遵循高斯均匀混合模型。高斯分布表示雨或雪的方向，而均匀分布表示噪声的方向。期望最大化算法用于分离这两个分布。在拟合优度检验之后，高斯分布在时间上被平滑，其幅度允许决定是否存在雨或雪。当检测到雨或雪的存在时，HOS使得可以检测前景图像中的雨或雪的像素，并估计雨或雪的降水强度。该方法的应用很多，包括临界天气条件的检测，天气观测，视频监控系统的可靠性改进和雨水渲染。
关键词 雨雪探测·几何力矩·
期望最大化·直方图·视觉监控
1简介
众所周知，对于气象中心来说，恶劣天气条件的检测至关重要，特别是对空中，海上和地面交通管理的需求。天气状况的检测和表征通常涉及专用传感器，例如可见度计，测速仪或雷达等。然而，这些传感器的成本限制了它们的广泛部署。正如Jacobs等人所指出的那样。 [1]，出于安全和安全原因大规模部署视频监控摄像机是利用它们监控天气状况的一个机会。已经研究了在大雾天气[2]和雾检测[ 3]中的图像形成过程。雨的组成颗粒大于雾的组成颗粒，并且可以看到单个颗粒。在高速下降的这种液滴的分布导致图像和视频中的时间变化的强度波动。另外，由于用于获取图像的相机的设置，由于下雨引起的强度是运动模糊的，因此取决于背景。因此，雨的视觉效果是雨的动态和环境光度测量的综合结果。 Garg和Nayar [4]提出了捕捉雨水对视觉的空间和时间影响的随机模型。
在本文中，我们将讨论雨，冰雹和雪等动态天气条件，在本文的后面简称为雨。特别地，提出了一种方法来检测由固定摄像机抓取的图像中是否存在雨水。该方法是基于摄像机的传感系统的核心组件，其目的在于检测诸如雾和雨的天气条件[5]，同时能够运行经典的视频监控应用，例如行人检测或道路交通监控。此应用程序上下文为我们的计算机视觉系统提供了操作约束，并使我们使用黑白图像。
图1
图1应用于视频的雨水检测过程：（a）通过背景减法检测运动物体; （b）通过应用尺寸和光度选择规则对候选雨像素进行分割; （c）通过累积通过不同连通分量的几何矩的方法获得的方位来计算条纹方向直方图（HOS）; 根据时间稳定性以及居屋的形状作出降雨存在决定; （d）使用居屋计划检测雨水像素。
通过固定摄像头抓住无限远处的自动曝光控制。处理降雨的现有方法主要集中在用于渲染应用的图像中的分割和去除或添加雨像素[4,6-9]。 Hase等人提出的第一种方法。 [6]使用时间中值滤波器，利用像素在大多数时间不受雨影响的事实。 Zhang等人扩展了这个想法。 [7]谁建议用k均值聚类（k = 2）检测降雨，增加色彩约束以减少错误检测。然而，由于需要应用于整个视频序列的k均值聚类算法，该方法不能在线使用。 Garg和Nayar [4]提出了一种利用降雨滴的光学特性的方法，以便在雨和非雨区域中分割视频场景。此外，通过使用模拟雨水条纹外观的光度约束来减少错误检测。 Brewer和Liu [8]通过检测其强度峰值来检测雨水条纹。它们根据纵横比和雨条的方向减少错误检测。巴纳姆等人。 [9]提出了一种全球外观模型，用于识别频域中降雨的典型行为，并在频域中提供滤波器以降低或增加其可见度。
与先前的方法相反，Sakaino等人没有明确跟踪框架之间的雨水颗粒。 [10]基于帧的长距离位移的半透明物体的运动估计方法估计落雪的运动。这种方法似乎仅限于跟踪雪花。最后，Halimeh和Roser [11]提出了一种用于汽车挡风玻璃上雨滴的光度模型，并用它来检测雨水的存在，以便驾驶员协助。
在视觉监控环境中，只有Hase等人的方法。 [6]，Garg和Nayar [4]，Brewer和Liu [8]以及Barnum等人。 [9]是相关的。但是，他们的方法并未直接解决降雨事件的发现。因此，他们的方法导致雨像素的过度分割，并且不能单独用于检测降雨的存在。为此，我们开发了一种补充方法，该方法基于对blob的分割，其核心组件是条纹方向的直方图。对于分割，我们使用经典背景减法方法，可以看作时间中值滤波器[6]，k-均值聚类[7]和Garg和Nayar [4]提出的光度约束的推广[6]。 。它还允许在现有视觉监视系统上更容易地实现该方法。最后，即使它不是我们的主要目标，该方法也提供了一些优于现有的恢复由雨改变的图像的方法的优点。
我们的方法概述如图1所示。首先，我们分割潜在的雨像素。我们的方法依赖于经典的背景减法方法[12]，但[4,9]发布的方法也适用于此目的。我们通过应用基于测光和尺寸的选择规则来减少错误检测。然后，我们通过累积通过几何矩方法获得的不同连通分量的方向来建立所谓的条纹方向直方图（HOS），这也在[8]中使用。然后将该直方图的数据建模为高斯均匀混合，其参数使用期望最大化（EM）算法来估计。善意测试允许决定模型是否适合HOS。如果是这种情况，则将时间平滑滤波器应用于高斯均匀混合的参数。然后，关于平滑直方图的判定标准允许检测是否存在下雨。当检测到雨水时，可以在图像中准确且容易地检测雨水像素，并且也可以估计雨水强度。所提出的方法的应用很多，例如：检测道路安全的临界天气条件，天气观测，视频监视系统的可靠性的提高和雨水渲染。不同的实验验证
提出了这些方法来评估所提方法的性能，并说明我们的方法与现有方法的比较是如何互补的。
这篇文章的结构安排如下。在第2节中，我们介绍了潜在雨像素的分割过程。在第3节，我们提出居屋计划的建设。在第4节中，我们提出EM算法来估计居屋的参数。在第5节中，我们提出了决策标准，用于决定降雨的存在。一旦检测到雨水存在，就可以很容易地检测到雨水像素，如第6节所述。在第7节中，我们提出了一种直接使用HOS估算降雨强度的方法。在第8节中，我们介绍了该方法的应用。在第9节中，我们评估了我们的方法如何补充现有方法。最后，我们在第10节讨论实验结果，我们在第11节中总结。
2潜在雨条的分割
该方法的第一阶段在于分割在图像中可见的雨条纹。 已经提出了不同的专用方法来发现潜在的降雨条纹。 与其他方法一样，使用了三种不同的提示：运动，测光和雨条纹的大小。 与其他方法不同，通常在视觉监视系统中使用的运动分割适用于雨条的分割问题。
2.1雨的可见性
根据Garg和Nayar [4]，视频中雨的可见度取决于雨天属性，场景属性和摄像机参数：
雨属性摄像机参数，其中G（f，N，z0）是焦距f，F数N和焦平面的距离z0的函数。 Te表示曝光时间。 （1）表明雨的能见度nu;r随着雨滴大小a的平方和雨密度rho;的平方根而增加。 可见度也随着背景亮度Lb和降雨亮度Lr之间的差异线性减小。
给定雨中的场景，可以调整摄像机参数以查看[4]中提出的雨滴。 然而，在视觉监控环境中，相机在无穷远处聚焦，因此（1）可以略微简化：
因此，最近的液滴不在焦点上，而最远的液滴在焦点上。聚焦的液滴是运动模糊的，并在图像中产生条纹。由于聚焦的液滴是最远的，因此条纹通常很小。为了分割这些条纹，我们假设液滴是一个移动的细长物体，它比背景小而亮。推导出分割过程，由三个阶段组成：运动分割，光度选择和尺寸选择。
2.2移动物体的分割
已经提出了不同的方法来检测移动物体。在视觉监控的背景下，通常使用依赖于背景建模[13]的方法，因为它们允许通过不断更新背景模型来考虑场景中的逐渐照明变化。基本上，这样的方法允许计算包含静态对象的场景的背景模型（BG），以及包含移动对象的场景的前景模型（FG）。基于[13]中提出的文献综述，我们选择了高斯混合（MoG）的流行方法[12]。在该方法中，场景中的每个像素由K个高斯分布的混合建模。某个像素在时间t具有值Xt的概率可写为：
其中omega;k是第k个高斯分量的权重参数。 N（X |mu;k，sigma;k）是第k个分量的高斯分布：
其中mu;k是平均值，sigma;k是第k个分量的标准偏差。 基于适应度值omega;sigma;kk对K分布进行排序，并且将前B个分布用作场景背景的模型，其中B被估计为：
T是观察背景像素的最小先验概率。 与测试匹配的高斯分量
(d) (e) 图2 |
图2通过背景扣除以及测光和尺寸选择规则对潜在降雨条纹进行分割：（a）原始雨季图像; （b）背景模型; （c）前景模型; （d）应用光度选择规则后的结果; （e）申请后的结果值通过以下由衰减因子控制的更新方案进行更新
Mk，t = 1 ;omega;k是第一个匹配的组件
Mk，t = 0；否则
定义决定变化的时间常数。 只需要设置两个参数gamma;和T. 然后，通过将任何像素标记为前景来执行背景减除，其强度大于远离任何B分布的标准偏差的D倍。 尽管不使用附近像素之间的关系和相关性，但这种方法对于雨分割具有令人满意的性能。 相反，更强大的背景建模方法，如[14-16]，试图对周期性运动（如移动的树木）具有鲁棒性。 因此，如果下雨有周期性运动，这些方法可能与检测潜在的雨水条纹无关。 最后，MoG方法可以看作是Hase等人分别使用的中值滤波器和k均值算法的推广。 [6]和张等人。[7]。
2.3应用光度选择规则
Garg和Nayar [4]提出了一种检测图像中雨条纹的局部方法，它依赖于两个约束条件。 首先，由于第n帧中的降雨导致的强度变化必须满足约束条件：
Delta;I= In-In-1 = In-In 1ge;c （7）
其中c是表示由降雨引起的强度的最小瞬态变化的阈值。 前一段中提出的背景扣除方法与此过程类似。 基于（7），构建了前景像素的光度选择规则：
Delta;I= IFG-IBGge;c （8）
在[4]中还假设条纹强度与雨遮挡的背景强度线性相关。 我们不使用这个强有力的假设。
2.4应用大小选择规则
雨条纹分割的最后一步是滤除FG中过大和过小的物体。 这是通过泛洪填充算法找到不同的连通分量，然后通过抑制大小不合理的连通分量来完成的。 Brewer和Liu [8]提出了一种类似的方法，他提出了一种构建这种尺寸模板选择的方法。
2.5结果
图2示出了潜在的雨条纹的分割。 图2（a）和图2（b）显示了具有阴雨天气的图像及其相应的BG。 图2（c）显示了FG，其中可以看到雨水条纹。 然后，光度选择规则（8）的结果如图2（d）所示。 最后，应用尺寸选择规则（参见图2（e））。 此后，只有雨条纹和一些噪声像素仍然存在。 现在的目的是将雨水条纹与噪声像素分开。
3 HOS的建造
3.1方法
由于上一节中介绍的分割过程，我们得到了一个小斑点的图像，它们是雨条纹或噪声像素。 假设雨条占多数，几乎垂直方向。 我们依靠软投票策略来估计降雨的方向，并拒绝与此方向不对应的像素或斑点。 它基于条纹方向直方图（HOS）的计算，其考虑了方向测量的置信度。 为了估计每条纹的方向，可以使用不同的方法。 其中，应用于每个分段条纹的几何矩的方法给出了最好的结果。
3.2软投票算法
软投票过程通常用于从多个不确定数据源获得可靠数据。 在计算机视觉领域，这种过程通常用于从本地信息推导出全球信息，例如， 霍夫变换[17]。 以类似的方式，我们建议通过Parzen方法后雨条的局部方向的积累来估计雨的方向[18]。 在该目标中，针对theta;isin;[0，pi;]计算由180个区间组成的加权累积直方图h（theta;），其考虑了权重wi和关于每个blob的方位theta;i的估计的不确定性dtheta;i，1le;ile;P。 对于每个斑点，我们在直方图中累积具有中心theta;i和标准偏差dtheta;i的高斯分布N（theta;|theta;i，dtheta;i）。 因此，这种方向直方图表示为：
其中P表示斑点总数。
3.3条纹方向的计算
可以使用不同的方法来局部地估计斑点的方向。 我们实施并比较了两种不同的方法。 第一种方法是基于像素的方法，它依赖于局部梯度的计算。 它类似于现有的HOG方法[19]。 第二种方法是基于补丁的方法，其依赖于应用于每个分段的斑点的几何矩的方法。
3.3.1梯度方向（HOG）
让我们用Gny和Gy表示使用Canny-Deriche滤波器[20]获得的沿x和y轴的像素的梯度。 梯度theta;的方向通过以下方式获得：
通过计算（10）关于Gx和Gy的偏导数来获得方位dtheta;估计的不确定性：
假设dGx = dGy = dG。 选择（9）中每个样品的重量w作为梯度的大小。 基于（9），HOG表示为：
通过在模拟中进行测试，经验性地选择dG的值（参见小节3.4）。
图3
图3椭圆的主要参数：主要半轴a，短半轴b，重心（x0，y0）和倾角theta;。
(a) (b)
(c) (d)
图4
图4合成图像显示具有不同宽度，长度和方向的条纹遵循高斯分布N（mu;，sigma;）:( a）ls = 10像素，ws = 1像
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
