船舶视频检测与跟踪研究综述外文翻译资料

 2022-08-09 16:25:13

英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料

船舶视频检测与跟踪研究综述

摘要

海上监视系统可用于加强港口、机场、商船和战船的安全，防止海盗、恐怖分子或任何敌对船只袭击，避免碰撞，控制港口和航道的海上交通，以及海岸和石油平台的防御。摄像机是这些系统的主要传感器之一。它们价格便宜，可以补充其他类型的传感器。这项调查的动机是该课题的重要性，以推动新的研究，因为没有关于海洋车辆的视频检测和跟踪的调查，或者这些调查并不广泛。与其他类型的视频监控系统相比，这是一个微不足道的数量。本文介绍了最新的算法。

关键词：海上监视系统，跟踪，探测，特征，图像处理，雷达

1．引言

动态环境下的视频监控系统是计算机视觉领域最活跃的研究课题之一[1]，近十年来备受关注[2]。海上监视可以定义为有效识别所有影响安全、经济或环境的海上活动[3]。世界贸易的80%是通过海运进行的。随着海运的使用日益增多，海盗袭击、运输违禁物质、非法移民和捕鱼等活动、港口地区的恐怖袭击以及主要在航道和港口及海岸附近的海运车辆之间的碰撞也在增加。据估计，海盗造成的损失每年可能达到160亿美元[4]。攻击民用和军用海上车辆是损害一个国家经济和安全的一种方式[5，6]。针对美国军舰科尔DDG67的恐怖袭击发生在也门亚丁港，造成17人死亡[5]。法国“林堡”号油轮在也门海岸也遭到恐怖袭击。海盗袭击在索马里、马六甲海峡和印度尼西亚非常常见[7]。

由于疲劳、压力和人类执行某些任务的能力有限，监视系统的手动操作效率不高，因此开发海上监视自动化系统对于减少意外事件的发生至关重要[2、3、5-19]。

在海上监视系统中使用摄像机的情况有所增加[19]。摄像机是辅助和补充雷达和其他传感器的关键。它们便宜、灵活（6, 11, 17、20），可以安装在几乎每种类型平台（2）上。磁强计通过车辆周围磁场的变化来检测车辆，但仅限于检测步行距离内的车辆[10]。低频和高频雷达价格昂贵，受到杂波的阻碍[10]，在发射天线附近有盲区[6，11]，并以低效率检测用非导电材料建造的车辆[4，6，7]。

全世界都在努力发展海上监视系统。欧洲项目AMASS——自主海上监视系统——是为了开发一个在先进平台上安装了FLIR摄像机的监视系统[17]。AVITRACK系统[21]和MAAW海上活动分析工作台[5]是基于摄像头的监视系统。ARGOS系统[1]自2007年以来一直处于活动状态，用于监测意大利威尼斯Gran水道的海上交通。SSI系统集成了摄像机和雷达获取的数据，目前正在俄罗斯、意大利、波兰、中国和巴拿马运行。Burkle等人[13] 提出了一种基于安装在不同平台和陆基上的摄像头的监控系统，以增加系统的覆盖范围。

新技术的出现使得从不同系统和传感器提取的数据融合成为可能。摄像机是系统的主要部件之一[2，5]。

AMUS系统[13]，AIS系统-自动识别系统-[15]、ASV系统-自动海视-[15]、VMS系统-船舶监控系统-[2]和AIVS3系统-船舶自动智能视频监控系统-[6]是执行数据融合的海上监控系统的示例。

2.视频监控系统的组成部分

一个完整的视频监控系统由五个主要部分组成：初始检测器、图像处理器、分类器、跟踪器和行为分析仪。图1显示了一个完整的视频监控系统。

图1一个完整的视频监控系统的主要组成部分。

图像处理器分类器跟踪器行为分析器车辆检测器帧I（t）

有些监视系统可能不包含所有这些组件。初始检测器是检测所有运动像素的运动检测器[1、2、4、5、7、9、15、16]或基于分类器集的对象检测器[22]。图像处理器处理由初始检测器获得的信息以消除噪声、分割最相关的区域和检测连接的组件。这些区域被评估并被分类为分类器感兴趣或不感兴趣的对象。感兴趣的对象被建模，因此称为被跟踪的对象。跟踪器尝试在每帧I（t）处的感兴趣区域中定位OT，并确定OT位置P（OT（t））。ROI是一个帧区域，在这个帧区域中不被发现的概率更高。将车辆轨迹和速度发送到行为分析器。如果将事件归类为可疑活动，它会向控制中心发出警报[3、5、6、16、18]。弹道和速度分析也可以提高对舰船的探测和分类效率[9]。

海上车辆不具有可用于有效分类的特殊特征[12]。由于船舶类型的多样性，很难建立一个具有代表性的船舶分类数据库[6，15]。尽管一些监视系统执行分类[5、18、19]，但这些系统对数量有限的海上车辆类型进行分类，分类效率取决于相对于摄像机的位置和距离。

3.困难

传统的视频船只检测和跟踪算法，在没有适当调整的情况下应用于海洋环境时，由于背景是非常动态的，无法产生有效的结果。海上场景带来的挑战可能会阻碍初始探测器和跟踪器。海洋的动态和不可预测性使得他们的数学建模变得困难[7，9]。由于电子设备引起的噪声和杂波的存在，或由于恶劣的环境条件，如风暴、薄雾和低亮度，相机拍摄的图像可能不清晰[4、14、20]。水面上的白色泡沫是由车辆螺旋桨或波浪引起的，阳光反射，光照条件的变化，波浪引起的每个像素值的不断变化，漂浮在海洋上的物体的存在，某些海上交通工具的变化很大，例如尺寸、机动性、外观、几何形状、摄像机拍摄到的图像或海上交通工具与背景之间的低对比度以及鸟类、云的存在，在地平线上方出现的雾和飞机阻碍探测器和跟踪器[1、2、4、7、9、10、11、14、16、19]。图2显示了低对比度和杂乱的图像。图3显示了由白色泡沫引起的错误。

图2.低对比度和杂乱的图像[18]。

图3.船产生的白色泡沫[16]。

使用前视红外FLIR相机是很常见的，因为它们对光照条件的变化更不敏感，它们可以捕捉海面或车辆上方的阳光反射，并减少白色泡沫的影响[9，10]，但它们限制了可提取特征的数量[20]并且具有高能耗[2，10]。

大多数监控系统使用固定摄像机[15]。基于安装在浮标上的摄像机的系统必须补偿它们的运动，以降低跟踪错误的概率[2]。在这些情况下，地平线用作参考。安装在飞机或低港口船舶上的摄像机会因摄像机的振动运动而产生跟踪故障，因此需要使用平滑滤波器[20]。

4.地平线检测

最初的探测器通常在地平线PHL附近探测到一艘海上船只。在估计了PHL后，监视系统检测出地平线下和地平线以上出现的海上车辆，限制了搜索区域，并缩短了初始检测器的执行时间[2，10，14]。ROI区域可以减少到海洋区域，低于PHL[6，15，19]。

像费菲拉特耶夫等人。[14] ，Todorovic[23]和Ettinger等人。[24]通过最小化天空和海洋像素值的类内方差来估计PHL。Fefilatyev[10]提出了无监督切片算法，以最小化近岸和海上车辆的影响。图像分成N个部分，N-1条垂直线均匀分布。计算并组合最小化每个部分的类内方差的线段来估计PHL.

Fefilatyev等人[25]使用从像素值提取的特征最小化类内方差。Coall等人。[26]通过使用阈值分割像素来估计PHL。天空和海洋像素的质心定义了一个垂直于PHL的线段。McGee等人。[27]和Fefilatyev等人。[25]使用支持向量机分类器分割天空和海洋像素。McGee等人。[27]估计PHL作为分割天空和海洋像素的线，所有候选线之间的误差较小。Fefilatyev等人。[25]根据分类定义量化像素映射{-1,1}。PHL是最小化地图上类内像素方差的线。克鲁格等人提出的监视系统。[17] 配备带有惯性单元的摄像机，用于确定摄像机在空间中的位置、稳定图像并减少PHL的可能候选位置的总数。

Fefilatyev等人。[2] 丢弃PHL估计不可靠的帧，以提高检测器和跟踪器的鲁棒性。当天空或海洋脱离相机视野，水滴沉积在镜头上时，可靠性会降低。考虑到海天像素值具有正态分布的假设，Fefilatyev等人。〔2〕基于应用于梯度图的霍夫变换，选择具有较小鲁棒性的候选行的集合，而不是在候选行中选择最大化表示两个类之间的方差的函数以加速PHL估计的候选行。Wei等人。[6] 将Hough变换应用于根据平滑滤波器的应用结果计算出的梯度图，并应用于第一帧。如果没有准确地检测到直线，搜索区域将成为整个图像。Bloisi等人。[19] 对渐变图像应用Hough变换以确定候选PHL。如果PHL上下90%的采样像素具有不同的值，则验证PHL估计。基于霍夫变换[2，6，19]和光流〔28〕的方法具有较高的计算复杂度。

5.初始容器检测

一个有效的水上航行器初始检测是很重要的，因为所有其他监视系统部件的性能都取决于其性能。海洋环境是非常动态的，很难处理，这可能会产生很多错误的探测FP和失踪船只FN[10]。

仅基于帧差的初始检测在车辆停靠或向摄像机移动的情况下可能失败，因为在连续帧处产生的像素值之间的差异很小[19]。由于波浪的作用，海洋像素值不断变化，从而产生许多FP[10]。有基于频率信息和直方图的检测算法[29]和[30]，但是，最近的工作使用高斯函数来建模海洋像素值，并通过背景减法检测车辆[1，2，4，5，7，9，15，16]。由于较高的计算复杂度，光流分析不用于初始检测〔7〕。一些作者[9,29]将图像分成N个区域，提取各个区域的熵、能量、均匀性和对比度等特征。有车辆的海域与其他海域有着不同的特点。

在基于背景减法的算法中，水的不断运动是导致算法失败的因素之一[4，6]。背景减法在统计上利用了每个像素值随时间遵循正态分布（方程（1））或正态分布的混合这一事实。每个像素I（x，y）属于海洋或车辆的概率P与它的值之差和考虑到分布方差的每个分布的平均值有关（方程（2））。

许多作者报告说，使用背景模型BM表示的混合高斯是不太有效的。Szpak和Tapamo[7]进行了基于倾角偏离单模态的统计测试，并得出结论，大多数情况下像素值具有正态分布，然而，Bloisi等人。[1] 报道说，正态分布的混合能更好地代表海洋。正确的结论是，最佳的表示取决于应用程序。

Pires等人。[15] ，Grupta等人。[5] 罗伯特·因西奥等人。[9] 用自适应正态分布表示BM（x，y，t）。在相关像素MRP的地图上，在与水面相对应的区域上检测是否存在大于阈值L的连接分量区域。MRP是一个地图，它只包含属于BM的概率很低的像素。Pires等人。[15] 罗伯特·因西奥等人。[9] 仅将I（x，y，t）和mu;（x，y，t）之间的差值大于阈值L2的像素放入MRP。Pires等人。[15] 逐像素计算差异，Robert In–cio等人。[9] 使用规则网格分割图像，并将I（x，y，t）定义为每个区域像素值的平均值。Grupta等人。[5] 仅将I（x，y，t）和mu;（x，y，t）除以sigma;（x，y，t）之差的平方值大于阈值L3的像素放入MRP。Hu等人。[16] 用背景减法检测海上车辆。初始帧用于定义BM。BM（x，y）是插入缓冲区的最后六个I（x，y）值的平均值。仅当mu;（x，y，t）和像素在（x，y）及其3x3邻域处的平均值之间的差值在K个连续帧处大于阈值L时，I（x，y，t）才被插入缓冲器。Szpak和Tapamo[7]将BM（x，y）定义为一个正态分布，最初用前N帧进行估计，并考虑到较新帧的更高权重对每个帧进行调整。像素归属于船用车辆的概率与其值及其邻域与区间[mu;（x，y，t）-3.sigma;（x，y，t）；mu;（x，y，t） 3.sigma;（x，y，t）的偏差成正比。在每一个Z帧处，一个活动轮廓从图像边缘开始并演化到一个新的海洋车辆所在的位置。Bloisi等人提出的BM。[1] 是由训练图像中（x，y）处RGB像素值的聚类定义的七个正态分布的混合物。选择了七个分布来代表所有可能的海况。当连接的组件属于7个分布的概率较低时，检测车辆。Wei等人。[6] 定义BM（x，y）=ax by c。实际值a、b和c是最小化由地平线以下像素值加权的均方误差函数的值。每帧都会更新。该检测通过搜索通过阈值分割的残留图像I（x，y，t）-BM（x，y，t）中存在的连接分量来执行。

文献[18，19]中提供了通过分类器进行初始检测验证的方法，但是，由于船舶外观和几何形状的高度可变性，这种方法没有得到很好的探索。Bloisi等人。[19] 提出了一种基于Haar小波特征离线训练的集成分类器的初始检测器。

合奏其设计目的是在船舶停泊以及海面出现阳光反射或白色泡沫的情况下提高初始检测的稳健性。Teutsch和Kruger[18]提出了一种基于特征不变矩、均值和方差、纹理分析、共生矩阵和梯度分析等统计方法的支持向量机分类器。在第一步中，检测到的候选对象被分类为海洋上的对象或杂波。如果将其归类为海洋上的物体，则在第二步中将其归类为海洋车辆或无关物体。Sullivan和M.Shah[31]利用应用于数据库中记录的车辆图像的FFT变换的结果与应用于每个帧的候选区域的FFT变换的结果之间的相似值来检测船舶。Feineigle等人。[8] 通过在每帧检测到的SIFT特征点与图像数据集中的SIFT特征点之间的欧几里德距离检测船舶。

基于连接部件定位的检测算法必须考虑到车辆接近摄像机〔4〕。Fefilatyev[10]使用聚焦在无限远处并安装在浮标上的相机，通过利用PHL上方像素的梯度信息来检测海洋车辆。利用腐蚀和膨胀的形态学操作，结合连通分量定位，检测PHL上方高梯度的像素集。图4显示了利用梯度信息进行的海上车辆检测。

图4.利用PHL上方像素的梯度信息检测海洋车辆[10]。

Fefilatyev等人。[14] 以及Fefilatyev等人。[2] Fefilatyev提出的加速算法[10]。他们不再需要形态学操作。在梯度图上应用Otzu分割方法得到像素分割的阈值。Frost和Tapamo[4]通过对高斯核函数估计的概率图进行阈值分割，通过定位连接部件来检测船舶。只有几何形状与预定义模型相似的连接部件才被视为船用车辆。

使用不同的独立特征对

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[238897]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章