基于SURF的视频图像拼接技术研究
摘要
停车安全性引起关注，因为通过后视镜存在着视觉盲点难以认真观察周围环境。图像拼接技术是停车辅助系统中使用的主要技术。通过研究其在国内外的发展现状，可以看出图像拼接技术一直是受欢迎的研究领域。该技术主要包含图像配准和图像融合两部分。图片配准是图像拼接技术的核心技术。本文中是选择基于特征点匹配的SURF算法实现该技术。通过对结果的实验和分析，最终在四个重叠的图像上实现自动拼接。
关键词：图像拼接; 图像注册; SURF
一 介绍
停车安全已成为司机的主要关注点。通常通过后视镜的视觉盲点观察周围的环境。为了全面了解周边景观，全景停车辅助
系统逐渐成为可以提高园区安全可靠性的需求。目前，一些豪华车已经引入了全景停车系统，驾驶员可以通过这些系统查看周边环境。全景停车辅助系统在汽车周围安装了四个广角摄像头，同时收集多个视频图像进行处理，使车身周围的车辆俯瞰360度。图像将显示在驾驶员的屏幕上，使驾驶员能够清楚地看到车辆周围存在的障碍物，帮助驾驶员安全停车。
如图所示，它是停车场的理想全景结果图像的俯视图。
在此基础上，首先要研究视频拼接技术。 通过深入研究全景视频拼接技术，该技术可以适用于停车辅助系统，以解决停车安全问题．视频拼接技术的基础是图像拼接技术。图像拼接技术可广泛应用于许多应用。除停车问题外，图像拼接技术也可应用于计算机视觉，医学成像，军事自动目标识别，图像编辑和分析以及卫星数据。
在这个受欢迎的领域，有专门的程序，如Autostitch，Hugin，Panorama Maker，Ptgui，Panorama Tools，Microsoft Research Image Composite Editor和CleVR Stitcher。一个众所周知的例子是Adobe Systems的Photoshop，它包括一个名为Photomerge的工具，在最新版本中，新的Auto-Blend。
二 视频刺绣技术
在视频流预处理阶段，可以纠正广角镜头的失真镜头。在这个阶段也进行了一些平滑处理。图像拼接技术是整个过程的关键部分。图像拼接是指用于对齐一组重叠图像序列的图像处理技术，产生包括所有图像信息的宽视图的集成高质量图像。
1.图像拼接技术的核心是图像配准和图像融合技术。这两个过程中所选算法的质量将影响整个拼接效果。图像注册是将不同数据集转换为一个坐标系的过程。数据可以来自多张照片，来自不同的传感器，不同的时间或不同的观点。为了比较或整合从这些不同测量得到的数据，必须进行注册。
在要缝合的图像中，可以有平移，旋转，缩放变换或相同颜色的大面积，并且在所有情况下，良好的图像配准算法应该能够在图像之间精确地找到对应的信息，具有良好的鲁棒性。
图像配准算法主要分为以下三种：基于灰度信息的方法，基于变换域的方法和基于特征的方法。
1）基于灰度信息的方法。基于灰度信息的图像注册方法通常不需要复杂的图像预处理，但图像本身具有一些统计信息的灰度来测量图像的相似度。主要特点是简单，但应用范围狭窄，不能直接用于校正图像的非线性变形，搜索过程的最优变换往往需要大量的计算。
2）转换基于域的方法。基于变换域的方法是指将图像的空间信息转换为其他域的信息。
频域是基于变换域的方法中最常用的。在这种注册方法中，通常使用傅里叶变换和卷积来找到图像之间的关系。
3）基于特征的方法。基于特征的方法建立图像中特别不同点数之间的对应关系。知道图像中的点数之间的对应关系，然后确定变换以将目标图像映射到参考图像，从而在参考图像和目标图像之间建立点对点对应。
2.普通图像特征包括直线段，边缘，轮廓，闭合区域，结构特征和统计特征等。由于像素数特征点覆盖远小于整个图像的像素数，因此大大减少了匹配过程的计算，提高缝合速度。 适用的基于特征的算法确保提取的特征具有良好的适应性和鲁棒性，并且这些算法已被广泛使用，例如SIFT（尺度不变特征变换），SURF（加速鲁棒特征），GLOG（梯度位置和定向直方图 ），HOG（定向梯度直方图）。同时，特征点提取过程可以降低噪声干扰，具有很好的适应灰度变化和遮挡问题的能力。本研究的图像拼接技术是基于特征点匹配算法。
3. 图像融合技术
数字图像融合技术是将来自两个或更多图像的相关信息组合成单个图像的过程。所得到的图像将比任何输入图像更具信息。
在许多情况下，通过不同图像采集获得的相同场景的多个图像之间的信息冗余和互补性，图像融合技术可以合成更准确，更全面的图像，以进行更全面和准确的研究。特别应用于全景图像拼接技术中，图像融合技术是指在图像配准之后最终形成一幅全景地图，其中已经找到了周期图像特征点。
与图像配准类似，图像融合技术在特定过程中使用不同的算法，不同的融合算法使图像合成结果不同。现有的融合算法主要是线性集成，多频段融合和梯度域融合。线性积分算法具有速度快，易于实现的优点。因此，我们选择了线性积分算法。
三 基于特征的方法
A. SIFT（尺度不变特征变换）算法尺度不变特征变换（或SIFT）是计算机视觉中的一种算法，用于检测和描述图像中的局部特征。该算法由David Lowe于1999年发布[3]。应用包括对象识别，机器人映射和导航，图像拼接，3D建模，手势识别，视频跟踪和匹配移动。
该算法在美国获得专利，业主是不列颠哥伦比亚大学。
SIFT特征匹配算法可以处理两个图像之间的平移，旋转，仿射变换情况匹配，具有很强的匹配能力。许多专家对SIFT操作员进行了不变性比较实验，包括几个局部描述符，证明SIFT及其扩展算法具有良好的鲁棒性。
B. SURF（加速鲁棒特征）算法SIFT算法是图像配准领域的重大突破，也具有计算量大，时间复杂度高，显示效果长的缺点。
对于SIFT算法的不足之处，2004年，ECCV2006中的Herbert，Bay和Andreas Ess提出了SURF（加速鲁棒特征）算法。部分来源于SIFT描述符。 SURF的标准版本比SIFT快几倍，并且其作者声称对于不同于SIFT的图像变换来说更强大。
核心思想SURF算法由四个主要部分组成。
1）构建图像的尺度空间。 尺度空间理论是由计算机视觉，图像处理和信号处理社区开发的多尺度信号表征的框架，具有物理和生物学视觉的互补动力。 在数字图像处理领域中，对于二维图像，尺度空间象征性地表示为图像金字塔。
在SURF算法中，对于给定的图像，其线性比例空间表示是由高斯核的卷积定义的导出信号族。
方程（1）是尺度空间的定义。 方程（2）是高斯核函数。
（1）
（2）
2）Build Hessian矩阵。Hessian矩阵（3）是SURF算法的重要组成部分。Hessian矩阵的偏导数函数可以判断像素是否是特征点。
3）精确定位特征点。精确的位置过程可分为三个步骤：阈值检测，NMS（非最大抑制）和泰勒级数精确定位。当检测到特征点时，全部小于预设阈值被丢弃，并且增加预设阈值可以减少检测到的特征点的数量。因此，选择适当的大小阈值可以应用于检测图像特征点。
在NMS（非最大抑制）期间，该点应与周围像素一起准备。如果特征值在其中最大，则被确定为选定点。最后，泰勒系列用于精确定位特征点。
4）查找特征点的主要方向。使用特征点的主要方向来确保图像的旋转不变性。在此步骤中，HAAR小波响应用于确定最终方向。
SURF算法对特征点的影响如图3所示。
C.与SIFT相比，SURF的改进
SURF对Hessian blob检测器的行列式使用整数近似如下式，可以用积分图像快速计算。
（3）
对于特征，SURF使用围绕感兴趣点的Haar小波响应的总和。 再次，这些可以借助积分图像来计算。
在SIFT中，输入图像重复卷积高斯函数，并在每个图像层上重复子采样，因此该方法计算量大。 然而，SURF算法增加了高斯内核的不同大小。 该算法允许同时处理多层图像，而不对图像进行二次采样，从而提高算法的性能。
在本文中，选择SURF算法进行实验，与SIFT相比具有优势。
四 实验结果与分析
在本文中，基于SURF注册算法和线性融合算法的实验设计，使用Microsoft Visual Studio开发环境，结合开源OpenCV视觉库[8]。通过对结果的实验和分析，最终在四个重叠的图像上实现自动拼接。
首先，在应用程序中输入了四个图像
其次，使用SURF注册算法的两个图像进行了特征匹配。 两个图像之间的直线显示了它们之间的相应特征点。
第三，两张图像匹配后，比第二个程序的结果重新匹配。
最后，缝合的成就如图7所示。
使用SURF算法的实验成功地提取特征点，匹配特征点，最后编织全景图像。上述图片的效果更为成功，因为拼接缝隙不明显。实验证明SURF算法在图像拼接过程中是可行的。 然而，在实验过程中，一些缝合情况不成功。在后续工作中，我们将进一步优化业绩。
五 结论
本研究充分证明了SURF算法在全景图像拼接中的可行性。SURF算法在特征点提取，主方向识别以及特征向量对齐方面具有很大的优势。
选择注册算法时，已经进行了大量的研究。最后通过对两种广泛使用的算法（即SIFT算法和SURF算法）的详细比较，选择SURF算法来支持足够的参考。
基于图像拼接的实用全景停车助理系统
摘要
本文提出了基于图像拼接的全景泊署辅助系统（AHASA）全面停泊辅助系统（PPAS）。四个鱼眼相机安装在车辆中，四个通道的图像将被集成为车辆显示屏上的顶视图。该系统提供车辆周围的全景视野，不仅可以使停车变得容易，而且可以避免对儿童的严重停车意外。除了嵌入式系统的设计外，本文的主要工作还包括摄像机校准和图像拼接。实验车PC和嵌入式系统实验结果表明，鱼眼图像失真校正和图像拼接的校准方法具有可靠的准确性，符合系统要求，适用于商业用途。
关键词：PPAS;鱼眼相机;图像拼接
一 引言
汽车对现代社会来说是不可或缺的，它将在不久的将来从燃油动力重新设计为绿色电力。无论改变什么，关于车内和车外人员安全的话题都是不变的。
本文的目的是设计一种基于图像拼接的车载嵌入式全景泊车助理系统（PP AS）。除了让停车对初学者来说是一件容易的事情，PPAS的主要功能是避免在停车或盯着汽车时对儿童造成严重事故，在这种情况下，幼儿似乎喜欢在前面或后面玩车，几乎全部成年司机很难注意到。
现有的两种停车辅助系统很受欢迎，其中一种是应用超声波传感器的停车距离控制（PDC），另一种是应用摄像头传感器的传统视频助理停车系统（V APS）。混合V APS和PDC技术的改进系统仍然没有广泛应用于其相对较高的价格和复杂的安装。当应用PDC系统时，无法获得障碍物的确切距离。当使用V APS时，驾驶员无法知道汽车旁边或前面的障碍物，而且在汽车前面玩儿童通常是这样，所以在安全方面还是有缺点的。
应用四个摄像机的全景停车系统可以克服PDC和V APS的两个缺点。日产Nissan，SONY和本田首先推出。它们在Elgrand，Infiniti和Odyssey等品牌中都有广泛的应用。全景停车技术的现行表现仍可在算法中得到改善。这种技术的相对较高的价格和OEM市场的销售限制使得在正常的家庭车中难以应用广泛。需要具有适当价格和高性能的后市场解决方案。
二 相机模型
为了通过相机的坐标建立3D世界坐标和2D图像坐标之间的对应关系，需要适当的相机模型。假设在图像坐标中，（ua，va）是坐标系的原点，（u，v）是u和v轴单位是像素的图像坐标之一（Xc，Yc，Zc） 代表相机的坐标。图像坐标和摄像机坐标之间的关系可以表示为，
其中k、x 、I表示像素的尺寸，其单位为mm，f为相机的焦距，e为相机坐标的倾斜角度。通常e大约等于90°，当精度要求不那么关键时，认为e等于90°，所以可以得到如下的等式：
（a，b，ua，va）是由相机本身确定的矩阵A的四个固有参数。由于制造错误，甚至在相同产品线的相机之间也可能存在很大差异。 因此校准是必要的。 相机坐标与世界的关系
坐标可以表示如下，
由于镜头的结构，成像时会出现失真。为了提高校准精度，考虑透镜的径向和切向畸变。所以方程应用如下，
其中X和y是理想图像坐标，（x，y）是实际图像点坐标，k１，k2是径向失真参数，而P１，P2是切向失真参数，m2 = x2 y2。
三 方法
考虑
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[138164]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
