英语原文共 10 页
基于傅立叶变换的单眼地面摄像机视觉里程测量
Merwan Birembull; Richard Kleihorst bull; Norddin El-Ghouti
摘要
本文提出了一种视觉里程测量方法来估计机器人的位置和方向。视觉里程测量方法是基于傅立叶变换的，傅立叶变换提取了地面摄像机拍摄的连续图像区域之间的平移。如果地面上没有明显的视觉特征，该方法尤其适用。这种方法能够抵抗车轮打滑，因为它独立于车辆的运动学。该方法已在不同的实验平台上进行了测试，并根据实际情况进行了评估，包括成功的闭环试验，以证明其通用性和性能。
关键词：视觉里程计；视觉；地面相机测量
1 简介
近年来，视觉导航越来越受欢迎，并受到了越来越多的研究关注。例如，视觉里程计（VO）和其他基于视觉的移动机器人定位和映射方法在实际应用中的应用越来越多。视觉里程测量的目的是估计机器人的运动。这是通过提取和跟踪使用单个摄像头或立体配置收集的视觉特征来完成的。这种处理主要取决于视觉特征的质量和鲁棒性，因为弱特征需要更多的计算处理来过滤它们，并在特征之间获得更精确的匹配。视觉里程表已被用于车轮打滑非常重要的地区，其中一个地区是火星探测车（MER）[8]。然而，在观察缺乏有效视觉纹理的平面时，视觉里程计是不可靠的。有关移动机器人视觉导航的详细调查，请参见[4]
本文提出了一种基于视觉的移动机器人相对定位和轨迹确定的新方法。该方法被归类为视觉里程测量方法，用于平面。它的优点是在不包含良好和强大视觉特征的表面上使用。
我们基于“地面摄像头（gfc）”的视觉里程计方法使用面向地面的摄像头（图1），并通过确定两个连续图像之间的移动来估计机器人的运动。图1还显示了如何从两个连续帧中的像素移动中提取真实世界中车辆的位移，了解摄像机的不同内部和外部参数。为了更精确和减少处理的计算时间，将使用两个连续图像的区域而不是整个图像。这些区域在处理的图像中可以有不同的位置和配置。
该组件是在GPS定位（gpos）项目下开发的，其中一个目标是通过结合绝对和相对定位子系统（如全球定位系统（gps）、惯性测量单元（imu）、可视信标和视觉里程计）获得精确的定位系统（可以找到更多关于该项目的详细信息这里是gpos[1]）。本项目开发的所有算法和组件都在无约束平台上，以验证模糊概念，从而获得更精确的定位系统，达到厘米精度。
图1摄像头设置和GFC工作原理的图示。
A为安装在车辆上的向下摄像头的图示。B.全球金融危机如何运作
本文重点介绍了玻璃纤维增强塑料的组成部分，其结构如下：第一节。2、综述了近年来视觉里程测量的研究进展。在教派中。3，我们解释了如何从像素级的位移（图像偏移）中，通过快速傅立叶变换（FFT）来估计机器人在现实世界中的位置和位移，并解释了我们使用两个区域来确定车辆旋转的方法。在教派中。4.我们使用不同的配置将我们的方法扩展到多个区域。在教派中。5、我们对所获得的不同实验和结果进行了分析，并说明了该方法的适用性和准确性。最后，在教派。6.我们对上述方法进行了概述，并讨论了为提高地面摄像头的可靠性而开展的未来工作的结果。
2前期工作
早期版本的视觉里程计被用于视觉服务和跟踪特征纠正过程。这方面的一个例子是光学流动过程，该过程用于根据机器人外围的像素速度确定机器人或周围物体的运动。为此，文献中根据亮度模式、特征匹配等提供了不同形式的光学流，如[6、13、19]。
McCarthy和Bames[21]在他们的论文中比较了四种光流量法在走廊中心和视觉里程计的室内应用。其他视觉里程计系统使用来自前向摄像头的立体图像进行实时移动机器人定位[14、20、25]。这些系统在恶劣的室外地形和大范围内都取得了良好的成功[2]。这些方法的主要缺点是计算复杂度和对校准良好的立体声对的要求。
前置摄像头是文献中最常见的配置。此应用程序允许在室内/室外导航时获得强大的里程计估计[5]。例如，Labrosse[18]通过比较全景图像中的移动显示了如何估计机器人的航向。Konolige[17]提出了一种可用于单眼或双眼视觉的不同方法。
向下摄像头配置用于通过将当前图像与现有数据库关联，在预先探索的环境中定位移动机器人[16]；这些方法的缺点是需要一个学习步骤来创建数据库。Dille[9]利用商用视觉模块（由四个光学鼠标传感器组成）和惯性导航系统（INS）/全球定位系统（GPS）模块的组合，对他们的月球车进行了视觉里程测量。使用惯性测量单元（IMU）横摆率计算月球车的航向，并使用面向地面的视觉模块计算其横向运动速度。结果在数百米的不同表面上相当准确，但由于分辨率较低，对无纹理混凝土表面的研究也不尽相同。
该领域还提出了其他算法和工作，它们使用了向下摄像头配置，例如基于梯度的跟踪方法[3、22、24、29]和模板匹配方法[16、26]。然而，第一种方法的主要缺点是需要在每个帧的补丁之间有明显的重叠。这将限制帧间位移，从而限制机器人的速度。相比之下，模板匹配能够处理较大的位移，但第二种方法的缺点是它的时间消耗。
在Nourani[26]提出的工作中，作者将车辆的运动模型与gfc结合起来，得到车辆的轨迹。为了确定移动图像帧之间的位移，努拉尼[26]使用了相关性[13]，该相关性可应用于整个帧或其一小部分区域。与Nourani[26]的工作相比，我们的方法对Ackerman的转向模型或其他车辆模型没有任何约束，也没有关于车辆运动的假设（第3.本文中，作者提到他的运动估计假定为分段线性运动）。
如前所述，我们建议的视觉里程计包括一个面向地面的摄像头。主要目标是通过确定两个连续帧之间发生的移动来估计机器人的运动（即dx；dy；dh）。在下面的章节中，我们将对如何使用快速傅立叶变换（FFT）来计算图像移位位移进行清晰的概述，然后将其转换为机器人运动估计（平移和旋转）。
3车辆运动估计
3.1翻译
为了确定车辆的位移，必须将摄像机观察到的像素位移转换为实际单位（即米）。但在此之前，应估计两幅连续s图像之间的偏移。这是通过使用相位-平面相关法来实现的，相位-平面相关法用于图像配准，并且依赖于由FFT计算的数据的频域表示，以避免相关的大量计算工作（即空间域中的模板匹配）。图2演示了使用相位相关来确定两个图像之间的相对平移运动。图像在两个方向（x，y）上被（30，33）像素转换。我们可以在相位相关表示中的大约位置（30，33）处看到一个峰值。这种方法背后的思想是基于傅立叶变换特性[27]，该特性表明两个函数的坐标系中的位移在傅立叶域中被转换为线性相位差[11]。
设I1(x；y_)和I2_(x；y)为两个矩阵，表示原始图像及其翻译版本：
根据傅立叶变换性质:
其中，u和v是空间频率，。
归一化交叉功率谱：
为了解式3，我们首先将反傅立叶变换应用于标准化CPS：
(4)
然后确定R中峰值的位置以获得像素移位(delta;x; delta;y)。
图3显示了一个图块，说明如何使用相位相关性来确定转换。第一个结果表示车辆在固定位置的位移，该位移将以米为单位传输至实际距离。为此，需要了解摄像机内部参数和摄像机在车辆上的位置。公式5显示了从像素到米的转换。
(5)
其中，Hcam是相机到地面的距离，f是相机焦距，delta;P=delta;Pixeltimes;PixSize是传感器芯片上每个像素的大小（这是本征校准的一部分），delta;Pixel是图像之间以像素为单位的移动。对于给定的设置，Hcam也是一个常量，我们可以定义相机常量： , F尽管在实践中，由于车辆移动时悬架振动，HCAM会发生变化，但可以合理地假设这种变化为零平均值[10]，以便在整个运行过程中消除差异。因此，像素位移delta;x和delta;y将导致物理摄像机位移delta;c：
图2利用相位相关确定两幅图像之间的相对平移运动
图3使用相位相关确定平移的方框图
3.2旋转
估计车辆的下一个参数是旋转。在文献中，一些研究人员使用一些技术来估计这个参数，例如由Casasent[7]引入的傅立叶-梅林变换（fmt），并在[28]中应用于图像配准。作为一种全局方法，它可以估计连续图像帧之间的相似变换参数（即旋转、缩放和平移），并且对随机噪声具有鲁棒性。在Goecke[12]的工作中，该技术被用于通过一个面向地平线的单摄像头进行车辆运动估计，而在[24]中，fmt被应用于无人飞行器（UAV），用于视觉里程测量，以生成照片地图。原则上，fmt是径向和傅立叶变换的组合。
在我们的方法中，我们提出了一种减少非复杂操作（如傅立叶-梅林变换（Kazik[15]）耗时的方法来确定车辆的旋转。这种方法不只是在一个区域上应用傅立叶-梅林变换，而是将其应用于同一图像的多个区域，并且通过知道它们的位置，旋转可以是从每个区域的翻译（delta;xi；delta;yi）中得出。图4显示了使用工作区域时的情况。在估计两个区域的平移后，可以使用以下公式计算旋转：
其中DRL是两个区域之间的固定距离。
图4如何使用两个区域获得旋转
在估计了每一个位置的位置后，可以使用前面的位置计算出车辆净排水量delta;x；delta;y；delta;theta;和车辆的新绝对或相对位置的三个参数，如下所示：
分别使用两个区域上的等式6，将每次计算左侧和右侧区域的新位置。为了验证估计的delta;xi；delta;yi ; delta;theta;移动，两个新区域位置之间的距离应等于固定距离DRL。
在我们的测试中，我们对两个区域（左和右）之间的距离容忍5%的误差。当误差大于5%时，当前的delta;theta;等于前一个delta;theta;，根据两个区域（左、右）之间的稳定位置，估计出两个区域（左、右）的新位置。稳定区是标准化cps“r”中峰值最高的区域（见第3.1）。算法1总结了根据基于两个区域的方法的图像偏移来估计真实世界中车辆位移的所有步骤：
4多区域和最大速度地面摄像头
图5显示了使用同一帧中区域的不同可能配置。需要注意的是，为了使车辆在移动过程中旋转，至少需要两个区域。
预计使用更多区域将提高估计位移的精度，因为系统中添加了更多的约束，以及更多的测量。限制使用区域数量的因素是处理时间和图像位移限制，这将影响车辆的最大速度。区域数量、位置和大小的选择对整个系统的性能至关重要。如果我们考虑基于两个区域（图5左图）的进近，则进近仍能检测到delta;Pmax的最大位移为Lin/2（见图6），其中Lin是图像的行数。
根据该约束条件和等式5,Dmax将得到:
知道用于gfc的摄像头的帧速率后，最大速度将为：
其中delta;T是两幅图像之间的时间，FPS（每秒帧数）是相机的帧速率。
在我们在GPS定位（GPOS）项目下进行的研究中，重点是精确确定车辆的位置和运动（更多关于该项目的详细信息可在这里找到GPOS[1]）。GFC组件是指使用相对定位系统，与其他绝对和相对定位组件（如低成本GPS、IMU和可视信标）融合,项目所用的平台如图7所示。
图5 GFC多区域的不同可能配置
图6计算使用GFC的最大速度
对于 GFC组件，我们使用了一个Flea3 FL3-U313Y3M-C单色USB 3.0相机，从灰色/ FLIR点开始，该相机的像素大小为像素大小PixSize = 4.8 micro;m，车辆配置为：Lin =512, f = 5.76 mm, Hcam = 0.4m和FPS = 25。从这个设置中，最大速度可以用公式11计算。
5实验
本节分为两部分。第一部分介绍了在室内环境中使用专用工具（铣床的xy工作台和车轮定位转盘）分别验证平移和旋转精度的实验结果（见图8）。在第二部分中，我们展示了在一个回路闭合轨迹上得到的结果。
在这些实验和最初的研究结果中，我们将研究局限于两个案例：
bull;带一个约束的两区域方法，
bull;带两个约束的四区域方法，
图9显示了如何使用这两种方法。
图7 GPS-Positioning（GPOS）项目期间使用的车辆（福特S-Max）
图8 A图铣床的xy工作台，B图为车轮定位转动板
图9两区和四区方法
由于速度限制，无法在室外环境中对普通汽车上使用的该部件进行评估。估计算法可以处理的最大速度大约为8 kph（见第4）。福特S-Max无法在低于8公里/小时的速度下获得稳定的运动（见图7）。
5.1室内试验
我们通过分别测量平移和旋转的精度来开始测试。图11显示了实验期间测试的不同类型的表面。为了进行第一次实验，我们使用了铣床的xy工作台（见图10）。
在这张桌子上进行的实验是在X和Y两个方向上以及在两个相反的方向上进行的。实际距离由铣床的电子指示器给出。对于x方向，参考240 mm的距离，对于y方向，我们取120 mm。表1和表2给出了我们在x方向从左到右以及y方向从前到后获得的最终距离差的结果。对于从64到256的不同大小的图像窗口，使用两个区域和四个区域的方法来估计不同的轨迹。
图12总结了所有结果，并概述了最终结果。从前面的两个表中，我们可以从这张图中看出，当所用区域的大小更大时，结
资料编号：[6033]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
