英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料
Frontiers of Information Technology amp; Electronic Engineering
www.zju.edu.cn/jzus; engineering.cae.cn;
www.springerlink.com ISSN 2095-9184 (print);
ISSN 2095-9230 (online)
E-mail: jzus@zju.edu.cn
一种用于机器人汽车自定位和障碍物感知的以视觉为中心的多传感器融合方法
Jian-ru XUEdagger;, Di WANG, Shao-yi DU, Di-xiao CUI, Yong HUANG, Nan-ning ZHENG
(Lab of Visual Cognitive Computing and Intelligent Vehicle, Xirsquo;an Jiaotong University, Xirsquo;an 710049, China)
dagger;E-mail: jrxue@xjtu.edu.cn
Received Dec. 29, 2016; Revision accepted Jan. 8, 2017; Crosschecked Jan. 10, 2017
摘要: 大多数先进的机器人汽车的感知系统与人类驾驶员理解交通环境的方式相当不同。首先，人类主要通过视觉感知来自交通场景的信息，而机器对交通环境的感知需要融合来自多种不同类型传感器的信息以满足安全关键要求。其次，一辆机器人汽车的自动驾驶需要接近100％的正确感知结果，而经验丰富的人类驾驶员可以在动态交通环境中运行良好，机器感知很容易产生嘈杂的感知结果。在本文中，我们提出了一种以视觉为中心的多传感器融合框架，用于自动驾驶的交通环境感知方法，该方法通过几何和语义约束一致地融合摄像机，LIDAR和GIS信息，实现有效的自我定位和障碍物感知。我们还讨论了强大的机器视觉算法，这些算法已经成功地与框架集成在一起，并解决了从收集训练数据，高效处理传感器数据，提取低级特征到多级对象和环境映射等多个机器视觉技术水平。拟议的框架已经在我们自主开发的机器人汽车八年的实际城市场景中进行了广泛的测试。实证结果验证了其鲁棒性和效率。
关键词: 视觉感知; 自定位; 地图构建; 运动规划; 机器人汽车 http://dx.doi.org/10.1631/FITEE.1601873 CLC number: TP181
1 介绍
人工智能与应用程序的快速集成近年来提供了一些显著的突破（Pan，2016）。 机器人汽车就是这样一种突破性技术，可能在不久的将来进入现实生活，这也是混合人工智能系统的一个很好的例子（Zheng et al。，2017）。 一辆机器人汽车在开车的所有时间内都需要回答三个问题：它在哪里，在哪里以及如何去。 为了回答这些问题，机器人汽车需要整合三项相关的重要任务：自我定位，
____________________________________
* Project supported by the National Key Program Project of China (No. 2016YFB1001004) and the National Natural Science Foundation of China (Nos. 91320301 and 61273252)
ORCID: Jian-ru XUE, http://orcid.org/0000-0002-4994-9343
lowast;c Zhejiang University and Springer-Verlag
Berlin Heidelberg 2017
决策制定和运动控制。 在这些任务中，理解机器人周围环境的能力是核心，机器人汽车的性能在很大程度上取决于环境感知技术的准确性和可靠性，包括自我定位和障碍感知。
自动驾驶所需的几乎所有相关信息均可通过视觉传感器获取。 这包括车道几何，可行驶路段，交通标志，交通灯，障碍物位置和速度以及障碍等级。 然而，利用视觉传感器的这种潜力比LIDAR，雷达或超声波传感器施加更多的难题。 LIDAR，雷达或超声波传感器的传感数据涉及距离或
速度，即车辆控制所需的信息。 不过，基于摄像头的驾驶员辅助系统已进入汽车市场（Ul-rich，2016）。 然而，基于计算机视觉的城市环境中的自主驾驶方法仍然是一个开放的研究问题，因为这些先进的视觉技术仍然无法提供自动驾驶所要求的高成功率。 幸运的是，近期使用深度学习技术进行场景识别的方法为机器人汽车提供了以视觉为中心的未来发展方向（Hoiem et al。，2015）。在本文中，我们提出了一个以视觉为中心的多传感器融合框架，用于机器人汽车的感知问题，它通过几何约束和驾驶知识一致地融合摄像机，LIDAR和GIS信息。 该框架由机器人汽车周围的自我定位和障碍物处理组成。 乍一看，这两个问题似乎已经得到了很好的研究，并且在这个领域的早期工作很快就会获得有希望的结果。 然而，自主驾驶所要求的各种各样的情景和高成功率使这项研究保持了活力。 具体而言，将计算机视觉算法集成到紧凑而一致的机器感知系统中仍然是机器人汽车领域的一个挑战性问题。自我定位是上述挑战的第一个关键问题。机器人在任何时候准确有效地确定其位置的能力是机器人汽车与环境相互作用必不可少的基本任务之一。机器人汽车的各种应用需要不同的精度和自定位的更新频率。以停车场为例，所需的精确度为厘米级，更新频率约为100 Hz。相比之下，为了布线和引导，要求的精度降低到10-100米，更新频率约为0.01赫兹。为了解决GPS测量精度低且容易受到影响的关键问题，基于地图的方法成为机器人汽车最流行的方法之一，其中一个地图用于改进GPS测量并填充信号何时不可用或退化。在基于地图的定位方法的线，一个理想的地图应提供TRA FFI C环境下，不仅几何REP-resentation，但也有一些类型的环境的基于传感器的描述中，以减轻自定位的二FFI culty以及如运动规划（Fuentes-Pacheco等，2015）。然而，人类驾驶员的传统路线图不能直接用于机器人汽车，因为它是由经多义线连接的均匀采样的空间点组成的，具有低精度，特别是在城市地区，超过5-20米。不可避免地，构建高定义图成为机器人汽车的核心竞争力之一。
映射方法可以构建环境的几何表示。他们采用基于传感器的环境描述模型，集成视觉和几何特征，并与贝叶斯滤波器一起设计，以便基于传感器的描述可以随时间更新（Douillard et al。，2009）。由于多种原因，通过本地感知信息映射机器人汽车是一个具有挑战性的问题。首先，地图是定义在一个连续的空间上;地图估计的解空间有很多维度。第二，学习地图是一个“鸡与蛋”问题，因此它通常被称为同时定位与映射（SLAM）或同时映射与本地化问题（Thrun and Leonard， 2008）。更具体地说，映射问题的困难可以通过一系列因素来增加，这些因素包括地图大小，感知和驱动中的噪声，感知模糊以及从异步运行的不同类型的传感器获取空间 - 时间感测数据。利用给定的交通环境地图，自定位成为确定其在地图中的姿态的问题。
另一个关键问题是需要高可靠性来处理机器人汽车周围的障碍物。 这可以保证机器人汽车在通过实际交通驾驶时的安全性。 机器人汽车需要知道周围障碍物的位置，大小和速度，以便进行高水平的驾驶决策。 然而，实时检测和跟踪算法依赖于单个传感器，在面对不同的真实数据时（Xue et al。，2008），常常会导致精度低和鲁棒性差。 例如，大多数最先进的目标跟踪器会出现噪声速度的噪声估计，并且由于实际传输环境中的重度遮挡和视点变化而难以追踪（Ess等，2010; Mertz等 2013）。 另外，
如果没有对附近障碍物速度的稳健估计，那么合并到高速公路或变道上将成为一项艰巨的任务。 任何必须在拥挤，动态的环境中自动运行的机器人都会遇到类似的问题。
融合多个激光雷达和雷达是机器人汽车和高级驾驶员辅助系统的重要模块。 随着基于视觉的物体探测和跟踪技术的改进，利用激光雷达和雷达整合视觉技术使得可以做出比先前的方法更高级别的驾驶决策，这些方法仅将雷达与雷达融合在一起。
2010
2009
2012
2011
2016
2013-2015
图1 机器人汽车的长期测试视觉为中心的多传感器融合方法的时间表
在本文中，我们总结了以视觉为中心的多传感器融合方法解决上述问题的8年工作成果，以及我们通过对机器人进行长期和全面测试所学到的经验教训 汽车在实际城市交通中自主驾驶（Xue et al。，2008; Du et al。，2010; Cui et al。，2014; 2016）。 图1显示了我们开发的用于视觉中心多传感器融合方法测试的机器人汽车的时间线。
2 相关工作
在本节中，我们将简要介绍一下关于自我定位和障碍物检测和跟踪的最新作品。
2.1 自定位
自我定位的核心问题是制图，制图和本地化最初是独立研究的。 更具体地说，机器人汽车的测绘作为将汽车周围环境的局部，局部和顺序测量集成到一致表示中的过程来实现，这构成了进一步导航的基础。 整合的关键在于对来自装备机器人汽车的多个热敏传感器的空间 - 时间传感数据进行联合调整，这通常是在某种程度上进行的。
对于给定的地图，需要建立地图与其局部感知之间的对应关系，然后根据这些对应关系确定地图坐标系与局部感知坐标系之间的转换关系。 了解这种转变使机器人汽车能够在周围的坐标框架内找到周围的利益障碍 - 这是机器人汽车穿越障碍物的必要先决条件。 这意味着本地化实际上是一个注册问题（Du et al。，2010），并且可以通过地图匹配技术解决（Cui et al。，2014）。 凭借其在全球地图中的本地化，机器人可以从地图获取导航信息。 此外，为了提高本地感知的准确性和可靠性，导航信息可以进一步用于验证本地感知结果（Cui et al。，2014; 2016）。
映射和本地化最终被称为SLAM（Dissanayake et al。，2001）。 SLAM方法能够通过使用地标并且在所有或姿势和地标的选择上联合优化来减少相对于机器人汽车的初始位置的累积漂移。 已经提出了使用增量稀疏矩阵分解（Montemerlo等人，2002）或相对结构表示（Grisetti等人，2010）的高效优化策略，以使这些算法易于处理和可扩展。 因此，在理论和概念层面上，SLAM现在被认为是LIDAR被用来构建小静态室内环境二维地图的一个解决问题（Thrun和Leonard，2008）。 有关SLAM的综合调查和专题论文可以在文献中找到（Durrant-Whyte和Bailey，2006）。对于大规模定位和映射，度量拓扑映射构造了可在感知识别的地方进行导航的地图（Blanco et al。，2007）。一个流行的表述是使用度量一致的子图，并将它们与拓扑约束联系起来。生成这种度量拓扑图是基于混合离散连续状态空间中机器人路径的重构，它自然结合了度量和拓扑图（Blanco et al。，2008）。拓扑图通常建立在图SLAM系统之上，即使对于非常大的环境也可以进行有效的优化（Konolige et al。2011）。对于具有公制拓扑图的机器人汽车，它使用本地度量图进行局部导航，而整体规划则在拓扑图上形成。因此，量度拓扑图可以逐步创建和更新，避免了构建整个全局度量图的计算和存储负担。然而，在大规模，动态和复杂的交通环境中实际实现SLAM解决方案仍然存在一些实质性问题，并且无法在机器人汽车的构建和使用感知丰富的地图中使用。
为了解决上述问题，试图将视觉信息纳入地图系统。最近的一项调查描述了许多此类研究工作（Fuentes-Pacheco et al。，2015）。一项里程碑式的工作，包括仅使用单目视觉的实时SLAM，已经实现，但只适用于少于100个地标的小型室内环境（Davison et al。，2007）。即使这些作品提供的地图往往具有相对意义，它们也可以进行双向地图匹配程序，这不仅产生与道路网络一致的位置和轨迹，而且还从地图反馈信息匹配相机传感器融合（Cui et al。，2014）。这一思路有很多很好的例子。尽管已经取得了显着的进步（Brubaker等，2016），但仍然存在一些问题。例如，当探索大规模环境时，许多视觉SLAM系统仍然存在较大的累积误差。这导致对地图的估计不一致以及基于地图的本地化。此外，视觉SLAM系统最常见的假设，即探索的环境是静态的，可能会失效，因为交通环境通常包含人员和车辆运动。最后但并非最不重要的一点，交通场景在视觉上是重复的。有许多类似的纹理，例如重复的建筑元素，绿化带和墙壁。这使得很难识别以前探索过的地区。
2.2 处理周围的障碍
安全的自动驾驶需要知道准确的障碍速度和位置。 在公路交通情况和其他主要无行人交通状况方面取得了令人瞩目的进展（Aeberhard等，2015）。 然而，具有大量移动障碍物的城市交通场景，特别是许多行人，骑车人和车辆，仍然对可靠的障碍物检测和跟踪构成重大挑战。 在这种情况下处理周围障碍物是一个很大程度上未解决的问题，并且在需要预测高层决策和路径规划所需的障碍物未来状态的情况下，问题
全文共26304字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14093]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
