英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

基于双目视觉的汽车防撞系统

摘要

目前市场上有多种用于汽车避碰的传感器，包括那些使用雷达，LIDAR，超声波，单目视觉和双目视觉的传感器。 为了避免在拥挤的交通环境中发生碰撞，必须使用智能传感器，该传感器不仅可以检测到障碍物的距离，还可以获取其他相关信息，例如障碍物占用的区域，交通车道的位置以及位置其他车辆和行人的运动。 双目视觉适用于这种应用，因为其视野广阔，可同时检测多个物体，并能够测量其大小，位置和相对速度，以及检测道路形状和车道标记的能力。然而，双目视觉也有几个弱点：（1）需要大量的计算。（2）不匹配的问题。（3）易受天气影响。 我们通过使用多种技术克服了这些问题：一个新的硬件系统来解决（1），（2）的精确纠正和（3）的适当的曝光控制。 我们的双目视觉系统于1991年首次在东京车展上亮相。 那时的性能为10fps，分辨率为512times;200像素，深度为100像素。1999年，第一款用于避撞的双目视觉系统投放市场。最近，我们开发了一种新的双目视觉系统，其性能为160fps，分辨率为1312times;688像素，深度为176像素。在这篇论文中，我将通过推导和视频介绍几款双目视觉系统及其应用。

介绍

近日，日本因交通事故死亡人数显着下降。 十年前，每年的死亡人数超过8000人，去年减少到不到5000人。这不是由于人们驾驶技术的改进，而是由于安全带，安全气囊和防抱死系统（ABS）等安全设备的改进，以及紧急医疗服务的重大进展。 这些例子有助于减少发生事故时的死亡，但不是减少事故本身。交通事故的数量并没有减少的事实证明了这一结论。 一代人以前，交通事故的主要原因被认为是司机缺乏安全意识。但是每个司机在65年内只发生一次事故的平均次数，而由于事故造成的死亡只有8500年一次。由于人的局限性，长时间保持驾驶安全意识很困难。 因此，开始了通过汽车本身或道路基础设施的变化来防止交通事故的许多努力。减少事故最重要的技术之一是检测道路上的障碍物。市场上有几种系统可以进行这种检测，例如那些使用激光测距仪，毫米波雷达，单目视觉或双目视觉的系统。在我的演讲的以下部分中，我将解释这些系统的特点并展示双目视觉的优越性。

双目视觉的优越性

2.1信息量

一张图片中的信息量是像素的数量。在数字图像处理的第一阶段，数码相机的典型像素数量约为300,000（VGA），而且相机非常昂贵。如今，拥有超过100万像素的相机很常见，并且拥有超过1000万像素的相机很容易找到。 考虑到每个像素都具有独立的信息，一次可以获得如此大量的信息是一个奇迹。在激光测距仪的情况下，VELODYNE公司制造的HDL-64可能获得最大量的车载障碍物检测信息。 [1]。这种测距仪相对昂贵，但可以检测0.09水平度的范围，这与典型的图像传感器相当。 然而，垂直方向上，取景器只能检测到每0.42度，这比典型图像传感器少一个数量级，以及一百万像素摄像机获得的信息量的二十分之一。 图1显示了在包含两辆距离为38米和64米的车辆的情况下，信息量的差异。 在激光测距仪的情况下，车辆在64米距离处的距离数据仅包含四个点。 在双目视觉的情况下，甚至车辆的形状以及隧道入口的形状都可以在100米的距离处获得。 因此，就信息量而言，双目视觉明显优于激光测距仪。如果我们可以从少量的数据点获得高质量的信息，那么认为不需要大量的点是很自然的。 实际上，典型的激光测距仪可以以低于10cm的较高的精度测量距离。 相反，对于双目视觉，精度与距离成反比。 结果在更远的距离处精度变得更糟。但是我会在第5章中指出，这个弱点对障碍物检测来说不是那么严重的问题。 此外，激光测距仪的数据点数量较少与其空间分辨率较低有关，这使得它们无法检测投影面积较小的物体，如杆，栅栏或轮辐。这是因为激光测距仪检测表面，而视觉传感器检测表面上物体或图案的边缘。 因此，视觉传感器可以很好地检测车轮的杆，围栏或轮辐。

图1.信息量的比较

视觉传感器的另一个优点是能够检测路面上的白线。 驾驶车辆的人使用白线区分道路。 如果有几条车道的宽阔的道路没有被白线隔开，那么由于难以预测其他车辆的运动而难以驾驶而不与其他车辆相撞。碰撞避免系统也是如此，因此传感器必须识别道路上的白线和其他管制标志。 只有视觉传感器才具有此功能。双目视觉为单目视觉增加了重要的信息，即将深度分布信息添加到单目视觉的亮度分布信息中。这些信息将世界从二维变为三维。车辆或移动机器人沿深度方向移动，因此关于深度的信息至关重要。除非环境是已知的，否则仅使用单目视觉相当困难，也就是说，有一张维护良好的地图。在图1中未示出的毫米波雷达的情况下，由于发散角较大，无法获得远处车辆的精确位置信息。即使光束被扫描，雷达也不能区分两个靠近的车辆。因此，毫米波雷达只能用于车辆密度低的地方，比如在高速公路上。

2.2视场

移动机器人观察路径并判断移动之前是否可以继续。如果路径弯曲，传感器必须具有宽视野以尽可能多地观察路径。 此外，传感器必须能够立即检测到从侧面突然进入的任何物体，并确定可能性来自物体相对位置和速度的碰撞，这也要求传感器具有宽视野。此外，传感器必须检查各个方向，以便在准备更换车道时了解装有传感器的车辆周围的其他车辆的运动。激光测距仪通过旋转反射镜或取景器本身来扫描薄的激光束，以确保宽广的水平视场和高空间分辨率。在广泛的垂直视野范围内，有些探测器使用旋转多面镜，而其他探测器则使用垂直分布的多个光束。 无论哪种情况，这些传感器都使用机械系统来扫描光束。机械扫描系统的缺点不仅是耐用性低，而且信息采集速度低。 毫米波雷达还涉及旋转雷达系统本身。使用实现扫描的毫米波雷达的另一种方法是使用许多雷达元件的相控阵雷达。 但是这种类型的雷达非常昂贵并且需要大面积安装。相比之下，即使使用标准镜头，手部视觉传感器也具有40至50度的宽视野。通过使用广角型镜头可以容易地获得更宽的视野。如果需要覆盖整个车辆的信息，那么一个全向摄像头可能用过了。全向立体相机可以通过使用多个全向相机来构造。因此，在视觉系统的情况下，不需要机械运动。

64线激光测距仪 测量结果

全向单目相机 测量结果

2.3处理速度

图像处理曾经被认为是一项耗时的任务。特别是，作为典型的处理步骤，立体匹配被认为使实时双目视觉无法实现。 为了克服这个困难，尝试了各种想法，包括CEN-SLS [3]。因此，现在有可能以相当便宜的价格执行实时立体声处理，同时保留灰度亮度信息。这是技术进一步发展的结果。事实上，在FPGA的情况下，立体匹配过程的处理速度对于VGA尺寸[4]达到2.5fps，并且最近，对于1312x68像素[5]，150fps的处理速度。 在FPGA上，使用前一代处理器pentium 4（Intel Corp.）的VGA处理速度达到30 fps [6]。相反，一次扫描的激光测距仪的处理时间是10到30帧/秒，考虑到低点数，这并不快。跟踪在横向快速移动的物体需要高速处理，例如车辆快速转动时的景物或突然从侧面闯入的人。 在这些情况下，普通汽车需要超过30fps的处理速度。在毫米波雷达的情况下，处理时间大约为几十毫秒，这并不慢。 但是，雷达无法检测横向速度，因为由于发散角较大，无法获得精确的横向位置。 因此，实现更高的处理时间对于这种应用是没有意义的。 最近，通过在车辆的左侧和右侧安装两个雷达天线并将它们朝向彼此倾斜，已经开发了可以检测横向速度的新型毫米波雷达。

2.4环境的影响

环境的影响取决于将哪个波长用作探测器。 图3显示了关系

图3.电磁波的波长与衰减因子的关系

2.5概要

表1总结了激光测距仪，毫米波雷达，单目视觉和双目视觉特性的比较。双目视觉超越了其他传感器的最基本特性，例如视场，检测白线的能力，和水平分辨率。 a处测量距离的精确度

由双目视觉远离100米的距离不如激光测距仪或毫米波雷达，如相应列中的圆圈所示。 然而，我们的经验表明，远距离精确测量距离不是很重要，因为在远处物体的情况下，有充足的时间检查是否会发生碰撞并对车辆进行适当的调整。 有关安全的专栏并且干涉对于立体和单目视觉具有双圈，但是对于激光测距仪和毫米波雷达是三角形的，因为检测器不发是最安全的，根本不会造成任何干扰。双目视觉的成本性能现在可能是合理的，但其绝对成本仍然是单目视觉或廉价激光测距仪的十倍。

实时双目视觉

3.1车辆双目视觉的历史

文章[8]总结了实时双目视觉发展的综述，尽管它不包括我们的系统。1988年开始开发汽车实时双目视觉系统，并于1991年在东京车展上展出，并发表[9]。该系统有两个640times;480像素（VGA）相机，可以每0.1秒产生一个视差图像，深度范围为100像素。根据文章[8]的报告，这将是当时世界上最高的表现。但是，我们真正的挑战才刚刚开始，因为避免碰撞的系统必须随时随地运行。 因此，我们付出了很大的努力来建立一个可以在雨中，雪地，夜间，日落或日出以及极端高温或低温下运行的系统。最终，1999年，我们在市场上推出了第一款采用双目视觉避撞系统的汽车。

3.2双目视觉的原理

开发的双目视觉系统如下获得距离分布。 如图4所示，具有相同焦距的两个摄像机水平排列，光轴相互平行。 此外，左右相机的水平轴重合，使得两个相机的任何物体的投影点的垂直坐标相同。世界空间坐标X，Y和Z从右边获得

图4.两台相机的安置

通过使用以下等式，点和的相机坐标以及视差

,通过以下公式

其中B是基线，它是相机光学中心之间的长度，f是焦距。 世界空间坐标系和右摄像机坐标系的起源都设置在右摄像机的光学中心。

使用块匹配方法获得图像的视差。 我使用了一个4times;4像素的小块。 这个尺寸是根据实验中匹配的成功率确定的。 我准备了一个图像对从单个图像进行立体匹配。 原始图像用于右侧图像，而左侧图像是通过移动原始图像20像素而形成的

图5.添加标准差为3的噪声后匹配尺寸和成功率的关系

由于已知正确的差异为20个像素，所以可以容易地获得成功率。 对于各种尺寸的块的匹配结果如图5所示。较小的块对于空间分辨率更好，因此确定了最小可用尺寸，其为4times;4像素，如图5所示。在VGA尺寸和40度的视野，块的宽度相当于在100米距离处有0.5米，这足以在该距离检测车辆的分辨率。 绝对差值之和（SAD），

用于确定块纹理的相似性，其中i和j是图像的坐标，d是视差。IL（i，j）和IR（i，j）分别是左侧和右侧图像中（i，j）处像素的亮度。视差定义为在搜索范围内S最小化的d的值。通过在整个图像上执行该计算来获得视差图像。 一个例子如图6所示。图像是2048times;2048像素。

图6.

全文共11100字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[15175]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

您可能感兴趣的文章

• 彩色图像中的人脸检测与识别外文翻译资料
• 一种非线性离散奇异大规模控制系统的稳定性外文翻译资料
• 融合领域特定和可训练的特征，用于人脸图像的性别识别外文翻译资料
• ASP. NET概述外文翻译资料
• 基于深度卷积激活特性的地面云分类外文翻译资料
• at89s52单片机简介外文翻译资料
• 实时多手势识别人机交互系统外文翻译资料
• 基于DTW改进算法的语音识别外文翻译资料
• 研究区域自动气象站的后端实时数据质量控制方法外文翻译资料
• 电动汽车的智能前车灯控制器设计外文翻译资料