英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料
用于自动驾驶车辆的实时车道检测和跟踪
摘要
本文提出了一种用于自动驾驶汽车的改进的车道检测和跟踪方法。在实际应用中，当更改摄像机的姿势和位置时，需要对算法中的参数和阈值进行微调。为了提高对不同视角条件的适应性，提出了一种宽度自适应车道检测方法。作为减少噪声的有用参考，消失点已广泛应用于车道检测研究中。但是，基于原始图像的消失点检测会消耗很多计算资源。为了提高实时应用的计算效率，我们提出了一种简化的消失点检测方法。在特征提取步骤中，采用扫描线方法检测车道岭特征，其宽度阈值是根据车道跟踪自动设置的。通过聚类，验证和模型拟合，可以从基本的山脊特征获得车道候选。通过简化的基于网格的方法获得带车道的消失点，然后将其应用于滤除噪声。最终，应用了多车道跟踪卡尔曼滤波器，其确认线还为山脊特征提取提供了自适应宽度阈值。基于我们的智能车辆测试平台的真实道路实验结果证明了该方法的有效性和鲁棒性。
关键词：车道检测，车道跟踪，山脊特征，消失点，自适应宽度阈值
介绍
车道检测是自动驾驶和高级驾驶辅助系统（ADAS）的重要功能。车道检测是车道偏离预警系统（LDWS），车道保持系统和结构性道路规划的基础。由于行车道的常规打印特性，车道标记与道路形成了鲜明的对比。车道标记的印刷边缘和鲜艳颜色是检测它们的两个主要提示。边缘检测广泛用于车道检测。 Lee1使用边缘分布功能（EDF）直接从边缘检测结果中检测车道。 Otsuka等人2根据边缘点的方向检测到多个车道标记。许多研究使用边缘作为模型拟合的特征输入，首先通过边缘检测生成二进制图像，然后通过不同的模型拟合车道，例如Hough变换或RANdom SAmple Consensus（RANSAC）等。车辆，路边，阴影等也会在图像上产生边缘，这些噪声需要通过模型拟合来消除，这会降低鲁棒性并增加计算成本。作为边缘检测的扩展，脊检测可以发现车道标记的低-高-低属性，该属性考虑了可能的左右边缘之间的宽度； 因此，通常可以在特征提取步骤中获得更好的性能。颜色是从图像中区分车道标记的另一个功能。车道标记为白色和黄色，比灰色道路更亮，因此 可以检测具有颜色特征的车道。 Chiu和Lin9考虑了车道标记的低饱和度和高亮度，以实现基于颜色的车道分割。 Ma和Xie10通过在特殊颜色空间上使用K-means颜色聚类方法来利用车道标记颜色的相似性。 基于颜色的方法简单直观。但是，颜色会随照明和反射条件的变化而变化，白色物体或区域也会带来额外的干扰。因此，难以确保仅依靠颜色来检测车道的鲁棒性。作为减少特征提取和模型拟合步骤后的噪声的有用参考，消失点（VP）被广泛用于降低检测结果的噪声。在结构道路上，平行车道在图像中的VP相交；因此，可以滤除不符合此透视规则的噪声。有的研究根据视点特征使用预先校准得到的固定VP，则采用了各种VP检测方法。在线VP检测比静态VP更能适应更多场景；但是，与应用固定VP相比，它消耗更多的计算资源。车道跟踪也是提高鲁棒性的重要方法。卡尔曼滤波器是使用最广泛的车道跟踪方法。通过连续输入，车道是稳定的特征，可以通过跟踪来确认，同时会消除随机噪声。特征提取，模型拟合和车道跟踪的框架是车道检测研究的主流，并已被证明具有良好的性能。但是，当更改摄像机的姿势和位置时，算法中的参数和阈值需要进行微调，这需要自适应方法。本文主要关注视角条件的变化。为了在视角变化上获得更鲁棒的性能，本文提出了一种宽度自适应车道检测方法。此外，增加检测频率对于自动驾驶汽车应用很重要。鉴于此，从原始特征进行VP检测通常要花费很多时间，因此提出了一种简化的VP检测方法。整个算法包括三个主要部分：车道标记提取，带VP的增强车道拟合以及带卡尔曼滤波器的车道跟踪。在车道标记提取步骤中，应用扫描线方法在灰度图像上检测具有自适应阈值的山脊。车道标记通过考虑欧几里得距离和车道标记的二次模型，通过对岭车道特征进行聚类来获得。颜色，大小和位置将进一步应用于验证车道标记。之后，将标记拟合为线性或二次模型，从而生成带通道投票的VP，然后消除带通道干扰。然后，将多车道跟踪卡尔曼滤波器应用于车道跟踪，从而进一步为车道特征提取提供优化的宽度阈值。该算法的流程图如图1所示。本文有两个主要贡献：（1）具有良好实时性能的简化VP检测；（2）多车道跟踪生成的岭特征检测中的自适应宽度阈值，提高了算法在不同视角条件下的适应性。
车道标记提取
车道标记提取是该算法的基础。 在此步骤中，将脊线，颜色和其他属性组合在一起，以减少后续车道拟合步骤的大多数输入噪声。 车道标记提取可分为三个步骤：岭特征提取，特征聚类和车道标记验证。
岭特征提取：
预先设置了一个矩形的感兴趣区域（ROI），以提取图像中可能会出现车道标记的区域。 ROI设置为图像的下部，以除去地平线上方或地平线附近的区域，从而消除了天空和路边建筑物造成的干扰。 由于车道标记与道路相比更亮，因此图像被转换为灰度以进行山脊检测。 像许多其他研究一样，通过扫描线方法检测到脊线特征。对于每个像素（x，y），图像的每一行都是一条扫描线，如Xiao等人所述，梯度G（x，y ）由以下公式计算
（1）
I（u，y）是像素（u，y）的灰度级，F是用于梯度计算的邻域范围。 如果G（x，y）是局部最大值或局部最小值，且绝对值超过自适应阈值，则将像素标记为右边缘或左边缘。 将梯度阈值局部设置为与当前像素的灰度级（x，y）成比例。 因此，灰度阈值较低时，梯度阈值较低，与固定的全局阈值相比，可以减少照明影响。 车道脊特征由左边缘和右边缘组成，它们之间的水平距离在适当的宽度范围内。 宽度范围是根据一般透视效果设置的
（2）
（3）
其中h是图像高度，yvp是VP的y坐标，whmax和whmin是通过自适应宽度生成获得的图像底部的最大和最小阈值。 VP处的车道宽度应为零，然后，由于线性透视特性，可以通过插值来设置高度y，wymax和wymin处的阈值。在不同的摄像头安装状态和道路属性下，车道的像素宽度可能会有所不同。 为了提高算法的适应性，我们提出了一个结合特征提取步骤和跟踪步骤的自适应宽度阈值生成框架。初始宽度阈值具有很高的容忍度，可在不同条件下尽可能减少漏检。 由于视角特性在一定条件下固定，因此车道宽度相对稳定，因此可以通过跟踪设置宽度阈值。 输入连续图像后，卡尔曼滤波器将确认已被跟踪超过一定次数的车道。 然后，根据确认车道的宽度将宽度阈值设置得更严格，因此适合当前条件。 在此框架下，将阈值从宽松设置为紧密，从而提高了在不同条件下的适应性，并在给定特定条件下获得了特定的优化阈值。图2显示了自适应宽度阈值的优势。 ROI显示为浅红色区域。在图2（b）中，由于初始宽度阈值的高容忍度，人行横道和道路标志被检测为山脊特征。人行横道和道路标志很难通过以下验证和拟合步骤删除，因为它们与车道具有相同的颜色并且还满足VP约束。但是，这些标记比泳道更宽；因此，可以在山脊特征提取步骤中将其删除。利用卡尔曼滤波器产生的优化阈值，人行横道和道路标志被滤除，如图2（c）所示。图2（d）是来自另一个数据集的图像。通道比图像A稍宽；因此，图像A的优化阈值会导致图像B的丢失检测。我们可以看到，没有一个阈值可以同时满足两个数据集，因此需要自适应阈值。相反，提出的松紧自适应阈值框架可以在两个数据集上获得最优的宽度阈值，从而提高了算法的鲁棒性和适应性。
图1.车道检测框架
特征聚类
最后一步获得的山脊特征是太多的小水平车道线段； 因此，必须将这些要素聚集到车道标记中，以为车道拟合步骤做准备。 Hur等人提出了一种考虑几何距离和斜率的聚类方法。 如果车道线段和车道标记的几何距离和坡度差足够近，请将车道线段聚类到标记中。考虑从图像的底部到顶部一个一个的通道段，对于每个通道段，尝试将通道段聚类为现有标记； 如果无法将其聚类到任何现有标记中，则车道线段将开始一个新的车道标记。
图2.自适应宽度阈值的优点：（a）输入图像A，（b）初始阈值，（c）优化的阈值，（d）输入图像B，（e）图像A的优化阈值，以及（f）优化的阈值 图片B。
图3.车道标记生成：（a）输入图像，（b）几何聚类，以及（c）基于模型的聚类。
图4.车道标记验证流程图
这种简单的群集方法在大多数情况下都能很好地工作。但是，有时这种方法对于路边车道是不令人满意的。由于污点或遮挡，路边车道有时不具有清晰的高低谷纹，而且，根据相机的透视特性，路边车道通常距离图像中心较远，因此不如在中心附近。此外，一些路边物体也具有低-高-低的模式，例如桥梁栏杆，立柱等。在这种情况下，仅考虑局部几何特征的聚类方法会犯一些错误，例如，如果没有检测到山脊，则不能将一个真实的标记正确地聚类为一个标记，并且路边物体可能会聚类为车道标记。图3（b）示出了图3（a）的局部扩增中的聚类问题的示例，每种颜色表示标记。自我车道标记已正确聚类，但由于未检测到山脊而产生间隙，因此左侧路边车道被分为三个标记。为了解决这个问题，将模型拟合聚类方法与上述方法相结合。如上所述，标记通过吸收车道线段而从底部到顶部生长。车道线段的中心坐标拟合为线性或抛物线方程。在考虑是否应将新的车道线段聚集到标记中时，请根据从车道线段到标记线的水平误差进行判断。另外，当行车道标记太短时，模型拟合不准确，仅像Hur等人8那样考虑聚类的距离和坡度。如图3（c）所示，路边行车道聚类为一个标记，尽管 有一些未检测到的山脊，因此为随后的车道验证和拟合步骤提供了令人满意的结果。
车道标记验证
图像中的许多对象也具有低高低低的脊纹，这在脊纹特征检测和车道标记生成结果中成为噪声，如图2和3所示。为了消除这些噪声，可以使用其他特征，例如因为颜色，大小和位置用于验证车道标记。通过这种方式，车道检测中的两个主要功能（梯度和颜色）相互结合，以获得更强大的性能。车道标记验证的流程图如图4所示。从图4可以看出，使用三个标准（即颜色，大小和位置）进行验证。颜色在特征提取步骤中并未像许多基于颜色的方法一样使用[9,10]，而是被用作聚类标记的验证标准。人机交互（HSI）模型在白色车道标记（S Sth）的高强度和低饱和度以及黄色车道标记的特定色相范围（Hmin H Hmax）的情况下被应用于许多车道检测研究如图4所示。未考虑代表亮度的强度（I），因为脊检测已经考虑了亮度的局部最大值。同样，设置全局强度阈值可能会降低鲁棒性，例如，当有阴影或不清楚的车道标记时，绝对强度不高； 但是，由于它们仍然是可以检测为山脊的局部最大值，因此可以通过我们的算法进行保留。大小和位置也用于验证标记。路边的干扰通常是分散的，相反，车道标记是规则且连续的，因此规模较大。因此，考虑标记中车道路段的数量可能是滤除散射噪声的有效方法。然而，由于透视效应，VP附近的车道标记也具有较小的尺寸，因此应保持VP附近的标记以防止错误删除。图5显示了车道标记验证的两个示例。保留的标记以黄色显示，而蓝色的则被滤除。脊和颜色特征在标记提取框架中结合在一起。有关边缘和颜色特征组合的一些相关著作。 Lee和Cho18首先在色相饱和度（HSV）图像上检测颜色特征，然后使用EDF提取通道。 Lee和Moon14在YUV图像上检测到山脊特征，以结合边缘和颜色特征。在提出的方法中，我们实现了对灰度图像的岭检测，然后在验证中使用了颜色特征。在实际交通场景中，局部照明条件会发生变化，并且道路上的白色物体可能会带来其他干扰。因此，我们将颜色信息应用于标记验证中，通过以更宏观的方式考虑颜色，可以减少局部不均匀照明和白色物体干扰的影响。
图5.车道标记验证示例
带VP的增强车道拟合
车道标记根据标记中车道线段的中心点拟合到抛物线中。 如果车道不够长，则应用线性模型代替抛物线模型。 使用Hur的方法，可以将属于同一车道的标记预先合并为一个标记。VP被广泛用于车道检测方法中。 结构道路上的平行车道在像平面上的VP相交； 因此，VP可以滤除与通道不平行的干扰。 在实际行驶中，随着偏航角和俯仰角的变化，VP也会变化。 例如，当静态VP是图像的中心时
（4）
（5）
其中u是俯仰角，u是偏航角，dx和dy是一个像素在x和y方向上的长度，f是焦距，Dv和Du表示图像上VP坐标的变化 。 因此，基于静态视角的固定VP无法适应车道变化或不平坦的道路状况，需要实时VP检测以提高算法的场景适应性。
VP检测的总体思路是对线性特征的方向进行投票。一些研究通过对基本边缘特征进行投票来检测VP；然而，我们已经在最后一步找到了通道。因此，可以避免使用车道投票进行重复计算。为了节省更多的计算资源，我们提出了一种基于网格的VP估计方法，如图6所示。在通过校准获得的静态VP周围放置了一组正方形网格。如果有车道通过，则网格会获得分数。得分最高的网格中心是估计的VP。根据到VP的距离确定车道。可接受的范围大于栅格，因此一定要保留在该栅格上一致的车道。与像素搜索相比，网格搜索可以显着减少计算资源消耗，因为网格数量远小于像素。尽管由于网格分辨率，这会稍微降低VP检测的准确性，但是这种方法足够精确：实际上，平行通道在图像的一点上并不完全相交；同样，检测误差可能会进一步扩大偏差。因此，VP判断车道时应有一定的容错性。因此，采用基于网格的VP检测方法以减少计算时间是合理的。在我们的实验中，VP的计算时间约为7ms，仅占总时间成本的17％。
图6.消失点检测
图7.多车道跟踪框架
使用卡尔曼滤波器进行多车道跟踪
在连续输入的情况下，跟踪可能是提高车道检测性能的有效方法。 与自我车道追踪不同，多车道追踪需要过滤器来适应车道数量的增加或减少。 跟踪框架如图7所示。在检测到的车道和跟踪的车道之间计算距离矩阵。 每条轨道都会找到最近的检测到的车道； 如果它们之间的距离小于阈值，则将它们匹配。 匹配后，用卡尔曼滤波器更新分配的轨道。 对于未分配的检测到的车道，请考虑先前的图像，如果可以在先前的一定
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[236715]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
