英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
基于弹性城市的改进的多摄像头智能交通监控系统
Z. Kavehvash
谢里夫理工大学电气工程系德黑兰，邮政信箱11155-4363，伊朗。
2015年2月10日收到; 2015年5月11日以修订形式收到; 接受2015年6月2日
关键词：智能交通监视系统;多相机成像;三维成像;图像处理;几何光学。
摘要： 本文将智能交通监控系统作为弹性重要组成部分。智能交通控制系统通过减少交通饱和度和空气污染来改善生活方式非常重要。 然而，多相机视觉更有助于实现不一样的交通流量自动监视系统。 除了其卓越的功能，现有的多摄像头监控系统也有计算复杂性和低准确性的缺点。 导致这些缺点的主要原因是图像处理的错误，而这些错误取决于不可预测的图像内容。为了克服这个缺点，本文提出了三维（3D）光学，用于改善多照相机图像的融合并提取3D车辆的位置的技术。 实际上，提出的多摄像头视觉系统是基于图像处理和基于几何光学的方法的组合。 该通过所提出的技术进行三维图像重建的结果显示其在提供3D图像信息领域的优势
- 介绍
信息和通信技术（ICT）在建设一座富有活力的城市中的作用是为智慧城市建设一个基础设施系统，该系统是高效，节能的。 监测和管理水循环，能源使用，交通运输和空气污染是智能城市基础设施中需要考虑的主要问题。 在这些问题中，智能交通系统可能扮演着重要的角色。
通过将无线传感器集成到其基础设施中，可以在该市建立智能交通系统。 传感器可以实时监控交通信号的自适应控制信号。 该系统可以减少交通拥堵和碳排放，从而增强公共健康。从而增强公共健康。此外，从传感器收集的数据对未来的交通规划项目可能是宝贵的。该系统可以设计为便于紧急车辆的优先路线实时检测。车辆流量也可以被监控，以便以动态和自适应的方式修改城市交通灯。使用安装在十字路口的摄像头处理拍摄的图像有助于自动评估一个人在哪个方向上遇到的困难。通过这种方式，绿色和红色信号的长度可以相应地设置。理解车流量的拥挤和拥挤对于城市高效的道路系统至关重要。缓解车流量，减少行程时间，减少排放，并节省能源。监控系统对于道路运营商和交通枢纽都是有帮助的，监控系统也可以用来计算通过在两个不同点上的时间标记在公路上行驶的车辆的平均速度。该平台可帮助驾驶员避免在电子显示屏上或通过智能手机应用程序提供实时警告。这些数据甚至可以用来评估紧急疏散计划的适用性。智能城市基础设施也可以帮助解决大气污染问题。世界各地的城市生活质量受到大气污染和拥挤的道路的不利影响。道路挤塞导致驾驶者浪费时间和燃料浪费，也是造成空气污染的主要原因。 驾车者在寻找可用的停车位时会产生重大的交通拥堵（通常需要相当长的时间才能取得成功）（这是驾驶员沮丧的主要原因）。向司机提供准确的信息，了解可用停车位的位置，有助于进行交通管理的改善。 驾车者可以及时获得信息，以便他们可以快速找到空闲的停车位，节省时间和燃料。 这些信息可以减少流量堵塞和大气污染，提高生活质量。
考虑到空气污染和交通堵塞的问题，交通管制在伊朗尤其重要，特别是在德黑兰。 近年来，在伊朗实施的不同交通监控系统中越来越多地使用摄像机视觉。 自动速度控制系统，红灯执法系统，紧急绿色道路和交通管制区管理系统是伊朗使用智能交通监控系统的例子。 在图1中显示了在德黑兰的一个横断面处理红灯实施的图像示例。尽管如此，智能交通控制系统的广泛方面可以通过摄像机视觉和图像处理来实现，包括交通堵塞估计和交通信号定时器控制。 目前，在一些智能城市，如首尔，新加坡和纽约，这些相机视觉方面正在使用。
尽管如此，几乎所有现有的智能交通监控系统都是基于对单个摄像头图像的处理。不幸的是，单个摄像机的视野是有限的，并受场景结构的限制。为了监控广泛的区域，例如跟踪通过城市的道路网络行驶的车辆或分析停车场中的全球地点和空地点，必须使用来自多个摄像头的视频流。为此，已经开发了许多智能多摄像机视频监控系统[114]。多相机视觉是与计算机视觉，模式识别，信号处理，通信，嵌入式计算和成像传感器相关的多学科领域。
多摄像机跟踪需要根据视觉和时空相似性从不同摄像机视图获取匹配轨道。在对象重新识别中研究匹配图像区域的外观。时空推理需要相机校准和拓扑知识。在通常使用智能流量监控系统的多摄像机视觉中，图像融合是通过图像处理技术完成的。通过提取不同的图像特征并在数学上匹配它们来执行从场景的不同视点获取的不同图像的校准和配准。最常用的方法是用于合并多像机图像并提取深度信息的是线路径三角测量。然而，由于在输入图像中建立点对应的多种方式，使用光路三角测量从两个或更多个图像推断可见表面深度是不适合的。为了缓解这种模糊性问题，已经提出了不同的整合算法[5,6]来重新排列图像像素，使得相应的点（由相同3D点的投影产生）将位于同一图像扫描线上。即使有了这个强大的约束，识别立体声对应仍然是一个非常具有挑战性的问题。过去几十年中已经提出了大量的立体声算法，其中许多立体算法在[7,8]中进行了调查。在所有这些算法中，基于动态规划（DP）的优化技术由于其简单和高效而经常使用。 DP是一种高效的算法，通过重用和修剪构建全局最优解决方案。一个常见的方法是实现全局最优化并稳定基于DP的立体匹配结果，即强加连续性（或平滑）约束。该约束指示相邻点应该具有相似的立体视差值，因为它们查看彼此靠近的3D点。但是，这种约束只适用于单个或几个相邻的扫描线，并且通常会在不希望的行为中应用这个约束条件。此外，在不使用任何地面控制点（GCP）或可靠的锚点作为指导的情况下，DP对于为连续性约束选择的参数非常敏感[9]。在视频监控中使用的其他多视点融合方法中，不同视点图像通过道路的几何约束进行注册和融合[10]。在这些方法中，单平面概率融合（PFM）可能是最成功的[11-13]。然而，由于图像点的共面性并非严格正确，因此单平面PFM会受到扭曲，导致对目标位置和尺寸的测量不准确。在跟踪和车辆分类的3D模型匹配方面已经做了更多的工作[14,15]。然而，在这些方法中，在前几帧中不应该有阻塞来建立正确的匹配。否则，任何后续跟踪都是可疑的。因此，所有基于图像处理的多摄像机图像融合方法由于诸如遮挡，锚点误判和相应图像点的非共面性等不同原因而在很大程度上容易出错。换句话说，对于越来越多的相机，现有的方法由于两个原因变得不可行：（a）所需的相机到相机单应性的数量急剧增加，这导致计算复杂性; （b）信息融合变得越来越复杂，需要更多的处理设施并需要更多的时间。
因此，本文提出了一种新的多摄像机图像融合技术，用于传输监控系统。 在所提出的方法中，利用三维积分成像系统中使用的几何光学概念来改善纳米重构3D图像。 据我们所知，这是第一次将几何光学概念与图像处理图像融合技术一起使用以改善所得到的三维重建图像的研究。 提出的改进的多传感器图像融合技术用于流量监视在第2节中给出和描述。将重建的三维图像的性能与基于图像处理的多相机融合。技术在第3部分。最后，结论在第4节中提出。
- 提出了改进的智能交通控制系统多相机视觉系统
正如在第1节中提到的，在现有的多照相机图像融合技术中，通过提取不同图像特征（例如角落）并在数学上匹配它们来执行从场景的不同视点获取的不同图像的校准和配准。 因此，图像融合过程完全基于图像处理，并受到内在图像处理错误的影响。 这些误差来源于不同的角点和线条检测算法，以及建立点和线对应关系的多种方式。
另一方面，光学三维（3D）成像技术能够通过同一组多相机图像中的几何和分立光学原理来提取三维图像信息，从而提取三维物体的位置[16-18 ]。除图像处理技术之外，使用光学3D成像概念的主要优点是在图像处理无法提供准确响应时，利用光学概念。这种提高的准确度是由于这些处理对图像内容的非依赖性。此外，光学多像机图像集成技术不依赖于图像内容，使处理速度更快。整体成像可能是基于多相机视觉和几何光学的最强大的光学3D成像系统。在积分成像中，3D图像信息可以从2D图像阵列中提取，这些2D图像通过一组来自不同视点的摄像机进行计算捕获[16]。在这种结构中，通过几何光学原理从不同方向的记录强度中提取三维信息。给出每个摄像机拍摄的3D信息的不同视角信息的深度信息，第三维信息{深度信息{将在拍摄的图像中可用。因此，可以从多组相机捕捉图像中的每个深度距离和每个任意视角重建3D图像。这些深度切片图像在这里被用来提高3D图像融合技术的质量。这是通过从光学重建的深度和视点切片中提取场景中每个物体的近似深度信息来完成的。根据近似的深度信息，可以估计每对摄像机之间的近似视差量。反过来，这些大致的视差量有助于更好地估计摄像机视角以及对应关系图像特征。更精确的图像对应意味着改进的3D图像重建。所提出算法的主要步骤如下所述。
考虑一个多摄像机成像系统在N个不同的视角捕获N个图像，分别在x方向上命名为I1到IN。相机图像被假定为在xy平面中。基于通用图像处理的多摄像头图像融合技术如下：在第i幅图像的每幅图像Ci1〜CiP中，首先要找出一些种子点，如角点，例如通过哈里斯角点检测算法[19]。然后，通过提取它们之间的对应关系，利用这些种子点来提取图像之间的相对几何转换。这是通过一些众所周知的算法来完成的，如RANSAC [20]。这种对应是基于图像处理技术再次推导出来的，因此根据图像内容可能包含一些错误检测到的匹配点。由于上述融合缺陷，所得到的3D图像有一些缺点。这些缺点主要是由点或线对之间错误提取的对应结果造成的。因此，在最终的3D图像中，可能会在两个合并的后续角度图像之间看到一些不正确的部分。
为了解决这个问题，在下一步中，基于几何光学关系[16]，使用相同的一组图像在Z1到Zn的一组深度值中重建深度切片图像，称为Iz1到Izn：
其中M是等于z = g的放大系数，g是相机镜头和传感器之间的距离，sx是相机传感器在x方向上的尺寸。 基于物体检测算法处理所得图像以提取每个深度图像中的预期物体。 通过众所周知的模式识别算法支持向量机（SVM）来执行对象提取。 在这个算法中，一个线性分类器f（x），其中：
通过解决W上的优化问题来学习。因此，每个提取的对象将具有特定深度值zi，其中图像已被重构。 换句话说，对于每个物体，大概的深度位置将被指定。 相应的深度值有助于指定相对于每个物体的相对相机视角。 例如，如果提取的第一物体O1的深度位置是z1，则对于位置xi和yi中的第i个相机，相应的视角将是：
让相机为每个对象查看角度，可以使用特定相机的相对视角为每个对象实现种子点匹配算法。与常见的多照相机视觉方法不同，在这种方法中，物体遮挡可能导致图像融合过程出现错误，这里，这种现象并没有这样的影响。在这种方法中，如果任何物体遮挡了某些摄像机图像中的其他物体，它将出现在其他视点图像中，因此将在其对应的深度位置zi中重建。这可以从输出3D图像的几何光学关系和公式（1）中所示的一组输入元素图像得出。 （1）。在这里，我们看到每个相机图像Ip在特定深度距离zi上对重建图像具有相同的影响。因此，尽管相机的某些图像由于遮挡而丢失了对应的物体，但它会出现在其他视点图像中，因此Izi将包含该物体的重建图像。这个重建对象将被用于基于式（1）的随后的3D图像融合。 （3），这防止了图像融合过程受到这个障碍的影响。不同的是，在每个摄像机相对于特定提取物体的相对视角在深度zi上的情况下，可以预测每个相机图像中的每个种子点的近似位置。因此，由于堵塞而丢失的种子点可以很容易地检测出来，并从校准和匹配过程中排除。因此，对于每个种子点，总是有一组包含该种子点的相机图像。因此，它可以参与图像匹配和融合的过程。另一方面，在普通的多照相机视觉系统中，如果由于遮挡而在相机图像中遗漏了种子点，则应该从匹配的种子点集合中消除该种子点。这种减少的种子点集显然降低了最终图像融合的质量。因此，所提出的多照相机图像融合技术将导致更准确的图像校准并因此导致更精确的种子点对应。这种更准确的对应关系可以导致更精确的3D图像重建。这个理论将在下一节中通过模拟进行验证。
- 实验模拟
为了证明所提出的方法在改善多摄像机监视系统的性能方面的可行性，已经在一组实验捕获的多摄像机图像上运行了仿真场景。 从1个均匀间隔的8个水平视角拍摄的一组拍摄图像在theta;1=-30°处到theta;8 = 40。 如图2所示。
让我们考虑第一对。 在这个摄像机图像对的例子中，我们首先使用哈里斯角点检测技术提取物体的角点。 在下一步中，使用众所周知的RANSAC算法[20]计算相应的角对。 提取的角点和相应的角点分别如图3（a）和（b）所示。
在第二个例子中，8个图像集合中的第一个和第三个图像被认为是相机图像对。 再次，基于RANSAC算法提取相应的角点。 提取出的角点和对应点分别如图4（a）和（b）所示。 从图中可以看出，在这种情况下，不幸的是，由于图像处理错误，很少有匹配的角点对被检测到，同时有很多错过对应的种子点。
因此，在合并所有图像以重建最终3D图像时，这些不足的对应会降低最终3D图像的质量。 为了解决这个问题，3D图像在8个不同的深度切片中重建，如图5所示。每个深度切片中的相应对象通过物体检测算法提取。
现在，关于场景中每个物体的近似深度值以及每个摄像机在xy平面上的横向位置，每个摄像机相对于每个物体的相应视角可以通过等式1提取。（2）。 因此，在运行Harris角点检测之前，分别为每个对象提取对象以及角点。 然后，针对通过光学深度提取针对该对象提取的摄像机角度分别针对每个不同对象运行用于提取均匀性矩阵的RANSAC算法。 这些摄像机视角实际上决定了RANSAC算法中匹配窗口的大小。 图6中显示了相同图像对的最终匹配角点对。从该图中可以看出，现在可以更完全地确定角点的对应关系。 例如，左边的白色汽车在前面提取的匹配图案中遗漏了两个图像中的一些对应点。
从这些结果可以看出，提出的方法比现有的基于全图像处理的方法在提取相机图像对之间的种子点对应关系方
全文共9719字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[11777]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
