英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

基于鱼眼镜头的摄影相机标定和全景图像拼接

摘要

鱼眼镜头在一些计算机视觉应用中非常常见，例如四摄像头全方位视野驾驶员辅助系统可以提供非常广的视角（例如“180°”）。然而，它们的适用性通常由准确性的缺乏和易于使用的校准程序所限制。本文提出了一种鱼眼镜头的摄像机标定方法和标定环境的全景拼接框架。为了实现鱼眼图像的标定，只需观测一个参考平面图案（如棋盘），然后离线估计外参数和内参数，并保存相关参数。这样一来每个畸变的鱼眼图像就可以有效地进行在线矫正。之后再根据假设估计的单应性矩阵进行透视变换，将每个标定图像转换为自顶向下的视图（或者是鸟瞰视图）。最终将这些环绕鸟瞰视图进行缝合，以生成最终的全景图像。预计该框架将在未来适用于车辆的AWM（围绕视图监控）系统或ADAS（先进的驾驶员辅助系统）。

1. 引言

鱼眼镜头是一个超广角镜头，这种镜头可以产生极大的视觉失真，旨在创造一个广泛的全景或半球形图像。也就是说，鱼眼镜头可以获得极大的视角，并使用特殊的映射给图像一个特征性的凸非直线外观。鱼眼镜头已经广泛应用于视觉相关领域，例如多摄像机环绕全方位视野驾驶员辅助系统，这种系统可以提供一个非常广的视野（如，180°）。对汽车周围环境的了解将直接影响汽车的安全驾驶和操纵，自动驾驶汽车也必须具备全方位的视野。这种系统通常由四到六个广角摄像机（如，带鱼眼镜头的摄像机）组成，每个摄像机面向不同的方向。为了生成一个由四个鱼眼相机输入信息组成的环绕视图图像，通常需要两个关键的步骤，即几何对齐和视图合成。

几何对齐过程通常纠正每个输入视频帧的鱼眼畸变，并将其转换为普通鸟瞰透视图。然后，视图合成过程则经过几何校正生成复合环绕视图。除此之外，为了产生无隙缝合的环绕输出，还需要另一个关键步骤——对齐，这个步骤细化了相邻视图之间的亮度和颜色匹配以实现无缝图像拼接。

本文提出了一种基于鱼眼镜头的摄像机标定和全景图像拼接框架，其目的是将从四个鱼眼相机输入的图像生成一个环绕视图像。从几何对准的阶段，为了实现鱼眼捕获图像的标准，只需要观测一个参考平面模板（如棋盘），然后在线估计外部参数和内部参数，并保存相关参数。在这之后，每个鱼眼畸变图像都可以进行有效的在线矫正。然后根据所估计的单应矩阵进行透视变换，将每幅标定图像转换为普通鸟瞰图。因此，在视图合成阶段可以将四张鸟瞰图缝合起来最终形成最终的全景图像。为了进一步产生视觉上更好的图像拼接结果，相邻视图之间不匹配的亮度和颜色将被细化来实现之后的无缝图像拼接。

1. 框架的提出

这一部分详细描述了所提出的鱼眼相机标定和全景图像拼接框架，包括几何对齐和视图合成过程。

A.几何对齐阶段

在框架的几何对齐阶段，我们首先要基于参考文献[9]中所提出的有效技术对相机进行离线校准。首先，我们通过鱼眼摄像机对棋盘图像进行捕捉，并计算基于文献[9]的鱼眼摄像机的内外参数，图像具体数据情况如图1所示。在基于所估计的摄影机参数上，对自然场景进行标定，标定情况如图2所示。下一步则是将每个校准图像转换为鸟瞰图。通过参照第i次校准图像Ii与其在地面上的参考图像Ir之间的取样点，单应矩阵Hir将每一个在校准图像中的取样点Pr和与之对应的参考点Pi联系起来，两者的关系可以被记作：Pr=Hir*Pi。之后，每一个校准图像通过透视变换就可以被转换为鸟瞰视角，效果如图3所示。

B.视图合成阶段

在视图合成阶段，每个校准的鸟瞰图像将被缝合以获得最终的全景图像。在将四个标准视图转换为相应的鸟瞰视图之前，应该注意到我们引用地面上的同一目标来计算它们各自的单应矩阵。这个过程的目的是确保所有转换后的鸟瞰图都具有相同的尺度。将参考文献[10]中所提出的取样点匹配的图像拼接技术应用于每对相邻视图之间，可以生成最终的全景视图，效果如图4所示。

1. 实验结果和结论

为了评价这个框架的性能，我们装备了四台鱼眼镜头SJCAM摄像机，广角为166°，距离地面155厘米。图五为在此条件下的室外场景全景图像拼接结果。为了进一步增强其拼接效果，亮度和颜色不匹配的相邻视图将被细化，以此来实现无缝图像拼接。

原文出处：Chao-Yung Hsu, Chih-Ming Chang, Li-Wei Kang Kang,等. Fish-Eye Lenses-Based Camera Calibration and Panoramic Image Stitching[C]// 2018 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW). IEEE, 2018.

注：文中所有的图表、致谢及参考文献已略去

基于直线检测与保存的鱼眼图像校正

摘要

鱼眼镜头广泛应用于大视场图像采集，特别适用于太阳监测和车载摄像机。然而，在宽视场图像中没有实际场景的投影可以避免这种失真。如果不能解决这个问题，鱼眼图像就会因为形状或者场景物体的畸变而无法进行目标检测和分析。为了纠正这一问题，获得自然的图像，本文提出了一种两步矫正方法。首先，提出了自适应经纬度矫正方法，并利用Hough变换检测和估计直线。其次，基于优化检验来进行直线的保持和定位，从而得到线性校正结果。为了比较该方法的有效性，文中讨论了一些鱼眼校正问题。实验结果表明，该方法可以得到较为自然的连续视觉图像。

1. 引言

为了捕捉宽视野的图像，鱼眼镜头十分理想并被在多个领域进行使用。例如可用于汽车行驶记录仪、大视场近距离拍摄等。尽管用户是用眼睛观察物体，并没有明显的失真，一切都是自然的。然而随着视场变大，失真也越发严重，特别是图像中的直线向中心区域弯曲（如，建筑物的边缘）。这种扭曲导致了观察对象的变形，使得人们很难用舒服的手法去理解和分析观察对象所包含的内容。因此，能使目标图像自然获得的方法值得研究。由于不同的透镜使用不同的投影方法，没有投影可以同时保存所有的透镜。因此，鱼眼图像的校正问题仍然是一个需要解决的挑战。

“从信号视点看到的视觉信息被定义为一个以该视点为中心的视球体”[5]。

因此，鱼眼图像的校正需要找得到一个从视球到像面的映射，但由于鱼眼图像是不可展曲面，因此计算映射函数比较困难，除此之外鱼眼图像不可能在平整到一个平面区域的过程中不发生变形。为了解决以上问题，一些预测方法被提出，其中包括经纬度投影、墨卡托预测等，但是用这些方法所得到的结果不太理想，这表明基于单投影的方法不能得到理想的相关结果。

因此，根据图像的内容，采用不同的几何方法，提出了多投影的预测方法。ZB证明没有单一的投影可以保持物体的直线和形状，他们给出了一种轴对称的理想映射方法，该方法将弯曲的直线和扭曲的球面一起用多重投影进行校正，其实验结果比较理想，但该方法仅仅适用于线性投影。ZM结合多种投影方法将图像投影到折叠屏幕上，这种方法可以在投影面之间产生尖锐的不连续性，并且只能在一个方向上改变投影。K展示了一个动态的全景查看器，通过圆柱形进行透视投影。最近，C提出了一种基于线性失真最小化的方法和局部形状保持的最小乘优化方法。之后，针对鱼眼图像视频校正问题，W等人提出了一种高效稳健的方案，该方案通过挖掘时变畸变信息，同时采用六个校正法则来保持图像的原始内容，结果显示该方案可以对多幅鱼眼图像产生完美的视觉校正效果，但是由于校正方法具有交互性，需要以直线度和方法标记为约束条件。L提出了一种基于决策参数增量计算的中点圆算法来确定沿圆周的像素位置，该方法简单直观，但仍需要用户手动对点进行圆拟合。

除此之外，基于摄像机标定的校正方法也正在研究中。在这类方法中，投影过程以摄像机参数的形式进行表示，其目的是将估计的摄像机参数用于重建图像的三维信息中。基于摄像机的参数估计的投影方法相对简单，但是对于单幅图像很难进行标定和校正。由于同样的原因，基于单投影的方法修正结果不能产生令人满意的效果。本文的主要贡献是提出了一种基于直线检测和保存的两步校正方法，以获得最优的结果。为此，提出了一种基于霍夫变换的自适应经纬度图像初始校正方法，并利用直线保持和抑制方向来优化最终校正结果。

1. 我们的方法
2. 问题及其解决方法

虽然宽视野图像可以通过鱼眼镜头捕捉到，但是它显示了桶形变形。如上所述，校正的关键是找到从球面到图像平面的理想映射函数：

r=F(w)

其中w表示投影光线和光轴之间的角度，r表示投影点和图像中心之间的距离。

如图1所示，用所提出的校正方案加载处理鱼眼图像，并进行逆投影转换成一个球坐标，然后利用修正准则通过优化得到自然的外观效果。为了得到修正准则，对自适应经纬度校正方法进行了研究，得到了初始校正图像。该算法利用Hough变化检测直线，选取样本点估计直线上的所有点，然后生成直线约束和方向约束，并设计能量函数。最后，将直线能量函数和方向能量函数结合起来计算最优解，并将结果作为最终的校正图像。

1. 初始校正——粗校正

作为鱼眼图像成像过程的描述，经纬度校正模型是一种简单直观的获取校正图像的方法，图2给出了纬度校正的一个例子。然而，校正映射函数具有完全相同的比例尺来校正整个图像，这将导致中部地区的过度校正和周边地区的不足校正。针对这一问题，我们突出了一种自适应的校正方法。

在图2中，k(x,y)是失真图像（观察球面）中的任意点，k1(x1,y1)是校正图像（图像平面）中对应的校正点。a和b不同纬度的椭圆长轴和短轴，其标定情况如图2(a)传统的方法是将a设为图像对角线的一半长度，并将其固定，对于不同的椭圆，则将b改为半宽。因此，校正点的坐标根据该方法进行映射，其纬度方向的弯曲线将被校正，其结果如图2(b)所示。然而不是所有的畸变都和b相同，即从中心向两侧成线性增加。因此，这些畸变需要进行适应性血案则。由于图像中心的变形很小，然后以非线性的方式增大，所以b应该按照这种非线性的方式增大。在这里，小轴b被定义为以下映射函数：其中(x,y)是失真点的组表，t是映射可调参数。在此基础上，对图像进行相应的畸变校正。用同样的方法，经度方向可以投影映射，其最终结果如图3所示。经过初始校正后，对多个区域进行了校正，并对直线进行校正。然而，由于一些过度校正不充分校正，结果是不够自然的，而且一些行的方向严格来说不是垂直或水平的。

C.直线检测和估计

为了检测直线，并用于约束优化过程，霍夫变换被用于就检测校正之后的直线，例如图3中所示的绿色或黄色线。图4给出了一个示例，描述了如何使用取样点来估计整条直线。

蓝线是初始校正图像中的完整线条，橙色是霍夫变换检测到的直线，红色是从被检测线上采集的。为了获得完整线条，这个搜索方法将判断相邻点是否在同一条直线上，当没有检测到新点时，搜索范围停止。在检测线约束下对采样点进行估计后，对弯曲线进行固定，然后将其作为最优修正的判据。

D.直线保持

直线保持通常被用于摄像机标定中，其作用是检测最终结果是否经过校正。为了将弯曲线映射为直线，能量函数被设定出来了。在这里我们假设S1、S2和S3时观测球面上的三个点，P1、P2和P3是图像平面上的映射相关点。如果P1、P2和P3在一条直线上，它们是共线的并且满足共线方程式。对于观测球中的S1、S2和S3，我们假设它们有同样的映射方程。由此我们得到直线曲线和弯曲曲线的能量函数。

1. 方向约束

方向的要求是在特殊的直线特征上规定的。如，在校正后的影像中，地平线应该是水平的，建筑物的垂直边界应该是垂直的，这样会使画面看起来更加自然。从另一个角度来看，它有点类似于图像旋转。然而，这只是局部地区的约束。这个约束可以用位于每个规定的直线上的取样点序列来描述。设n是取向直线上的取样点的个数，其一致的条件是：其中n=1,...,N以及a为欸用户指定目标方向的正常值，c0为辅助值其指向位置的一致性。因此，能量函数被定义。

1. 基于能量函数的优化

对于上文介绍的两个功能的能量函数，总能量函数合并为V1和V2之和。其中V1和V0是满足直线保持和方向一致性条件的检测线。因此，将校正映射函数转化为计算E的最小值。图5所示的为图2(b)经过最优校正后的实例图像结果。

1. 实验结果

为了比较该方法的有效性，对于一些参考方法进行了测试。这些测试图片来自于互联网和卡罗尔的网站。我们提出的方法可以获得更好或者相似的效果。对校正后的图像质量进行评价可得，该方法所得结果图像线条更加直观，效果更好。此外，方向更趋向于垂直和水平，效果看起来更加自然。

图6展示了与其他鱼眼图像校正方法的比较。在一般情况下，全局预测不能取得令人满意效果。例如墨卡托投影和透视投影都是如此。

·墨卡托投影可以很好地校正垂直线，但是水平线的效果不好。例如，I1到I3的房顶和I4的白线。此外，物体没有垂直于地平线，所以它看起来不够自然。

·卡罗尔的方法是使用基于内容保留的投影来获得良好的校正结果，特别是将弯曲的线拉伸成直线，并且对象的相应边界是水平或垂直的。然而，它的有效性取决于交互信息。如果没有给出直线或水平方向的信息，这种方法不能得到理想的效果。

·透视投影在水平方向上对图像进行校正，并对直线产生良好的校正效果。但校正图像中垂直方向的校正效果不好，中心区域变窄，周围区域变宽。因此，整个图像看起来不自然。

·球平面投影可以在镜头光轴上的场景线上工作。然而，有些直线仍然弯曲，原本应该垂直的物体垂直角在图像平面上并不垂直。例如，I1和I2中的门，I4中的建筑物。

·本文提出的方法，可以克服墨卡托、透视和球平面投影的缺点，并且校正后的图像结果都呈现了自然的外观，和卡罗尔的方法获得了相似的效果。虽然一些地方的呈现结果不如卡罗尔的效果好，但是这并不意

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[236554]，资料为PDF文档或Word文档，PDF文档可免费转换为Word