Multi-View 3D Reconstruction from Uncalibrated Radially-Symmetric Cameras
Abstract
We present a new multi-view 3D Euclidean reconstruction method for arbitrary uncalibrated radially-symmetric cameras, which needs no calibration or any camera model parameters other than radial symmetry. It is built on the radial 1D camera model [25], a unified mathematical abstraction to different types of radially-symmetric cameras. We formulate the problem of multi-view reconstruction for radial 1D cameras as a matrix rank minimization problem. Efficient implementation based on alternating direction continuation is proposed to handle scalability issue for real-world applications. Our method applies to a wide range of omnidirectional cameras including both dioptric and catadioptric (central and non-central) cameras. Additionally, our method deals with complete and incomplete measurements under a unified framework elegantly. Experiments on both synthetic and real images from various types of cameras validate the superior performance of our new method, in terms of numerical accuracy and robustness.
1.Introduction
Having a wide field of view, omnidirectional cameras can be used to reconstruct broad scenes from few views, thus have been widely deployed to applications such as surveillance, robot navigation and 3D modeling of street scene. A large body of research has been devoted to the 3D reconstruction problem. However, existing methods are still not fully satisfactory and not flexible enough as most of the existing reconstruction methods rely on specific types of cameras. It is highly desired to have a unified and efficient reconstruction method for omnidirectional cameras.
This paper proposes a new multi-view 3D Euclidean reconstruction method for generic types of uncalibrated radially-symmetric cameras. It is built on the radial 1D camera model originally developed by Thirthala and Pollefeys[25]. Radial 1D camera model is shown to be a powerful mathematical abstraction, which makes our method generic enough to be applied to a variety of radially-symmetric cameras, be it a central or non-central, dioptric or catadioptric, fisheye, projective or affine. We extend their framework to multi-view case, as opposed to the limit of three or four views at most. The advantage is then, our method is much more numerically stable and efficient, and much less sensitive to noise and perturbations. This is in sharp contrast to what was admitted in [25] that “However, it must be noted that currently the quadrifocal and mixed trifocal tensors are useful only from a theoretica lstand-point” and“...hard to develop a robust automatic approach for real images”. These drawbacks are tackled by our method.
Our 3D Euclidean reconstruction method adopts a stratification scheme. First, we formulate the problem of multiview reconstruction for radial 1D cameras as a matrix rank minimization problem, and solve it through convex optimization (and semi-definite programming in particular followed by an efficient alternating direction continuation method). Second, the multi-view reconstruction is upgraded from projective to Euclidean by exploiting the internal constraints. Our method can handle both complete and incomplete measurements cases in a unified way elegantly.
-
- Modeling radially-symmetric cameras
Due to the various types of omnidirectional camera design and construction, e.g. dioptric (lens-based) or catadioptric (mirror-lens system), central or non-central, most 3D reconstruction methods are specially designed for one or a few particular types, and thus are not universally applicable to others. Meanwhile, novel types of omnidirectional optical devices are emerging too (e.g. Sonyrsquo;s panoramic lens module, which consists of complex refraction and reflection in the light ray path, as illustrated in Fig.1), which also calls for a unified 3D reconstruction procedure.
Figure 1. Our method recovers 3D structure via matrix rank minimization from general types of uncalibrated radially-symmetric cameras – e.g. fisheye lens cameras, concave shape mirror based catadioptric cameras, noncentral cameras including spherical mirror or any radially-symmetric mirror shape based cameras, and multiple relflection surfaces based Sony RPU camera.
There indeed exists a unified mathematical model to represent various types of omnidirectional cameras, so-called generalized camera model(GCM)[19,22,11],which models cameras as unconstrained sets of projection rays. However, the GCM does not suggest a unified way to handle 3D reconstruction from uncalibrated cameras. Although it represents incoming rays in a very generic way, the model is not very stable [13]. The radial 1D camera model studied in this paper is applicable to both central and non-central cases, and it is in fact a special case (symmetry version) of the GCM (i.e. “Axial camera” as defined in [21, 13, 11]).
In practice, very often omnidirectional cameras will manifest a certain type of symmetry, where radial symmetry being the dominant form. This is reasonable, because it is convenient to design, to manufacture and to use, an omnidirectional camera with a radially-symmetric field of view. There are two major classes of omnidirectional cameras: dioptric and catadioptric. The former one includes a wide-angle lens (fish-eye lens),and the latter one often consists of a perspective camera plus a curved mirror. In either of these two classes, it is often desirable and convenient to have a radially-symmetric field of view. Most of the commonly used omnidirectional cameras belong to this class, and this is the main focus of this paper.
To express radially-symmetric cameras in a unified way, Thirthala and Pollefeys [25] proposed the novel concept of “radial 1D camera” that maps a 3D point to a radial line. Tardif et al.[23] developed the varying fo
剩余内容已隐藏，支付完成后下载完整资料
中文翻译：
无标定径向对称摄像机的多视图三维重建
摘要
我们提出了一种新的无标定径向对称摄像机的多视点三维欧氏重建方法，该方法不需要标定，也不需要径向对称以外的任何摄像机模型参数。它建立在径向一维相机模型[25]的基础上，这是对不同类型的径向对称相机的统一数学抽象。将径向一维摄像机的多视角重建问题归结为矩阵秩最小化问题。为了解决实际应用中的可伸缩性问题，提出了一种基于交替方向延拓的高效实现方法。我们的方法适用于广泛的全向相机，包括屈光和折反射（中央和非中央）相机。此外，我们的方法在单一框架下处理完整和不完整的测量。通过对不同类型摄像机合成图像和真实图像的实验，验证了该方法在数值精度和鲁棒性方面的优越性。
1.介绍
全向摄像机具有广阔的视场，可以从很少的视角重建广阔的场景，因此被广泛应用于监控、机器人导航和街道场景的三维建模等领域。三维重建问题一直是人们研究的热点。然而，现有的重建方法仍然不够令人满意，也不够灵活，因为大多数现有的重建方法依赖于特定类型的摄像机。对于全向相机，人们非常希望有一种单一而有效的重建方法。
本文提出了一种新的多视角三维欧氏重建方法。它建立在最初由Thirthala和Pollefeys开发的径向一维相机模型上[25]。径向一维相机模型被证明是一个强大的数学抽象，这使得我们的方法足够通用，可以应用于各种径向对称相机，无论是中心或非中心，屈光或折反射，鱼眼，投影或affine。我们将他们的框架扩展到多视图的情况，而不是最多三个或四个视图的限制。这样做的好处是，我们的方法在数值上更稳定、更有效，而且对噪声和扰动的敏感性更低。这与文献[25]中所承认的“然而，必须指出的是，目前四焦张量和混合三焦张量仅从理论角度才有用”和“很难为真实图像开发一种鲁棒的自动方法”形成了鲜明的对比。我们的方法解决了这些缺点。
我们的三维欧氏重建方法采用分层方案。首先，我们将径向一维相机的多视图重建问题表示为矩阵秩最小化问题，并通过凸优化（特别是半定规划，然后是有效的交替方向延拓方法）来求解。其次，利用内部约束条件，将多视图重建从射影法提升到欧几里德法。我们的方法能够以一种统一的方式优雅地处理完整和不完整的测量情况。
1.1径向对称摄像机建模
由于全向相机的设计和构造有多种类型，如屈光（基于镜头）或折反射（镜-镜头系统）、中心或非中心，大多数三维重建方法都是针对一种或几种特定类型而设计的，因此并不普遍适用于其他类型。同时，新型的全向光学设备也在出现（如索尼的全景镜头模块，如图1所示，它由光线路径中的复杂折射和反射组成），这也需要一个统一的三维重建程序。
图1.我们的方法是通过矩阵秩最小化从一般类型的未经校准的径向对称摄像机（例如鱼眼镜头摄像机、基于凹形镜的折反射摄像机、包括球面镜的非中心摄像机或任何径向对称的基于镜形的摄像机）中恢复三维结构，以及基于索尼RPU相机的多个反射面。
确实存在一个单一的数学模型来表示各种类型的全向摄像机，即所谓的广义摄像机模型（GCM）[19,22,11]，它将摄像机建模为无约束的投影光线集。然而，GCM并不建议使用一种单一的方法来处理未校准相机的3D重建。尽管它以一种非常通用的方式表示入射光线，但模型并不十分稳定[13]。本文研究的径向一维相机模型适用于中心和非中心情况，它实际上是GCM的一个特例（对称版本）（即[21，13，11]中定义的“轴向相机”）。
在实践中，全向相机往往会表现出某种类型的对称，其中径向对称是主要形式。这是合理的，因为它便于设计、制造和使用具有径向对称视野的全向相机。全向相机有两大类：屈光型和折反射型。前者包括一个广角镜头（鱼眼镜头），后者通常包括一个透视相机加一个曲面镜。在这两类中的任何一种情况下，通常需要并方便地具有径向对称的视野。常用的全向相机大多属于这一类，这是本文的主要研究重点。
为了统一地表示径向对称摄像机，Thirthala和Pollefeys提出了“径向一维摄像机”的新概念[25]，将三维点映射到径向线。Tardif等人开发了可变焦距模型[23]，其中每个畸变圆和相关的视锥被视为一个单独的透视相机，为使用共线条件和平面模式校准相机提供了极大的好处，从而很好地实现了径向校准的目的。Ramalingam等人提出了“轴相机”[21]，所有光线在一条公共线相交。轴相机是立体系统、非中心折反射相机和推帚相机的抽象。
1.2相关工程
为了恢复宽圆形视场摄像机的结构和运动，Micusık和Pajdla[17]通过求解多项式特征值问题估计了径向对称摄像机的极线几何。进一步实现了两视图几何的自动估计和基于点对应的三维度量重建。Lhuillier[12]提出了一种从折反射系统获取的图像序列中估计场景结构和相机运动的全自动方法，其中束调整应用于中心和非中心模型。
当一个特定的相机模型可用时，三维重建可以在一个定制的风格实现。对于折反射相机，利用反射镜（模型和参数）的信息，通过计算正、反投影进行标定和重建。Geyer和danilidis[8]引入了中心折反射相机点和线图像的圆空间表示，并由此导出了极线约束和折反射基本矩阵。但是，它们的方法只适用于两个视图或三个视图。Micusık和Pajdla[16]为特殊反射镜开发了精确的非中心和合适的近似中心模型，从而允许从两个未经校准的非中心折反射图像构建三维度量重建。Agrawal等人[1] 用解析解计算从给定三维点到给定视点的光路。解析正投影通过束平差实现三维重建。他们进一步将该方法推广到一般的非中心离轴相机布局[2]。
在标定一般的径向对称摄像机时，Tardif等人[23]使用了可变焦距模型，提出了一种基于铅垂线类型和平面的标定方法。文献[20]和[24]也研究了径向对称摄像机的平面标定。一般来说，这些方法大多研究假设模型与多视图约束的相互作用。Hartley和Kang[9]提出了一种利用平面标定网格同时标定摄像机径向畸变函数和其它内部标定参数的无参数方法。然而，他们的模型仅限于中央摄像机，并假设一个已知的校准网格。当畸变模型可用时，径向畸变校正和多视图几何可以用代数极小化方法来求解，如[7]。
2.径向一维摄像机模型
径向一维相机模型[25]是一个更为一般的数学抽象，它包含了大多数鱼眼相机、中央和非中央折反射相机、透视和affine相机。
定义：径向1D摄像机表示P3中3D点到图像平面中径向线的映射。P3→P 1投影可以用2times;4矩阵表示，有7个自由度[25]。
在径向一维摄像机模型下，用径向摄像机Piisin;R 2times;4将三维点Xj=[Xj，y j，zj，1]T映射到畸变图像测量xd ij=[ud ij，vd ij]T：
PiXj = phi;ijxd ij ,
其中phi;ij是比例因子。我们假设畸变中心是已知的，并且已经映射到原点。投影位于具有方向向量（vd ij，-ud ij）T的直线上。直线的后向投影是包含3D点Xj和穿过畸变中心ci和xd ij的射线的平面。显然，phi;ij存在尺度模糊性。对于投影矩阵P和3D场景结构X，存在相似的尺度模糊性，即每个径向摄像机的缩放投影矩阵和单独缩放场景点不会改变2D图像测量。然而，我们可以实现三维欧几里德重建没有歧义，如下所示。
讨论。径向1D相机可以被认为是将包含光轴的一束平面投影到通过图像平面的径向中心的一束径向线上（图2）。径向一维相机模型包括大多数中央和非中央全向相机。这是因为在这个模型中，唯一的基本要求是所有的点都在一个平面上，光束围绕光轴，投射到同一条径向线上（穿过径向中心）。
3.多视图重建到射影
本文针对任意径向对称摄像机的多视点欧氏重建问题。为此，我们采用分层方案。首先，我们通过因子分解实现了对射影的多视图重建，具有很好的简洁性和优雅性。其次，利用内在约束，将投影重建升级为欧氏重建。这样，我们不需要任何特殊的相机和失真模型，除了径向对称的条件。
通过收集不同帧的所有图像测量值，我们得到M帧和n个3D点的测量矩阵M=[xd ij]的大小为2mtimes;n。现在关系式（1）可以用矩阵形式简洁地表示为：
PX =[phi;ij otimes;12times;1]M ,
很容易检查P和X的秩不超过4，因此加权度量矩阵W的秩不超过4。因此，我们得到了一个与透视相机的分解模型类似的分解公式。实际上，一个有或无畸变的透视相机模型正好属于径向一维相机模型。注意，等式（3）也可以处理非中心摄像机，因为它是[25]中径向一维摄像机的投影模型。
3.1.基于Hadamard分解的解
回想一下，径向对称相机的多视图分解模型表示为：PX=Phi;M。为了处理与投影矩阵和三维点相关的尺度模糊度，我们对Phi;asPhi;T1m=m1n和Phi;1n=n1m进行了列和行归一化，其中1m和1n是长度为M和n的1个元素的向量，分别是。对于一般广角全向相机，系数phi;ij为正。考虑到所有约束条件，径向对称摄像机的数学多视图分解公式如下：
当尺度矩阵Phi;恢复后，可以通过奇异值分解（SVD）来求解W=PX的多视图分解问题。注意，该解仅定义为非奇异的4times;4射影变换H。欧几里德升级在第4节中进行了解释。
最小化目标：在有限摄像机模型下，多视点分解实现最大似然估计（MLE）[10]。对于透视相机模型，多视图分解实际上是最小化代数误差，这可以看作是几何重投影误差的近似。在径向一维相机模型下，我们不能测量几何重投影误差，只能测量角度误差。我们定义了平放影像测量xd ij对应的角误差为eij，它测量被测射线与重建射线之间的夹角，即uml;（xd ij，PiXj）。因此，为了评估整个重建，将性能测量定义为总角度误差。在图3中，我们说明了角度误差的测量。在[12]中也采用了类似的措施。注意，角度误差对与P和X相关的标度模糊度是不变的。
标准化：显然，在Phi;中有一个标度模糊。如果phi;ij的一个族产生rank4的加权测量矩阵，则由phi;ij=delta;ieta;jphi;ij给出的另一个族phi;ij也产生秩-4的加权测量矩阵。因此，需要规范化来处理这些尺度模糊性。phi;ij的列正规化和行正规化分别处理P和X的尺度模糊问题，这已被用于投影分解问题，如[5]。
4.多视图欧氏重建
在这一部分中，我们利用摄像机内禀矩阵的约束，将多视角重建从径向对称摄像机升级到欧氏重建。我们的基本假设是： 1）径向对称摄像机； 2）相同的长宽比，即平方像素； 3）已知畸变中心并与主点对齐；以及 4）零偏斜。
一旦我们恢复了缩放矩阵Phi;和加权测量矩阵W，投影矩阵P和场景结构X就可以通过SVD恢复为W=PX。然而，这种分解并不是唯一的，因为它被定义为非奇异线性变换Hisin;R 4times;4，即P=PH和X=Hminus;1times;X获得相同的图像测量W。如果获得合理的升级矩阵H，则欧氏结构和运动可以从结构矩阵X和投影矩阵P中恢复。
首先，我们将升级矩阵H分解为两部分，即H=[Hl | Hr]，其中Hl表示H的前三列，Hr表示第四列。绝对对偶二次Q=HlHl投影到绝对二次曲线omega;*i=KiKi的对偶像omega;*i=PiQPi[10]。这里的目标是直接从内在参数的约束条件来估计Q。我们使用内禀相机矩阵作为Ki=diag（f i，fi）和omega;*i=diag（f2 i，f2 i）。
5.有效实施
在这一部分中，我们提出通过半定规划（SDP）和增广拉格朗日乘子法（ALM）有效地解决多视图投影重建问题3.1。
在无噪声和完全测量情况下，我们的秩约束秩（W）le;4的多视图分解问题3.1可以等价地写成矩阵秩最小化问题，最小秩（W）（秩-4是一般配置的径向对称摄像机的上界）。
由于秩极小化问题一般是NP难问题，我们建议以松弛形式作为目标函数，即min W*。将矩阵Wisin;R mtimes;n的核范数W*定义为W的奇异值之和。最近，核范数极小化被广泛应用于低阶模型，如投影因子分解[5，3]和稳健主成分分析[4]。核范数作为秩函数的紧凸代换，从而发展了有效的实现方法。
这是一个标准的SDP优化问题，因此可以使用任何现成的SDP求解器（如SDPT3[26]）来解决。然而，由于内存和计算需求过大，这些最先进的SDP求解器仍然无法处理大规模的实际问题。
利用宽视场摄像机，我们可以从少量的图像中重建三维场景，这通常会产生一个不完整的测量矩阵，而基于奇异值分解的方法无法应用。
半定规划公式可通过稍微修改式（4）得出。一旦这个SDP收敛，得到的W是一个完整的2mtimes;n全矩阵，没有丢失任何条目。此外，我们基于交替方向延拓的有效实现也可以直接扩展到不完全测量情况，实现缺失点处理ALM方法（MALM）。实施细节见补充材料。
6.实验
6.1综合数据
折反射系统：我们对合成数据和真实数据进行了实验。为了生成合成数据，我们在90度相交的3面墙上随机创建了100个三维点，并放置了一个由透视相机和轴向对齐的球面镜组成的折反射系统来捕捉墙上三维点的图像。折反射系统被移动来捕捉20张不同视角的图像。每个图像都是通过球面镜上反射的透视投影获得的。请注意，球面镜的这种反射会在图像中产生轴向对齐的径向失真。
方法综合数据采用SIETA（Strum/Triggs算法最简单的迭代扩展[27，18]）、SDP（半定规划法）、ALM（增广拉格朗日乘子法）和MALM（缺失点处理ALM法），欧氏重建结果如图4所示。结果表明，在所有误差指标上，ALM方法均优于SIESTA和SDP方法。对于每种方法，都会报告墙壁上重建的三维点与地面真值之间的角度差、估计的径向线的二维角度误差、三维配准误差、校准误差（纵横比和倾斜参数）和计算时间（误差指标见表1的标题）。实验在Intel Core 2.6
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[235606]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
