一种具有实时全向视频采集能力的球形多摄像系统外文翻译资料

 2022-03-22 20:55:59

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

一种具有实时全向视频采集能力的球形多摄像系统

Hossein Afshari,学生成员,IEEE, Vladan Popovic,学生成员,IEEE, Tugce Tasci,学生成员,IEEE, Alexandre Schmid,成员,IEEE, Yusuf Leblebici,董事,IEEE。

摘要--介绍了一种基于飞行昆虫视觉系统的多摄像头系统，该系统被称为全景照相机。在全光系统中，每个摄像机都安装在一个半球的几何形状上，并且有它自己的视野和不同的焦距。该装置被应用在全向视觉和三维成像领域中。本文提出了一种用于全光器件的覆盖分析和设计指导的系统方法。其中所提出的方法使基于泛光原理的任意多摄像机系统得以实现。本文还介绍了一种基于FPGA的硬件结构的实现实时全向视觉重构的方法。实现的硬件能够以每秒6.25M像素的速度实时视频流，最大图像分辨率为32M像素/ FPGA板。

索引词--多摄像头系统，全方位视觉，实时，FPGA

1 介绍

普通苍蝇的视觉系统是这个高级硬件视觉系统的灵感来源。普通的苍蝇有两只眼，它由数千个简单的传感器[1]组成。这些传感器的组合为飞行提供了全方位视觉。这种生物激发的平面视觉概念是可实现的，通过将CMOS图像传感器分层放置在球面几何形状上，形成一个全方位的相机[2]，进一步可以被称为“全景”。全景照相机有两大特点。首先，它是一种全向相机，能够记录来自其中心周围任何方向的光信息。第二，它是一个多折射系统;每个CMOS facet是一个微型相机，有独立的焦平面。因此，整个系统是一个相互的孔径相机。CMOS成像器是分层的，使得每个面的视场与它的邻居的视场重叠。一种全方位的多折射相机对某些逆视觉问题是理想的，如自运动估计或结构的运动提取，其证明在[3]。此外，由于每个孔径面的视场重叠，全景相机也是一种光学相机[3]，因此，这种提供了具有深度地图估计能力的全景相机，是一个3D摄像机的核心特征。本文阐述了全景摄像机全向视觉的重建算法。系统地分析了器件的局限性和性能。提出了一种基于fpga的实时应用开发硬件平台。论文的结构如下。第二部分回顾了建立多摄像头视频系统的前期工作。在第三节中介绍了全景相机的配置和相机参数。第四部分介绍了全向视觉重建的展示全景的镜头。第五部分给出了覆盖分析方法。本文提出了一种基于全向视觉重建算法的全向视觉重建算法的FPGA平台，并给出了成像结果。第七部分总结全文。

2 多相机系统

一个场景中拍摄的多个图像可以用来增强数码相机的性能。增加图像分辨率[4]和动态范围[5], [6], [7]是这些增强的例子。在场景中创建虚拟移动摄像机的错觉插值是多视图系统的另一种用法[8], [9]。早期用于捕获多个视图的系统时基于单个翻译摄像机的[10], [11]。在此之后的一种方法是通过使用线性的静止摄像机阵列([12])来扩展到动态场景。为了捕捉大型数据集，研究人员将注意力集中在摄像机阵列上。同步和大数据率的问题为这些系统的实现带来了新的挑战。最初的相机阵列系统是用来记录与以后在个人电脑上的离线处理[8]的。多摄像机系统[13], [14]是基于低分辨率和低帧率的实时处理而建立的，但是仍然缺乏同步。我们在斯坦福[15]建立了一个用于研究的通用摄像机阵列系统，在摄像机的水平上进行有限的局部信号处理，建立该系统的目的是来记录大量数据与用作密集的离线处理。开发的相机阵列系统体积庞大，不易于移动平台。它们的控制和操作依赖于多计算机设置它们主要用于记录多个视图，而不是实时的嵌入式处理。此外，摄像机阵列上的图像传感器安装在平面表面上，这是为了防止它们覆盖周围环境的全景。由于使用计算机进行处理，这种系统的高功率消耗假定高于50瓦，而且通常没有说明。

全景或全景成像被广泛应用在导航、机器人、远程监控、远程监控和安全等多个领域。考虑到各种可能的方法[16]，从而对全向图像的获取进行了研究。而基于旋转摄像机的技术和利用凸面镜是其中最突出的例子[16]。旋转相机的方法具有获取高分辨率全向图像的优点，但有耗时长的缺点。利用凸镜的技术也可以实时获取全向图像。

然而，多摄像头系统增强的特性能力如分辨率增加和动态范围增强却不能依赖于这些现有的系统，因为它们依赖于单个相机来获取图像。在研究了具有全视图覆盖结构(包括球面)的多摄像机系统[17]-[19]后，可以发现这些系统要么只有低数量的摄像头，要么不能实时操作高帧率和高分辨率。全景照相机是由安装在球面几何上的摄像机组成的一种多镜头系统，它使嵌入式平台的设计和研究能够实时实现在多视图传感器系统的应用。本文详细阐述了安装在球面几何上的多摄像机系统的设计指导原则，以及全景摄像机全向视觉重建算法的实时实现。

3 全景相机

全景照相机是由通过在半球结构的表面定义常数区域圆面来构造的。每个面都有一个摄像头模块和嵌入式连接的空间。

为了确定每个面的球面坐标，将一个单位球的半球面划分为lol的纬度层。所有在地板上的圆形脸都有相同的纬度角。最顶层是位于北半球的只有一个圆形的面的北极。第n层的纬度角由下列公式求得：

alpha;是在单位球面上圆脸的半径，。缩放这个球体可以匹配每个CMOS成像仪的真实(半)宽度。每个纬度地板上的圆形脸的中心位置都是均匀的由以下公式求得：

由与（在每层的数量）决定大于一个面所占的纵向角度，根据球面三角学的正弦公式，后角可由以下公式求得：

如图1所示为五层半球形结构。

A.相机方向

每个相机有三个单位向量的特征：指向摄像机视线（焦点方向）的“目标”方向，在相机的像素呈现中提供垂直方向的“向上”方向，以及在像素领域向量v正交于前两个并呈现水平的方向。图3(b)中所示为每个摄像机像素坐标的正交参照。

b .摄像机内参数

产生图像或视频的相机参数被指定为相机的固有参数。这些参数包括焦距，即，图像格式，以及最理想的在图像中心的主要点。这些参数控制了在世界坐标下的三维点位置的变换到像素坐标中的二维点位置。相机参数显示在一个被称为相机矩阵的34矩阵中。其他重要的相机参数视角,以及相机像素网格的分辨率。

c .物理实现

自定义全景相机原型如图2所示。这个原型是用一个铝结构和聚氯乙烯(PVC)相机支架的经典数字加工制造的。这个半球的直径是129mm。

4 全向视觉重建

通过将每个摄像机收集到的信息组合起来，可以重建位于整个全景结构半球内的虚拟观测者的全方位视觉。用于重建的方法是在光线空间域内插值光信息（或者光场[10]）。

在此过程中，估计了离散化球面的全向视图。这个球体的表面被离散成一个有纬度和经度象素的等角网格。图3(a)显示一个像素化的球体表面，每个像素为16个像素。每个像素的方向由单位向量确定。

虚拟全向视图的构造，即观测点，在两个算法步骤中执行。首先，所有在其角度的摄像机都是确定的。由于omega;与相机图像帧上的精确像素网格位置不一致，第一级的插值是为每个贡献相机提取该方向的光强。因此，第一个算法步骤估计了的值，其中的径向矢量ci指向了第一个贡献相机的圆脸的中心位置。图3(b)显示了为相机的典型像素方向提供相机的一个例子，的值如图3(b)所示。

第二种算法步骤是在给定方向和通过摄像机中心位置omega;的光线空间中执行。在恒定光通量(CLF)的假设下，光的强度在任何光线的轨迹上保持不变。在CLF假设下，定义了一个正投影平面，在给定的方向上，光强只在其对应的正投影平面omega;内变化。正象平面对omega;来说是正常的。方向的正投影平面表示为图4中的“平面”，表示为灰色阴影圆(为了清晰起见，画出圆的边界)。每一个贡献的相机记录的方向的光线，在这个平面上与每个投影的相机焦点对应的投影点相交。图3中空心点突出显示了在平面上贡献摄像机位置的投影点。平面上的每个投影摄像机位置都分配了强度值。作为一个例子，将相机的投影焦点对准图4中的-平面，给出了强度值。在半球内的虚拟观测点(即)也被投射到omega;平面上。投影观测点的光强值(即)，是通过所有强度值的算法集来估计的，或者是它们的一个子集来提取一个唯一的强度值。对于图4中所示的17个强度值，通过二维插值可以估计出观察者位置q=0的强度值，它是球面的中心，并且由一个粗体点表示。

两种算法都存在替代插值的技术。本文介绍了最近邻和线性插值技术的实现。

5 覆盖率分析

用全景相机构建全方位的角度，要求在半球形结构上放置摄像机的所有角度都覆盖了半球的周围环境。摄像机的AOV决定了它的目标方向(视线范围)的极限角度，但相机无法记录光。

全景装置的全视图覆盖距离(FCD)表示最小距离，这使得pan光学设备能够对完全覆盖的全向视图进行采样。这段距离希望尽可能接近半球半径，因为这是理想的半球图像传感器的情况。然而，FCD实际上更多的是用于全景设备，并且依赖于覆盖整个半球的摄像机的数量，它们在半球上的分布和每个摄像机的AOV。

A 展示全景的镜头泰森多边形法图

每个摄像机以其简单的形式作为针孔照相机[20]，各向同性的视角如图5所示。它还假设所有的摄像机都是类似的，因此有相同的AOVs。

当所有邻近的各向同性的AOVs相交时，就能实现全视图覆盖。假设后一种情况下，所有相邻的各向同性AOVs的第一个交叉口的投影线将它的半球表面分割成一组以摄像机位置为中心的单元。这个过程如图5所示。该分区与摄像机的AOV值无关，可以进一步用于全光器件的FCD计算。

每一个细胞都被定义为大脑半球上的所有点的集合，它们比其他摄像机位置更接近于细胞中的摄像机位置。单元格的边界是由距离最近的点和到至少三个最近点的距离最近的点(或节点)组成的。这个特殊的划分属于一个被称为Voronoi图[21]的成熟的几何概念的范畴。在球面上应用的是Voronoi图的概念。细胞的半径被定义为距离细胞中心(或位点)最远的距离。最大的电池，它的半径最大，包括所有的全景照相机所覆盖的方向。最后一个覆盖方向表示为。

作为例子，图1的半球结构的Voronoi图如图6所示。每个Voronoi单元具有球形凸多边形的形式，它包含一个与一个摄像机中心相对应的Voronoi站点。Voronoi节点在Voronoi细胞的顶点上，如图6所示。在图8(a)中显示了包含最后一个覆盖点的最大Voronoi单元的段。

B 全视图覆盖距离

当这个物体与相机的位置形成一个角度时，一个(准时的)物体开始被一个相机(位于北极)观察到的最小的距离。利用与三角形形成的三角关系，以及目标位置的收益率:

当半径为泛光半球半径时，相机AOV和假设小于alpha;/2，即0。由于后者的表达式不依赖于摄像机的位置，所以任何提供的相机都可以测量物体和相机中心之间的夹角。当距离趋向于(4)到无穷大时，趋向于alpha;/2。

因此，如果相机方向的径向矢量与目标矢量之间的夹角，就可以看到一个方向的兴趣。还不到摄像机的一半。

利用(4)和(5)导出了两个重要的参数，即:任何相机必须具有的最小的AOV，这样至少有一个摄像机可以观察到任何物体在一个无限远的距离内的任何物体。在分段A中，全景照相机的Voronoi图提供了任何相机位置最远的方向(即)。用渐近行为(5)来表示一个全光器件所需要的最小AOV，即它与最接近的相机中心之间的夹角。

第二，利用(4)通过(6)选择min作为全光器件的摄像机，并假设所有的摄像机都是相同的，利用(4)通过选择min，得到全景设备的全视图覆盖距离(FCD)。

C 深度

全文共11373字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[15867]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章