有效利用视频文件进行文化遗产三维建模外文翻译资料

 2022-04-11 21:00:00

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

附录X 外文翻译

有效利用视频文件进行文化遗产三维建模

B.Alsadika,b,M.Gerkeb,G.Vosselmanb

a巴格达大学，工程学院，测量系，伊拉克巴格达

b特温特大学，ITS学院，EOS部，荷兰恩斯赫德

(b.s a.alsadik,m.gerke,George.vosselman)@utwente.nl

摘要：

目前，基于图像的自动化建模（IBM）技术发展迅速，尤其是在先进的运动结构（SFM）和密集图像匹配方法以及相机技术方面。其中一种可行性方法则是用视频成像创建基于3D现实的文化遗产建筑和古迹模型。实际上，与IMB技术中静止图像拍摄相比，视频成像更容易应用，因为后者需要彻底的计划和熟练的操作。但是，当视频图像序列用于文化遗产物体的高度详细建模和尺寸调查时，主要面临三个问题。这些问题是:视频图像的低分辨率，需要处理大量的短基线视频图像以及大量图像上由于相机抖动产生的模糊效果。

在这项研究中，研究了使用视频图像进行高效3D建模的可行性。开发了一种方法根据对象覆盖和模糊效果来找到最小量的视频图像。这种视频图像减少的方法与静止图像产生的模型相比更加方便，减少了处理时间并生成了可靠的纹理化3D模型。使用1920*1080分辨率的视频图像测试建筑物和纪念碑建模两个实验。应用生成模型的内部和外部验证来找出最终预测的准确性和细节的模型级别。结果表明与目标复杂度和视频成像分辨率有关，当使用视频成像时，测试表明平均精度可达到1-5厘米，此种方法主要适用于对象可视化，虚拟博物馆和低详细文档。

关键词：视频图像，三维建模，最小摄像机网络，模糊检测

1.介绍

如今，基于现实的建筑物和古迹三维模型的生成主要通非接触式测量方法实现。测量可以通过激光扫描仪等有缘传感器或照相机被动运用。这些用于对象建模的方法可以区分为：基于图像的建模（IBM），基于范围的建模或两种技术的组合（Remondino and El-Hakim, 2006）。基于图像的方法对于有限的预算项目来说是首选，但他们在复杂场所的实用性和可移植性方面还不够。此外，图像定向，图像密集匹配和建模等先进技术为数字文档和文化遗产保存提供了一个工具箱（Santagati et al., 2013）。目前市场上有不同的高效自动化或半自动化图像建模软件，例如（Acute3D，2013；EOSsystems，1994；Photoscan，2011；Pix4D，2013）与其他开源软件相同，其功能类似于Furukaw和Ponce，2010；Meshlab，2010; Pierrot-Deseilligny，2012；Snavely，2010；Wenzel，2013；Wu，2012）。

拍摄的图像可以通过静态照相机（静态照片）或移动照相机（视频序列）拍摄。通常高分辨率的静态图像被用于从高空平台或地面捕获的3D建模和文件。从这些图像中创建的3D模型在可视化和准确性方面是可靠的。 这种可靠性基于以下几个因素：来自紧凑型或单反相机的拍摄图像的高分辨率，图像的低辐射和几何失真以及合适的相机网络设计。

但是，在3D建模中使用静态图像拍摄的缺点是需要熟练或专业知识：难以捕获所需数量的图像，捕捉过程中摄像机的适当姿势以及确保图像之间所需的重叠。因此，非专业人士很难覆盖整个对象，并避免3D建模的不利基础广泛的网络配置（大基础/深度比）（Alsadik等，2012,2013）。由于可能存在的尺度变化和遮挡，这种宽泛的基线成像可以表示图像取向的随后建模以及后续的密集匹配中的困难。目前，像SIFT（Lowe，2004）和SURF（Bay等，2008）这样的尺度不变算子代表了最先进的连接点匹配工具。然而，这些匹配算子仍然有限制，以匹配宽基线图像中的同源点（Barazzetti et al。，2010）。

在连接点匹配之后，运动结构（SfM）技术将被用于通过束调整来计算图像取向和稀疏点云（McGlone等，2004）。然后，应用密集匹配来创建对象的密集点云。根据（Haala，2011; Hullo et all，2009）的建议，最好保持一个合理的基础深度比值（0.15-0.30），以获得成功的密集匹配方法。这些上述限制给摄像机规划阶段带来了一些困难，如前所述，这将由专业人员实施。

另一方面，视频图像序列表示图像数量冗余度高的短基线成像。图像连接点匹配也可以通过所提到的技术来完成，如SIFT或所谓的特征像通过使用KLT方法（变体）（Tomasi和Kanade，1992）进行跟踪。在过去十年中，像（Nister，2001；Pollefeys等，2008）中的方法被用于处理视频图像序列以重建使用空间相似度变换缩放成真实的3D场景。视频成像的主要优点是记录的灵活性和易用性，与静止图像拍摄相比，即使非专业人士也可以记录网站。然而，与高分辨率（HR）静止图像相比，传统的消费类摄像机和摄像机的分辨率不足（小于3Mp）。此外，由于摄像机在拍摄期间的运动，相当数量的视频图像帧相对模糊，这意味着图像中的某些信息的丢失。因此，与HR静止图像相比，从视频图像创建的3D模型可能具有较低的几何和放射质量。使用视频序列进行3D建模的另一个缺点是需要处理大量数据。以20张图像/每秒钟的帧数可以轻松达到1000张图像。对于静态图像网络，在（Alsadik et all.，2013）中证明，在系统和显着减少图像后仍然可以获得所需的三角测量精度和点云密度。在本文中，我们希望将这个想法转化为视频序列：减少帧数对最终准确度的影响是什么？

为此，我们提出了一种方法来查找保证两者的视频图像的最小数量：全面覆盖和有限数量的模糊效果，以最终创建3D模型。因此，应用准确性验证来研究使用视频图像序列进行3D建模的可行性。最后，将根据（Letellier，2007）的标准作出结论，以决定视频成像是否代表文化遗产文献中静止图像的替代。

2.方法

在建模中有效使用视频图像序列的关键思想是去除模糊的视频图像，此外，根据基于覆盖范围的某些标准滤除冗余图像帧。另一种方法是过滤准确性以保证预定义的准确性（Alsadik et all.，2014b）。图X-1显示了本研究中提出的使用视频图像进行三维建模的一般管道。请注意，在本文中，我们不会专注于最终的网格划分/纹理化步骤。

所提出的方法基于具有以下两者：对象的粗糙点云和视频图像方向。为此，我们需要在无模糊图像上应用SfM技术，这对于大数据集是一种耗时的方法。因此，我们建议使用带有两个连续帧的引导SIFT匹配的（640像素）下采样图像 来减少处理时间。然而，所有后续步骤将使用全分辨率视频帧完成。这将显着节省密集匹配和SfM中的处理时间，这将在两个实验中显示。

开始

视频文件

捆绑调整

SIFT匹配

SFM

编辑

密集匹配

结束

纹理表面网格

密集的点云

粗略的点云 图像方向

已过滤图像

计算最小网格

粗略的点云 图像方向

测试模糊

下采样：640像素分辨率

模糊免费图像

变成框架

图像序列数据集集

图X-1 从视频图像序列中提出的自动3D建模方法

2.1去除模糊图像

目前，使用不同的方法来检测图像模糊。在这项研究中，克里特等人开发的方法。（2007）将用于其效率和快速实施。该方法首先基于原始图像的相邻像素之间的强度差的计算。这个计算将会重复，但在用低通滤波器有意模糊图像之后。将模糊之前和之后的这些强度差异进行比较以评估模糊量。因此，锐度或模糊度的度量基于原始模糊图像和模糊图像之间的高或轻微变化。最后，分别针对最佳质量或最差质量计算模糊指数，其范围介于0到1之间。

Bao（2009）开发的软件用于测试基于（Crete et al.，2007）论文的图像数据集上的模糊。图X-2显示了针对该模糊估计技术的两个连续视频图像的样本测试。

在测试几个数据集之后，选择（0.45）的经验拒绝阈值来过滤掉数据集中模糊的图像并保持清晰的清晰图像。应该注意的是，视频图像中的高冗余度将确保滤波后图像的充分覆盖。

（a）模糊度量=0.29 （b）模糊度量=0.46

图X-2 模糊度量计算的示例测试

2.2最小的相机网络

（Alsadik et al.，2013；Alsadik et al.，2014b）提出了计算最少图像数量的方法，并基于至少有三台摄像机同时观察每个目标点的概念。因此，如果摄像机仅被三个以上摄像机覆盖，如图X-3所示，则认为摄像机是多余的.B / D比率的另一个约束被添加以确保成功的密集图像匹配。

  1. （b） （c）

图X-3 过滤冗余相机的概念

  1. 过滤前 （b）过滤后（c）过滤前后覆盖相机的数量

因此，需要首先创建对象的粗糙点云并且还计算图像的方向。

这可以通过在无模糊全套下采样视频图像上应用SfM来完成。为了随后过滤冗余视频图像，粗糙点云对于获得对象的形 状和大小是必需的。在实验中，我们从下采样图像序列中检索这个初始信息以节省处理时间。这个SfM步骤所需的总时间和所提出的滤波将显着减少与传统方法相比所需的处理时间。

过滤方法总结如下，如图X-4所示：

1.导出对象的粗糙点云。使用SfM技术进行图像定向步骤后得到的稀疏点云足以完成此任务。

2.将导出的对象粗糙点云划分为过度覆盖和公平覆盖。过度覆盖的点是三个以上相机出现的点，而公平覆盖点指的是出现在三个相机中的点。

3.根据查看的覆盖点数量和公平覆盖点数量，将摄像机标记为冗余或显着。

4.根据其覆盖范围（点数）按照升序排列涉及覆盖点成像的冗余摄像机。这种安排的理由是取消成像点数较少的冗余相机并保留其他相机。

5.检查相机取消对B / D比率的影响。相应地，取消仅对成像覆盖点组进行成像并且在网络配置中不产生大的B / D比率的相机。

6.在照相机取消之后，根据计算的覆盖范围迭代地测试滤波，并将每次迭代中的点云重新标记为过度覆盖和公平覆盖。

7.该过程从步骤3开始重新进行。过滤重复进行，直到没有更多冗余相机参与成像。

有

无

有

无

过滤覆盖

共线方程

保持遮盖相机

重新成像网络

结束

如果存在多余相机

如果B/Dlt;阈值，用最少的点过滤相机

计算每台相机的点数NO.

找到多余的相机

公平的涵盖点

在覆盖点

如果点成像在超过三台摄像机

逐点计算覆盖摄像机

检查可见性（HPR方法）

稀疏点云相机参数

开始

图X-4 过滤冗余映像的工作流程图

我们假设视频一直在运动，因此我们避免了无限的单应性，这会使整个过程变得不稳定。另外，我们要求模糊序列的长度很小，这意味着总是有足够清晰的图像来保证封闭的图像块。请注意，循环闭包是隐式完成的，因为该方法会自动连接来自序列开始的图像和结束的图像，因为点重投影是在初始图像方向上完成的，而不是在初始匹配图上完成的。

值得一提的是，我们使用了隐藏点去除（HPR）方法的点云可见性。通过假定视点C位于球体原点来应用该方法的概念。点云通过球体投射到相反的外侧，即所谓的球形翻转。通过应用由（Katz等人，2007）定义的等式，球形打击相对于球体反应一个点。翻转的点云和视点将由凸包表示。然后，将位于凸包上的变形点作为可见点提取出来。

这种方法的主要优点是除了简单和执行时间短之外，与其他可见性方法相比，在不重构曲面的情况下确定可见性。此外，它还可以计算稠密以及稀疏点云的可见性，对于这些云可能会失败重建或其他方法。然而，当有噪声点云存在时，缺点就会被实现（Mehra et al.，2010）。此外，有必要设定一个适当的半径参数来定义反射球（Alsadik et al.，2014a）。

3.实验测试

测试了所提出方法的两个实验。第一个是模仿教堂建筑，第二个是模仿纪念碑。所有计算均应用于笔记本电脑Dell Latitude E6540 Core i7，并使用最先进的Agisoft照片扫描软件（Photoscan，2011）。视频成像由Canon EOS 500D 以1920times;1080像素的MOV格式以20 fps的帧频执行。此外，为了进行详细的比较，用相同的照相机进行的静止图像也以15MP的高分辨率（HR）进行。值得一提的是，我们对所有测试过的视频网络采用自校准方法来应用全自动SfM。结果显示在以下部分。

3.1教堂建筑实验

第一个实验应用于荷兰恩斯赫德的老教堂，如图5a所示，该图显示了从谷歌地球（谷歌，2010）采取的3D图形表示。为了验证3D建模的视频成像，需要进行基准测试，以对所 生成模型的准确性和可靠性进行外部验证。因此，使用“Trimble CX扫描仪”在教堂建筑周围进行地面激光扫描（TLS）（图X-6），其中制造商单点精度标准为：4.5 mm @30 m。此外，如图X-5b所示，五个地面控制点GCP被固定在教堂立面上，以将创建的基于视频的点云注册到TLS点云中。TLS点云由超过2300万个点组成，如图X-6所示.GCP目标点在相应的图像上被手动标记。同

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[467156]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章