英语原文共 130 页

实时3D重建，以扩展在训练中使用的基于游戏的虚拟现实

摘要

基于虚拟现实的培训通常被称为虚拟培训。 它是传统体育训练的替代选择。 它是具有多种培训方法的高级集成（几乎所有传统培训方法都可以在虚拟世界中实现），如高灵活性和便利性（如果有互联网服务，没有严格的时间和地点限制） ，经济（不需要空间和材料，不需要真正的人），安全性和可靠性（在危险情况下是必需的，并且没有虚拟设备故障的风险）。

虽然虚拟培训似乎很有吸引力，但有些缺点会破坏其发展。首先，虚拟培训的部署高度依赖于计算机视觉，计算机图形学，人工智能，动力学，传感器，智能控制器，远程通信技术等的研究。其次，来自人类五感的沉浸感是不够的。第三，为了创建虚拟培训的虚拟环境，现实世界的虚拟化是复杂且耗时的。为了促进虚拟培训系统的开发，本文讨论了虚拟培训的不足之处，并给出了相应的解决方案。

增加沉浸感的解决方案是通过将物理设备集成到虚拟现实中来增强VR。该解决方案的贡献在于使用动态链接库和共享内存使虚拟现实可扩展和跨平台可操作。提高虚拟环境创建效率的解决方案是采用实时3D重建。该解决方案的贡献在于提供一种算法，用于估计Kinect的姿态并融合数据，同时识别扫描对象。 另外，为了提高重建的质量，开发了一种新的数字滤波器，其减少了所采集数据中的周期性和准周期性噪声。

1. 介绍

1.1传统培训与虚拟培训的现状

培训是旨在帮助个人获取知识，技能和能力的过程。最重要的培训形式之一是学校教育。有人可能需要20多年的时间才能通过在学校接受培训来提高他/她的能力，生产力和绩效。另一个重要的培训形式是专注于职业或技能，目标是在整个职业生涯中保持，升级和更新技能。许多职业和职业中的人可以将这种类型的培训称为专业发展。培训设计成功的十个关键组成部分包括（i）合作，（ii）从头脑开始（落后设计），（iii）学习风格意识，（iv）使用各种学习策略，（v） 观众/相关性的意识，（vi）促进学习与纯粹的教学，（vii）创造真实的学习，（viii）积极参与，（ix）使用评估工具和（x）评估（见图1) [1].在培训过程中， 传统方法通常都是基于（i）讲座，（ii）视听技术，（iii）在职培训，（iv）自我导向学习，（v）学徒，（vi）案例研究，（vii）商业游戏，（viii）角色扮演，（ix）行为 建模，（x）冒险学习，（xi）团队训练，（xii）行动学习，（xiii）六标准差和 黑带训练，（xiv）模拟[2]。获得成功培训的最佳方法是结合一些传统方法。然而， 这在现实生活中有时是不可能的，因为这牵涉到培训师和受训人员的可用时间表，培训的具 体地点，培训工具，培训设施的费用，

培训师的报酬和受训人员的动机等复杂因素。虽然实际上，最大化传统方法的集成水平是极其困难的，但是可以在虚拟世界中实现它。因此，这里采用作为最近过去最活跃的研究课题之一的虚拟现实（VR）技术，为实现有效的培训平台提供了可行的解决方案。

图1：成功培训的十个关键组件

基于VR的培训被称为虚拟培训。因此，虚拟培训的优点和缺点是从VR继承而来。虽然虚拟培训看起来像是传统模拟方法的延伸，但它不是简单的模拟，而是整个现 实世界的可视化。传统培训和虚拟培训之间的差异体现在表格1中。除了多种培训方法的高度集成外，虚拟培训还具备灵活方便的优点。任何用户都可以通过Internet连接从任何位置访问它，任何人都可以根据自己的可用时间制定计划。虚拟培训也很经济实惠。传统培训中使用的成本包括创建，住宿，操作，维护和材料。然而，在虚拟培训中只是创建虚拟系统及其维护。此外，虚拟培训安全且不易发生故障。因此，它是危险活动（例如，消防员培训，军事演习等），具有低容错性的培训（例如，航空培训，宇航员培训，外科培训等）和危险环境中的培训（例如，化学处理培训，细菌鉴定培训等）的理想培训形式。虽然虚拟培训比传统培训有几个优点， 但有三个重要的缺点限制了它的受欢迎程度。（i）虚拟培训的发展高度依赖于其他学科的研究深度，如计算机视觉和计算机图形，用于创建虚拟世界；人工智能和动态，用于实现虚拟世界中的虚拟活动；传感器和智能控制器，用于增强虚拟训练和改善沉浸感；远程通信技术，用于提供用户之间的实时通信。随着各种方法和技术的发展，这些缺点将会被逐渐消除。（ii）与传统培训相比，缺乏沉浸感是虚拟培训的另一个缺点。沉浸的感觉源于人类的五种感官，包括视觉，听觉，味觉，触觉和嗅觉。学员可以从传统的培训环境中获得真实的反馈，但这种反馈只能通过优化虚拟培训系统来获得。（iii）现实世界的虚拟化既复杂又耗时。因此，提高虚拟培训系统中虚拟环境创建的效率是一个重要的研究课题。简而言之，关于虚拟培训的研究应侧重于克服其缺点，即长期依赖于跨学科研究的

发展时间和缺乏沉浸感。由此产生的研究目标是采用与VR中使用的硬件和软件相关的新技术，通过自然界面增强VR并实时创建虚拟环境。有关VR优缺点的更多细节以及相应的解决方案将在后面的章节中讨论。

1.2 虚拟现实与基于游戏的虚拟现实

顾名思义，虚拟培训是在虚拟环境中实施的一种培训形式，属于VR的一种。因此，在讨论用于克服基于当前VR技术的虚拟训练的缺点的特定解决方案之前，下面简要介绍其中实现虚拟训练的VR技术和基于游戏的虚拟现（GBVR）。虽然没有普遍接受的定义，但VR通常被认为是基于2-D / 3-D图形的真实或人工环境的模拟。它通过计算机模拟的虚拟表示来虚拟化现实世界。它有可能减轻对各种自然和社会资源的现有限制。创建虚拟系统代替物理系统可以不需要创建多个物理设备副本，从而减少稀缺自然资源的消耗。此外，虚拟系统本质上比物理系统更安全且更不容易出故障，并且还可以由多个用户远程共享。

VR有四种重要形式，包括（i）桌面VR，（ii）沉浸式VR，(iii) 分布式VR和（iv）增强VR [3,4]：

bull;桌面VR [4]，常用于CAD / CAM [5]和教育[6]。

bull;沉浸式VR，通常使用头戴式显示器，光纤接线手套，位置跟踪设备或其他设备让用户沉浸在虚拟世界中[4].

bull;分布式VR，它建立在几台计算机而不是一台计算机上，用户可以通过网络实时互动[4,7].

bull;增强VR [4，8,9]，这是一种增强的沉浸式VR，可以混合真实和虚拟功能， 以改善用户的存在感。

在实践中，基于VR的培训系统可以节省大部分人力和物力资源，使参与者可以远程访问并安全地模拟危险情况和危险环境。此外，VR还可以提供讲座，增强视听技术，进行职业培训，实现自主学习，促进远程协作，模拟学徒，实施案例研究，还可以以商业游戏的形式实施，支持角色扮演，行为建模，促进冒险学习和改善团队 培训。这意味着VR可以提供传统训练方法的大部分功能。

VR的三个重要特征包括沉浸，互动和想象。沉浸和互动对大多数人来说都很熟悉，但想象力是很少有人意识到的特征。VR不仅仅是一个中型或高端用户界面，而且还有应用程序涉及工程，医学，军事等实际问题的解决方案。这些应用程序由VR开发人员设计。应用程序能够解决特定问题的程度，

也就是说，模拟表现良好的程度，在很大程度上取决于人类的想象力。因此，虚拟现实是沉浸式 - 互动 - 想象力的三重奏，如图2所示。 VR 的想象部分也指心灵感知不存在事物的能力[10]。

目前，大多数VR功能的实施都集中在视觉和声音感知的产生上，这是五种人类感官中的两种[4,11,12].VR系统传统上由五个组件组成，如图3所示。输入/输出设备包括用户输入设备（诸如跟踪器，手套或鼠标）和输出设备（诸如头戴式显示器（HMD），大容量显示器，力反馈机器人臂等）。该软件用于准备VR引擎的基本组件，并提供功能强大的编程包，帮助VR应用程序开发人员创建VR引擎中使用的基元。用户组的功能是分析影响模拟效率的人为因素问题以及用户的舒适性和安全性。VR引擎用于执行虚拟对象建模和仿真，包括几何，纹理，智能行为以及硬度，惯性，表面可塑性等的物理建模。VR引擎是任何VR系统的核心，它读取其输入设备，访问依赖于任务的数据库，执行更新虚拟世界状态所需的实时计算，并将结果提供给输出设备。

通常，VR引擎的创建是复杂的。为了简化VR的创建，实现VR的一种方法是基于多玩家计算机的游戏引擎，它为开发人员提供各种基本功能，如图形渲染，声音生成， 物理建模，游戏逻辑，人工智能，交互设计。计算机游戏引擎的目的是为游戏提供一套开发工具， 使计算机游戏的通用组件可重用和适应性强。

GBVR的开发主要涉及创建虚拟空间（VS），构建物理设备的虚拟模型，为该VS 定制用户头像以及设计VS中的化身所执行的活动图像。与VR开发相关的一些挑战包括实时创建VS，实时生成物理设备模型，不同平台和系统的无缝集成，以及促进人与人之间有效的交互。VE，包括3D声音合成，立体3D显示技术和感知反馈。现实世界的可视化涉及VS的创建和物理设备模型的生成。VS是一个地图，可以实现模型之间的所有交互。物理设备的模型是真实对象的虚拟版本。

图2：虚拟现实的三大特征 图3：基于游戏的虚拟实验室的主要组件

1.3基于虚拟现实的虚拟现实特征及虚拟培训系统开发

VR有三个重要特征：

(i)虚拟系统可以降低成本和减少资源消耗。虚拟系统作为非物理系统的创建可以使其不需要创建物理设备的多个副本，从而减少自然资源的消耗。此外，虚拟系统还可以减轻培训期间对人力资源的需求。

(ii)与物理系统相比，虚拟系统本质上更安全且更不容易出现故障。在虚拟环境 中发生的事情不会在物理上威胁用户。例如，消防员培训系统永远不会伤害消防员， 但可以警告学员潜在的危险。

(iii)VR系统可以由多个用户同时在本地和远程共享。用户可以访问相同的VR服务器并通过Internet协作完成相同的任务，这可以为他们提供极大的灵活性和便利性。

不幸的是，目前的VR系统有几个缺点，使它们不能进一步普及。

(i)缺乏定制和灵活性，使VR成为一个封闭的平台。目前，VR系统必须遵循预设故事情节，使用固定模型并在指定的虚拟环境中实施。通常由当前平台提供的软件开发工具包使用户能够创建简单的环境，地图和图像。尽管一些平台允许终端用户定制他们自己的项目，但是相关的过程通常太复杂而不能在实践中应用。例如，一些游戏提供地图编辑器以使用户能够创建他们自己的游戏地图。游戏引擎可以让用户创建自己的修改，但这些修改只能作为游戏的子集。这意味着修改中的图和规则与其原本游戏引擎的图和规则相同。游戏及其修改之间的关系类似于C 中的类。由于在与相应的游戏引擎进行比较时只能对修改进行微小的改变，因此它们的定制是有限的。

(ii)虚拟世界的表现不是真实的或客观的。模型、数字和环境存在较高的人为因素，当前平台中的元素并不是现实世界的准确表示。因此，用户的沉浸感受到限制。相机拍摄的照片通常可以唤起某人的记忆或给观察者更现实的感性知识。艺术家创作的图片以夸张的方式模仿目标对象。例如，篮球运动员的数字通常被描绘成薄唇，长而卷曲的毛或巨大的手掌。

(iii)设计和修改周期长。没有VR系统支持自定义对象的实时建模。VR中的可视化过程通常由CAD软件手动创建。它既复杂又乏味，因此耗费时间并需要耐心。

另外，这些不足最终导致基于VR的虚拟训练的缺点总结为表1中的d。

1.4 研究方法及相关文献综述

1.4.1 跨平台和增强设计

基于上述缺点，可以找到一系列相应的解决方案，包括使用跨平台系统来提高VR的灵活性，并实现VR的增强，3D重建以创建虚拟环境和并行计算实现虚拟环境的实时重建。

表1：传统培训和虚拟培训的比较

为了提高VR系统的灵活性并使其可扩展，VR系统应提供不同平台之间的兼容性方案并实现跨平台可操作性（即系统可在不同平台上运行和互操作）。VR系统由硬件和软件平台组成。在VR的发展中，强调了软件平台。跨平台软件必须能够在多个计算机体系结构或操作系统上运行。有几种方法可以使跨平台的可操作性变得可行。一个常见的例子是Web应用程序，Web应用程序通常被描述为跨平台应用程序，因为它们可以从任何Web浏览器访问[15]。此外，设计策略还可以促进跨平台的可操作性。这些策略包括：

bull;优雅降级[16]试图通过使复杂的系统适应不同的操作平台，为所有用户和平台提供相同或相似的功能。实现具有优雅降级的跨平台的相关实现可以在[17]中找到，其提出了一种利用优雅降级方法实现有线和无线网络上的通信服务的方法。以前版本的Microsoft Internet Explorer也使用此方法来支持跨平台应用程序[18]。此外，使用Java实现跨平台应用程序设计的前一个重要方法之一是优雅降级[19]。

bull;多个代码库应用程序，为不同（硬件和软件）平台维护不同的代码库，具有相同的功能。这需要重复维护代码，但是在特定于平台的代码量很高的情况下这是

资料编号：[3966]