英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
基于AI的VR地震模拟器设备
Ryota Suzuki, Ryoki Iitoi, Yue Qiu, Kenji Iwata,
and Yutaka Satoh
National Institute of Advanced Industrial Science and Technology,
Tsukuba,Japan
ryota.suzuki@aist.go.jp
Tsukuba University,Tsukuba,Japan
摘要：在此，我们提议出一种新型的地震模拟方案，该方案以人工智能技术为基础，设计了基于AI的VR地震模拟器。利用这一地震模拟器，可以轻松地对任意真实室内环境进行模拟。首先，用户使用在价格成本上比较低廉的RGBD传感器（例如Kinect传感器设备），对任意房间进行扫描；然后，自动模型生成设备使用基于深度学习的分类方法，对RGBD数据中所获得的对象进行检测；在给定适当的物理特性（例如质心特性和摩擦特性）以后，就能够生成出3D模型。利用这种生成3D模型的方式，用户扫描室内的房间，即可轻松获得进行地震模拟的相关内容。在虚拟地震的体验过程中，这些内容可以用来模拟室内的各种场景，从而，为用户提供近乎真实的虚拟现实体验。
关键词：人工智能、地震模拟器设备、三维重建、虚拟现实、深度学习
1介绍
在世界各地，经常会发生一些极具破坏性的特大地震。据《美国地理逻辑调查》的相关报告称：在过去的十年中，震级在7.0级以上的大地震，共发生了164次之多。在日本，于近期发生的，2011年4月的福岛大地震，袭击了日本的东海延岸。尽管海啸摧毁了福岛，但是在其他的一些地区，例如东京等地区，并没有受到海啸袭击带来的破坏影响，但是却遭到了地震本身所带来的冲击。摆放货物的架子倒塌，汽车的车窗遭受到破坏，交通一度处于停滞不前的情况之中。
地震模拟器设备对于灾难防范的相关培训是非常重要的。特别是在一些地震比较多发频发的国家。考虑到这种不容乐观的情况，业界已经生产了一些设备，这些设备允许人们用来进行地震模拟体验。在日本，众所周知，有一些用于进行地震模拟的设备（包括一个房间和一套物理引擎来模拟大地震的机制），但是，几乎很大一部分人都没有机会利用到这一模拟地震的系统。近年以来，随着VR技术的广阔蓬勃发展，相关方面已经提出了几种进行VR地震模拟的系统方案。然而，要开发出针对这一类系统的三维VR内容，其价格成本是极为昂贵的。
让人们在他们自己的家中就能够体验到模拟的地震，被认为是一种行之有效的澄清潜在风险和提供防险知识的方法，这样的一种方案可以被用来进行风险预警，例如，警示物品掉落在床上之类的危险。因此，迫切地需要开发出一种在价格成本上比较低廉，并可以有效进行地震模拟的设备系统，从而，用户可以利用这一系统来进行构建，设计出属于他们自己的高质量的环绕3D模型。
在这里，我们提议出一种新型的、基于人工智能的虚拟现实地震模拟器设备，利用这一模拟地震的设备，人们可以轻松地对任意真实的室内环境进行模拟。通过使用在价格成本上较为低廉的RGB-D传感器设备，用户可以对自己居住的房间进行扫描，从而在虚拟现实的房间内，体验到模拟地震的真实感觉。房间在VR空间中被重建成为几个具有高分辨率表面纹理的平面。此外，通过使用最近提出的基于深度学习的物体检测的技术，房间中的物体就可以被识别并且能够被翻译成为3D的模型。 最后，系统通过应用物理引擎来实时地进行VR房间内地震的模拟。为了能够针对开发的这一系统做出评估，我们使用VR地震的内容进行了一次用户体验的相关测试，发现用户可以在他们的虚拟房间内经历模拟的地震，在这之中，用户可以产生近乎于真实的感觉，而不会感受到有任何的不适。
2基于人工智能的虚拟现实地震模拟器设备系统
在这一部分中，我们将解释所提出的：基于人工智能的虚拟现实地震模拟器设备系统。系统概述如下图1所示。系统执行过程即按如下操作方式来进行执行:
图1.系统概述
1.使用带有多RGBD传感器的设备系统来进行整个室内房间的扫描。
2.使用SLAM框架来计算房间内的3D点云。
3.将得到的3D点云分割成平面。
4.针对构建的平面内的每一个纹理来应用对象检测技术。
5.通过使用VR设备来投影重建的房间。
6.通过使用物理运动引擎来模拟地震的发生。
2.1扫描和地图绘制
相比其他的一些扫描器设备，诸如LIDAR之类的3D扫描仪，RGBD传感器设备在价格上则显得更加便宜。因此，我们可以通过使用RGBD传感器设备来扫描整个房间。此外，视觉同时定位并且使用(SLAM框架)进行计算，这一技术通常被应用于使用RGBD传感器设备所获得到的3D模型中。然而，由于扫描视角比较狭窄，完全扫描到整个房间就会要花费很多时间。此外，在一些表面纹理比较少的房间中，由于无法充分彻底地观察到SURF等特征点，一旦生成出了扭曲的地图，那么通过SLAM框架进行的定位就极有可能会失败。为了能够行之有效地解决这些问题，我们开发了一种带有多RGBD传感器设备的系统，如下图2所示。通过在圆周上布置多个校准的RGBD传感器设备，就可以同时采集到所有的环绕RGBD数据。通过使用RGBD传感器设备在房间中来进行移动并且执行SLAM框架，就可以非常轻松地获取到整个大房间中的3D空间(参见下图3)。在本次研究中，我们使用了9个XTION传感器设备，其深度范围最高可达8米，在这样的方案下，传感器设备就可以充分地彻底地扫描到整个室内的环境。这样，与使用单个RGBD传感器设备的情况相比，定位估计的精度就可以得到很大程度地提高，因此，就可以获得大量的失真程度比较小的点云数据。该系统还可以在日光较弱的环境条件下以及传感器设备捕捉深度数据宽度不太足够的区域中来进行户外的扫描工作。
图2.配置的多RGBD传感器设备系统。可以立即地获取到周围的RGBD视图，从而可以很方便地轻松地针对整个房间来进行本地化和映射，而不会产生有失真的情形。
图3.多RGBD数据的SLAM。循环关闭成功，地图不会产生有失真的情形。（在线颜色图）
2.2针对平面的解释
虽然，可以获得到密集的无畸变的点云，但是点云对于沉浸式交互式的VR来说，则是明显不够的。系统必须扫描并且识别出整个房间的结构和形状，从而可以很方便地来进行适当的物理模拟。但是，要实现可视化多个点的交互式系统，所需的计算价格成本会很高。为了能够有效地解决这一问题，我们设计并实现了一个框架，通过这一框架，AI将点cloud3D空间解释成为平面。首先，将局部距离最近的点之间的网格构造成为局部平面，如下图4所示。要连接的点集是在扫描的时侯从原始图像的连接中获取到的。然后，再通过应用统计平面估计的方法将这些平面重建到全局平面中，基于平面的方向和位置之间的距离，这种方法综合考虑了局部平面之间的相似性。此外，还可以通过合并对应于平面的部分RGB图像来创建与每个平面相关的纹理。在扫描的时侯，从平面的附近或者平面的前方所取得的像素点在选择方面会具有更高的优先权。最终，每个墙壁，地板和天花板等都被自动地识别成为具有纹理的分离平面，如下图5所示。
图4.将点云转换成为平面。根据深度数据构建出局部平面，然后，从这些局部平面估计出整个全局平面。
图5.房间结构的认知结果。整个房间采用高品质的纹理进行了重建。
2.3物体检测
正如上文第2.2节中所提及到的，将点云解释成为平面的方法可以使得AI能够通过应用深度学习框架来执行高质量的物体识别。最近，随着深度学习技术的广阔进展，例如针对二维图像中对象的识别，这一技术已经得到了实现。因此，我们可以轻松地获取到整个平面的非分离的纹理，得到高性能的可应用的深度学习的物体。在本次研究的过程中，我们使用了YOLO v2设备，它是一种最先进的物体探测器，可以用于对时钟，椅子和书籍等物品的内部进行探测，如图6所示。
图6.重建平面纹理的检测结果的示例
3 VR地震模拟
这一地震模拟器设备系统可以被用来进行交互式的虚拟房间的生成，这一虚拟的房间是基于对真实房间的投影。然后，系统使用物理引擎来进行地震的模拟。物理模拟的计算量将会很大，这会使得实时的操作会变得非常的困难。然而，近年以来，业界已经生产出功能强大的图形处理单元（GPU），这一图像处理单元使得通用的并行计算加速成为可能，在目前的研究中，我们使用了由NVidia维护的PhysX物理引擎。
在模拟地震的整个过程中，我们使用了由日本气象厅加速度计型地震仪测量的真实的地震数据。为了能够在PhysX中使用时间顺序来对地震数据进行加速，我们通过应用反映频率响应特征的IIR过滤器，来将加速度转换成为位移，然后，再接着为地平面设置动画。PhysX就可以模拟出地震中的能量到地板上物品的传播过程。
4 评估
我们组织进行了一项实验，这一实验被用来评估与拟议VR地震模拟器设备中相关的用户体验。我们从以下的一些观点来进行所提出的系统的评估：（i）重建提供舒适的、沉浸式的VR环境的有效性以及（ii）单纯地使用视觉提示来吓唬用户的能力。根据这个实验的结果，我们模拟进行了一次3DVR地震，其中水平的平面被自动地识别成为方框或者桌子，然后，它会被推倒到地板上。 此外，当在模拟强烈的地震的时侯，被AI识别成为“书籍”的物品会则被推倒在地面上（见图7）
图7.模拟场景的示例，可以观察到地板伴有着大幅度的起伏情况
4.1环境
我们调查了共八个科目，他们是大学生，技术研究员或者每天在同一个办公楼工作的研究人员，由于他们对于构建的环境是比较熟悉的，因此这些群体比较适合参与到沉浸式虚拟环境中。这些主题报告了沉浸式VR的各种体验。
在本次研究中，我们使用了HTC Vive设备，包含一个实现前置显示器（HMD）的VR系统以及其位置跟踪器，头部的方向和位置可以被实时地反映在VR空间中。在实验的进行期间，受试参与者经历了2011年4月福岛大地震的模拟。我们使用了在Miyagi Pre-fecture的Okeya小镇中观察到的相关数据，其中最大的加速度的大小为479.1cm/s2。计算的IIR滤波器参数如下述所示：地震仪的周期为6.0s，阻尼常数为0.55，采样间隔为0.01s。
4.2协议
首先，我们要求每一个测试的主体进入到重建空间以外的房间。每个受试参与者坐在固定的凳子上并且佩戴有HMD设备。然后，在凳子的前面放置一张桌子从而确保每一个受试参与者的初始身体取向。但是，我们并没有提供任何关于身体或者头部方向的限制措施。基于椅子的初始定向，将书架放置在VR室中以用来增强用户的体验。在开始模拟之前，首先，我们会告诉受试参与者，只要他/她报告感有任何的不适，我们就会停止实验的进行。在开始实验后，模拟的地震大约持续了将近有两分钟左右。
实验结束以后，我们要求每一位受试参与者回答一个具有七分制的调查问卷（见表1）。 表2显示了调查问卷中包含的所有问题。还要求受试者以自由评论的形式，提供出对于每个问题所作出答复的原因以及真实的用户体验感觉。
|
7 |
完全赞同 |
|
6 |
同意 |
|
5 |
部分同意 |
|
4 |
一般 |
|
3 |
部分反对 |
|
2 |
反对 |
|
1 |
彻底否定 |
表格1.每个问题的七个梯度量级
|
Q1 |
当没有发生摇晃的时候，所构建的这个3D环境看起来逼真吗？ |
|
Q2 |
你觉得地震模拟的过程中房子摇晃的感觉真实吗？ |
|
Q3 |
在本次实验之前，你是否考虑过当日常家居环境中发生地震的时侯的应对措施？ |
表格2.在调查问卷中所提出的问题
4.3结果
这一问卷调查的结果如下图8所示。绝大多数的受试者都回答了所有的问题。问题1和相关评论的结果，例如“房间似乎很熟悉。”或“房间看起来既不现实也不虚构。”表明这种提出的方法能够构建出人们的日常生活经常观见的高质量的3D空间。问题2以及其相关评论的结果，例如“震动和改变的视觉感觉太逼真了”或“这是我在真实地震中所能感受到的不愉快”，表明系统可以正确地进行地震的模拟，VR空间不会对模拟地震的过程产生不利的影响。然而，针对主题＃8中问题2的反应却是“完全不赞同”，这一主题下的评论说“地震很慢，似乎相机正在摇晃”。有几个问题需要被考虑：（i）原始的地震主要是由长周期波组成的，（ii）非常短周期的波浪会被过滤，并且会从加速度到位移来进行转变，以及（iii）VR系统中的摄像机位置与HMD相关并且没有受到地震的影响。项目（i）表明受试者感觉到好像他们正在经历着真正的地震。项目（ii）可以通过添加超短周期波来进行解决。 项目（iii）也可以通过将物理人体的头部模型应用于物理模拟中来进行有效地解决。在提议的系统中项目（ii）和（iii）可以被很容易很轻松地进行展开。
图8.调查问卷的结果
5结论
我们在这里提议出了一种新颖的基于人工智能
全文共6363字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[1782]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
