虚拟现实的可提供性,使多维数据的感官表征为沉浸式分析:从经验到洞察外文翻译资料

 2022-11-12 19:38:01

本科生毕业论文(设计)

题 目 The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics:from experience to insight

学生姓名 陈苏艺

学 号 20151396043

学 院 传媒与艺术

专 业 艺术与科技

指导教师 李凤麒

二O一九年四月二十四日

The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics:from experience to insight

Author

Authors and affiliations

  • Jules Moloney
  • Branka Spehar
  • Anastasia Globa
  • Rui Wang

Abstract:Using the theory of affordance from perceptual psychology and through discussion of literature within visual data mining and immersive analytics, a position for the multi-sensory representation of big data using virtual reality (VR) is developed. While it would seem counter intuitive, information-dense virtual environments are theoretically easier to process than simplified graphic encoding—if there is alignment with human ecological perception of natural environments. Potentially, VR affords insight into patterns and anomalies through dynamic experience of data representations within interactive, kinaesthetic audio-visual virtual environments. To this end we articulate principles that can inform the development of VR applications for immersive analytics: a mimetic approach to data mapping that aligns spatial, aural and kinaesthetic attributes with abstractions of natural environments; layered with constructed features that complement natural structures; the use of cross-modal sensory mapping; a focus on intermediate levels of contrast; and the adaptation of naturally occurring distribution patterns for the granularity and distribution of data. While it appears problematic to directly translate visual data mining techniques to VR, the ecological approach to human perception discussed in this article provides a new framework for big data visualization researchers to consider.

Keywords: Virtual reality Affordance Big data Multisensory representation Human interaction

1 Introduction

Typically, visual analytics has been deployed when data problems are ill defined and/or the configuration of the data is not easily subject to algorithmic analysis. Within the context of big data these characteristics are the norm, leading to increased interest in applications known as visual data mining (VDM). The aim of VDM is to augment algorithmic analysis with human visual cognition, where data variables are mapped to graphic attributes and differentiated through spatial position, shape and colour, thus bringing human visual perception and creativity to analysis [1, 2]. VDM utilizes graphic mapping techniques ranging from graphs and scatterplots to tree maps, display icons, tag clouds and cluster grams. While there has being some activity and speculation on the potential of virtual reality (VR) for visual analytics, application has been hindered by limited access to suitable hardware [3, 4, 5]. The recent availability of low cost, high performing head mounted displays (HMD) and compatibility with feature rich application authoring platforms such as Unity, has facilitated increased interest in the potential of VR for visual analytics. This has led to the new sub-field of research termed immersive analytics, which explores the potential of immersion in VR to extend existing graphic mapping techniques [6].

The position we develop in this article contributes to the research agenda of immersive analytics through considering the affordanceof the technology, with the objective of developing key principles that can inform the specification of software prototypes for immersive analytics. The term affordance will be familiar to many readers through Hartson [7], who clarified the practical utility of the theory for the design of Human Computer Interfaces (HCI). The concept of affordance was originally developed in psychology by James J. Gibson, whose lsquo;Ecological Approach to Visual Perceptionrsquo; [8] was described at the time as a revolutionary shift away from cognitive theories of psychology [9]. As we will discuss, there are a range of ways in which affordance has been defined and used in different domains, but for the purposes of this introduction the broad definition below by Stuckey et al. developed in relation to the design of virtual environments, captures our intent. “hellip; we use the concept of affordance to refer to the latent possibilities for action presented by an artefact, tool or environment” [ 剩余内容已隐藏,支付完成后下载完整资料


本科生毕业论文(设计)

题 目 虚拟现实的可提供性,使多维数据的感官表征为沉浸式分析:从经验到洞察

虚拟现实的可提供性,使多维数据的感官表征为沉浸式分析:从经验到洞察

法蒂玛·扎赫拉·卡哈特、塞西尔·勒·普拉多、阿雷蒂·达马拉和皮埃尔·库波特

塞德里克/ CNAM,法国巴黎圣马丁街282号

{fatima.azough, leprado, cubaud} @cnam.fr, areti.damala@gmail.com

摘要:利用知觉心理学的启示理论,通过视觉数据挖掘和沉浸分析中的文献讨论,提出了利用虚拟现实(VR)对大数据进行多感官表达的设想。虽然这似乎与直觉相反,但如果与人类对自然环境的生态感知相一致,那么信息密集的虚拟环境理论上比简化的图形编码更容易处理。潜在地,虚拟现实通过交互式的,动觉视听虚拟环境中的数据表示的动态体验,提供了对模式和异常的洞察。为此目的,我们阐述了一些原则,这些原则可以为沉浸式分析应用的开发提供信息:一种模拟数据映射方法,将空间、听觉和动觉属性与自然环境的抽象结合起来;分层的特征与自然结构互补;使用跨通道感觉映射;注重中间的对比度;以及根据数据粒度和分布情况对自然出现的分布模式进行调整。虽然将可视化数据挖掘技术直接转化为虚拟现实技术似乎存在问题,但本文所讨论的人类感知的生态学方法为大数据可视化研究人员提供了一个新的研究框架。

关键词:虚拟现实启示大数据多传感器表示人类交互

1介绍

通常, 当数据问题定义不明确且数据配置不容易受到算法分析时, 就会部署可视化分析。在大数据的背景下, 这些特征是常态, 导致人们对被称为可视化数据挖掘 (VDM) 的应用程序的兴趣增加。VDM 的目的是利用人类的视觉认知来增强算法分析, 将数据变量映射到图形属性, 并通过空间位置、形状和颜色进行区分, 从而将人的视觉感知和创造力引入分析 [1, 2]。VDM 采用图形映射技术, 从图形和散点图到树图、显示图标、标记云和聚类图。虽然对虚拟现实 (VR) 在可视化分析方面的潜力有一些活动和猜测, 但由于对合适硬件的访问有限, 应用程序受到阻碍 [3, 4, 5]。最近提供了低成本、高性能的头戴式显示器 (HMD), 并与 Unity 等功能丰富的应用程序创作平台兼容, 这促进了人们对 VR 可视化分析潜力的兴趣增加。这导致了被称为沉浸式分析的新的研究子领域, 探索了沉浸在虚拟现实中扩展现有图形映射技术的潜力 [6]。

我们在本文中所处的位置是通过考虑该技术的可提供性,从而为沉浸式分析的研究议程做出贡献,其目标是开发能够为沉浸式分析的软件原型规范提供信息的关键原则。通过Hartson[7],许多读者将熟悉可提供性这个术语,他阐明了该理论在人机界面(HCI)设计中的实际应用。启示的概念最初是由James J. Gibson在心理学中提出的,他的“视觉感知的生态方法”[8]在当时被描述为对心理学[9]认知理论的革命性转变。正如我们将要讨论的,在不同的领域中,有许多方法定义和使用了可视性,但是为了介绍的目的,Stuckey等人在下面开发的与虚拟环境设计相关的广义定义捕获了我们的意图。“hellip;hellip;我们使用可提供性的概念来指由人工制品、工具或环境所呈现的潜在行动可能性”[10]。

为了解决这个问题,本文分为两部分。第一项研究对VDM和VR实验进行了有针对性的文献综述,这些实验都使用了带有运动和声音的增强视觉映射。然后我们介绍了新兴的沉浸式分析领域,这是一个由研究人员组成的网络,他们正在探索VR在数据表示方面的潜力。通过对沉浸式分析的三篇观点论文的批判性讨论,我们阐明了从以分配为中心的视觉分析向以自我为中心的空间编码的转变。在神经科学研究中,已经发现这两种编码分别与视觉智能和空间智能[11]保持一致。第一部分的目标是从事相关的以前的工作和当前的想法,以便将本文的范在最后的讨论中,我们整理了整篇文章的观点,通过一个图表,总结了VR与在计算机显示器上进行的可视化数据挖掘相比的可用性。然后,从启示理论的角度,提出了开发沉浸式分析应用的关键原则。支撑这些原则的核心思想是,通过指定与人类生态感知能力相关的信息密集的虚拟环境,有机会开发新的方法来探索大数据中的模式、异常和联系。围定位在更广泛的数据分析和混合现实领域。

2可视化数据探索与VR1.0

Oliveira等人将数据挖掘描述为“从观察到的数据中提取模式或模型”,[2]是数据库中称为知识发现的更一般过程的一部分。他们记录了直到2003年,数据挖掘是如何与模型可视化或探索性数据分析(EDA)相关联的。这种区别主要与意图有关:对于模型可视化,目的是传达数据挖掘的结果;EDA的目标是利用人类的视觉感知来洞察模式和异常值检测[12]。术语的扩散继续引用“发现可视化”,这是有区别的针对与专业知识相关的数据,允许用户参与的可视化数据挖掘综述相关背景的目的,我们使用可视化数据挖掘(VDM)作为一个整体的术语来描述活动在可视化的过程中起着重要作用的洞察模式,内异常和连接数据。这种洞察力可以通过与数据可视化的人工交互来实现,也可以通过数据挖掘算法与交互可视化相结合的混合方法来实现。

与我们项目特别相关的是Nagel等人[13,14]的研究,我们认为这是对虚拟现实进行可视化数据挖掘的最早和最全面的评估之一。他们描述了一个名为“3DVDM”的系统的软件架构,在这个系统中,数据库的子集被统计处理,转换成符号图形表示,并在洞穴中可视化。在我们的项目中,他们系统的技术细节没有讨论他们在VR中表示数据的方法那么重要。他们参考了心理学中关于预注意知觉或“弹出”视觉线索的研究,比如在洞穴中更容易识别的空间深度和距离。他们的研究范围包括数据可视化中通常不使用的“感知参数”:pose,指物体的空间方向,注意到垂直或水平方向提供了有效的区分;纹理,根据粒度、方向和模式定义;以及动态对象属性,如运动和光照。内格尔et al。他们批评了与VR潜力相关的典型VDM方法,认为与基于屏幕的2D和3D可视化[15]相比,“有必要重新思考基本原理”。这包括听觉维度,虚拟现实环境包括映射到数据变量的空间声源,使用与分类数据匹配的采样声音,或映射到音高的合成声音。

3下一代虚拟现实和沉浸式分析

随着新一代HMD硬件(Oculus Rift、HTC Vive等)的出现,人们对VR增强VDM的潜力重新产生了兴趣。我们对这个“VR 2.0”活动的回顾包括:在协作世界[16]中使用抽象可视化数据的一系列实验;一篇关于身体互动与感知的论文社交媒体数据[18]可视化案例研究对[19]数据可视化面临的挑战进行了全面的综述和讨论;航天[20]定位纸及其应用以及建立一个研究人员网络,将沉浸式分析作为一个专业的新研究领域[21]。人们对VR提供的更高的空间、图形和听觉保真度重新产生兴趣的前提是,“我们能够有效地可视化的维度越多,我们识别潜在的有趣模式、相关性或异常值的机会就越大”。

其他以前的工作直接与本文相关的研究是一个跨学科的网络,协调研究VR和AR通过“身临其境的分析”一词,由钱德勒等人定义为“hellip;hellip;的开发和评价创新接口和设备,以及相应的交互隐喻和可视化,让这些用于理解数据和决策”[6]。

挑战的范围

我们已经概述了从VDM的历史发展到最近建立的沉浸式分析。目标文献综述的目的是确定我们项目的范围,并确定相关的前期工作。我们的意图不是提供一个全面的概述,因为这已经由Olshannikova等人进行了[19]。随着大数据的挑战和可视化技术的进步,这个领域正在兴起,并且充斥着大量的术语。作为一种以图形方式传达我们研究范围的方法,我们使用已建立的分类法图:Milgram等人的[23]的现实连续体;以及Scaha等人的可视化分析的知识生成模型。然后,我们将讨论前面介绍的Nagel et的主要先例,并开发一个表,将Olshannikova等人、Chandler等人和Sadana等人的立场论文中确定的挑战和研究问题结合起来。

现实统一体的构思强调视觉,而当代虚拟现实环境利用听觉和动感,在一定程度上融入触觉。虽然已经假设所有的人类感官都可以被虚拟地参与[25,26],但我们在现阶段的研究范围仅限于视觉、听觉和运动感觉,因为代表这些感官的技术相对成熟。

在新窗口中打开图像

图1

现实连续体[23],扩展到包括感官(蓝色阴影表示研究范围)

图1所示的沉浸式分析的范围是数据分析更广泛领域的一部分,它结合了计算机处理和人类推理过程,包括探索、验证和知识生成循环。我们将我们的研究定位在Sacha等人的总结图[24]的评价循环中,其中可视化的数据模型的目的是迭代交互,可以导致洞察和假设(图2)。

在新窗口中打开图像

图2

知识生成模型[24],重绘(蓝色底纹表示研究范围)

在我们的文献综述中,Nagel等人的研究为我们的项目范围提供了有用的优先级。虽然这个研究小组似乎不再活跃,但他们基于CAVE技术的研究现在可以使用低成本的HMD硬件重新进行。我们的研究分享了他们的前提,即虚拟现实所支持的多模态空间化,重新思考了VDM的基本原则,特别是格式塔方法对可视化排序。这并不是要低估科学和信息可视化的遗产,也不是要将这些原则转换为2D屏幕上的3D可视化分析。事实上,可视化数据挖掘的关键原则是基于基于二维成像的可视化模式。我们还注意到,大数据现象的一个不太为人所知的方面是,大约80%是空间(地理标记)的。因此,开发空间化的多维“世界”是有潜力的,它允许多种数据类型的叠加。潜在的转变是从在屏幕上观察到的三维数据可视化,到体验n维空间和动态几何、纹理、颜色和声音。

4沉浸式分析的本体

在我们的文献综述中,Olshannikova et al.[19]、Chandler et al.[6]和Sadana et al.最近发表的三篇立场论文综述了关键挑战和研究问题,如表1所示。

表1

Olshannikova等人的[19]、Chandler等人的[6]和Sadana等人的立场论文中关于沉浸式分析的挑战和研究问题综述。

4.1可得性理论的起源及HCI设计的适应性

根据Gibson[8,9]的研究,启示是指一个人在一个环境中可能采取的行为的可感知可能性。与传统的认知方法不同,可得性理论认为,过度关注关于世界和信息处理的陈述性语义知识是不必要的,因为人类直接从行为的可能性来感知环境。这个概念已经从心理学领域发展到其他学科,特别是交互设计。可视性的概念在感知和行为之间建立了直接的联系,后来被Norman[27]从设计的角度应用于提出一个对象的设计应该建议如何使用该对象。换句话说,启示应该为用户提供关于事物功能的强大线索,并为它们的应用和使用提供明确的视觉提示。我们认为Gibson的生态框架与沉浸式分析的虚拟环境设计相关,因为它为定义体验的真实性提供了一种很有前途的功能性方法,这可能为在知识发现过程中使用人类感知提供了另一种方法。

Hartson[38]的《认知、物理、感官和功能的可得性》是一篇颇具影响力的立场论文的题目,它扩展了Gibson、Norman和Gaver的人机界面设计(HCI)的可得性理论。考虑到界面问题对沉浸式环境至关重要,而哈德森的议程是阐明该理论的实际用途,他对可提供性理论的使用将显得很有用。哈德森对HCI的适应发展出四种类型的负担能力——认知能力、身体能力、功能能力和感觉能力。

4.2 Mimetics、启示和虚拟环境

相对于将可得性理论应用于物理空间中的人类行为,虚拟现实中人类感知的研究很少有探索。大多数研究都侧重于存在理论,即产生与虚拟对象的物理交互,例如,一个表面看起来是光滑的[30]还是从一个虚拟的窗台[39]上走下来。除了对存在的大量研究外,我们的综述还揭示了一个利用启示理论来突出与沉浸式分析相关的特定问题的来源,即mimetics。Stuckey等人从启示的角度研究了模拟的虚拟世界,如第二人生。他们的参考资料是Gibson对人工制品、工具或环境所呈现的延迟的可提供性的最初和广泛的理解。

可得性理论是为了回应物质世界,以及我们如何在物质约束下互动,以及回应人工制品的特性而发展起来的。Stuckey等人认为,对于虚拟世界来说,让用户沉浸在模拟环境中是有好处的,模拟环境的组织和结构与真实世界相同,比如城市或自然场景。根据这种方法,这些“自然”环境可以通过构建的特征系统地增强,以补充潜在的模拟结构。

4.3跨模态映射

在本节中,我们将讨论虚拟现实相对于非沉浸式计算机显示器的可用性。我们考虑空间感知、形状识别、颜色区分、运动检测、触觉和听觉定位等直接感知属性,同时也强调感知复杂性、规律性、感知分组和分割等突现关系属性。基于格式塔理论的直接感知属性通常是视觉分析的基础,并且相当容易理解。然而,尽管这些知觉组织原则在二维视觉环境中得到了广泛的考虑,但向沉浸式环境的转变以令人信服的空间化声音增强了视觉,涉及到运动美感,并赋予自我中心的空间编码高于分配中心的视觉推理的特权。简而言之,用户沉浸在数据环境中,而不是在视觉显示器上观察图形模式。这是否需要重新评估格式塔原则(通常用于基于屏幕的数据可视化

剩余内容已隐藏,支付完成后下载完整资料


资料编号:[18724],资料为PDF文档或Word文档,PDF文档可免费转换为Word

原文和译文剩余内容已隐藏,您需要先支付 30元 才能查看原文和译文全部内容!立即支付

以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。