Non-representational Interaction Design
Marco Gillies1 and Andrea Kleinsmith2
- Embodied Audio-Visual Interaction, Department of Computing Goldsmiths, University of London, London, UK SE14 6NW
m.gillies@gold.ac.uk http://www.doc.gold.ac.uk/~mas02mg/
2 Virtual Experiences Research Group
Department of Computer and Information Science and Engineering
University of Florida
Abstract. This paper presents how non-representational views of cog-nition can inform interaction design as it moves from traditional graph-ical user interfaces to more bodily forms of interaction such as gesture or movement tracking. We argue that the true value of these “bod-ily” interfaces is that they can tap our prior skills for interacting in the world. However, these skills are highly non-representational and so traditional representational approaches to interaction design will fail to capture them e ectively. We propose interactive machine learning as an alternative approach to interaction design that is able to capture non-representational sensori-motor couplings by allowing people to design by performing actions rather than by representing them. We present an ex-ample of this approach applied to designing interactions with video game characters.
Keywords: interaction design, bodily interaction, interactive machine learning.
Interaction Design is a discipline saturated with representations. The primary interaction mechanism with modern computers is a graphical interface which is composed largely of visual representations of the computer system. These can include a wide variety of displays representing anything from documents to sci-entific data sets to social interactions. The interface also includes many di erent representations of possible actions that people can take from simple buttons to directly manipulable visualisations. The implementations of the interfaces also require complex logical representations, as any feature of the world or computer system has to be represented in program code, normally with explicit represen-tations of items in the world and explicit mapping of these representations to the visual interface.
These representations are in no way incompatible with a non-representational view of cognition. They are, after all, external representations, part of our dis-tributed cognitive apparatus that we can manipulate to achieve our aims. They largely exist in domains where we have very well established forms of external representation that most educated people are well versed in manipulating as
|
J.M. Bishop and A.O. Martin (eds.), Contemporary Sensorimotor Theory, |
201 |
Studies in Applied Philosophy, Epistemology and Rational Ethics 15,
DOI: 10.1007/978-3-319-05107-9_14, c Springer International Publishing Switzerland 2014
202 M. Gillies and A. Kleinsmith
part of our working process: written language, diagrams and photographs. In fact, the graphical user interface is now so ubiquitous that it is a key part of the distributed cognitive apparatus of most adults in the developed world.
So we could be happy that a representational approach to interaction de-sign and a non-representational approach to cognition are compatible if it were not for certain new developments in interaction design. New developments in human computer interaction are leaving the confines of the computer monitor and entering the 3 dimensional world of our full body movements. This paper will argue that this move will force interaction design to take account of non-representational cognition.
1 Bodily Interaction
The use of body movement to interact with computers has a long history, going back to pioneering work from the 1970s by researchers such as Myron Krueger[1]. However, only in recent years has it become feasible to create low cost, mass market bodily interfaces, due to the advent of commercial movement tracking devices such as the Microsoft KinectTMor the accelerometers built into modern smart phones. These new devices enable us to make use of large scale movements of many di erent parts of the body, in contrast to the small scale movements required by a keyboard and mouse. Much of the research in this areas has con-cerned gesture recognition and itrsquo;s use in user interfaces, for example the work of Bevilacqua et al.[2] or Fails and Olsen[3]. However, there is also research that makes use of holistic movement in interaction ranging from dance controlled music (Antle et al. [4]) and expressive digital musical instruments (Fiebrink [5]) to interactive art (Snibbe [6]) and body monitoring for healthcare (Fergus [7]). With devices such as the Microsoft KinectTMbody movement interfaces are now being used by ordinary consumers, with the first area of growth being in video games, given that most devices are marketed as video game controllers. However, their use is spreading, even if they remain attached to video game consoles, body movement interfaces are being used for other activities, for example the WiiFit software uses a games console as a platform for exercise and health.
2 What Is Natural about “Natural User Interfaces”?
What is the value of this for interaction? The type of interaction I have been describing has been marketed by Microsoft and others as “Natural User Inter-faces”: interfaces that are claimed to be so natural that they do not need to be learned. The logic behind this phrase is that, because body movements come naturally to us, a body movement interface will be natural. This idea has been criticised by many people, most notably by Norman in his article “Natural User Interfaces are not natural”[8] in which he
全文共23938字，剩余内容已隐藏，支付完成后下载完整资料
非代表性交互设计
Marco Gillies1和Andrea Kleinsmith2
- 具体体现 视听，相互作用, 计算机科学系, 伦敦大学, 伦敦，英国SE14 6NW
m.gillies@gold.ac.uk http://www.doc.gold.ac.uk/~mas02mg/
- 虚拟体验研究小组 佛罗里达大学计算机与信息科学与工程系
抽象。本文介绍了如何从非传统的图形用户界面转变为交互的更多身体形式，如手势或运动跟踪，这些非代表性的交互设计可以为交互设计提供信息。我们认为这些“身体”界面的真正价值在于他们可以利用我们先前的技能在世界上进行互动。然而，这些技能非常不具代表性，因此传统的交互设计方法将无法有效地捕捉到它们。我们建议交互式机器学习作为交互设计的替代方法，通过允许人们通过执行动作而非代表动作来设计，可以捕捉非代表性的传感器 - 马达耦合。我们提供了一个适用于设计与视频游戏角色交互的方法的例子。
关键词：交互设计，身体互动，交互式机器学习
交互设计是一个充满代表性的学科。与现代计算机的主要交互机制是一个图形界面，主要由计算机系统的视觉表示组成。这些可以包括从文档到科学数据集到社交互动的各种各样的显示。界面还包括许多人们可以从简单的按钮直接操作的可视化操作的不同表示。接口的实现也需要复杂的逻辑表示，因为世界或计算机系统的任何特征都必须用程序代码来表示，通常显式表示世界中的项目，并将这些表示显式映射到可视化界面。
这些陈述绝不符合认知的非代表性观点。毕竟，它们是外部表征，是我们可以操纵以实现我们目标的分布式认知工具的一部分。它们主要存在于我们拥有非常完善的外部表征形式的领域，大部分受过教育的人都精通操纵我们工作流程的一部分：书面语言，图表和照片。事实上，图形用户界面如今无处不在，它是发达国家大多数成人分布式认知装置的关键部分。
因此，如果交互设计的某些新发展不是针对交互设计的某些新发展，那么我们可能会感到高兴的是，交互设计的代表性方法和认知的非代表性方法是兼容的人机交互的新发展正在离开计算机显示器的范围，进入我们全身运动的三维世界。本文将争辩说，这一举措将迫使交互设计考虑非代表性认知。
|
J.M. Bishop和A.O.马丁（编辑），当代感觉运动理论， |
1 |
应用哲学，认识论和理性伦理研究15，
DOI：10.1007 / 978-3-319-05107-9_14，c Springer International Publishing Switzerland 2014
2.M. Gillies和A. Kleinsmith
1身体互动
使用身体运动与电脑进行交互的历史悠久，可追溯到20世纪70年代由Myron Krueger等研究人员开创的工作。然而，由于商业运动跟踪设备（例如Microsoft Kinect TM）或内置于现代智能手机中的加速度计的出现，仅在近年才有可能创建低成本，大众市场的人体界面。与键盘和鼠标所需的小规模移动相比，这些新设备使我们能够利用身体各种不同部位的大规模移动。这些领域的大部分研究都涉及手势识别，并在用户界面中使用，例如Bevilacqua等人的工作[2]或失败和奥尔森[3]。然而，也有一些研究利用舞蹈控制的音乐（Antle et al。[4]）和富有表现力的数字乐器（Fiebrink [5]）到互动艺术（Snibbe [6]）和身体监测医疗保健（Fergus [7]）。由于诸如微软KinectTMbody移动界面的设备现在正在被普通消费者使用，因为大多数设备都是作为视频游戏控制器销售的，所以第一个增长领域是视频游戏。然而，即使它们仍然附着在视频游戏机上，它们的使用也在扩散，身体移动界面也被用于其他活动，例如WiiFit软件使用游戏机作为锻炼和健康的平台。
2什么是自然的“自然用户界面”？
这对互动有什么价值？我已经描述过的交互类型已经被微软和其他人称为“自然用户接口”（Natural User Inter-faces）：声称非常自然以至于不需要学习的接口。这句话背后的逻辑是，由于身体动作对我们来说是自然而然的，身体动作界面将是自然的。这个想法受到了许多人的批评，其中最着名的是诺曼在他的文章“自然用户界面不自然”[8]中，他认为人体界面可以解决许多与传统界面相关的问题（比如难题的记忆手势）以及新问题（手势的短暂性和缺乏视觉反馈）。那么直觉认为身体接触面是自然的吗？如果是这样，那么这个价值是什么？为什么在现有接口中经常没有看到它？
我认为在身体接口和传统接口的性质上存在根本差异。 Jacob等人[9]提出包括身体互动在内的各种新形式的互动是成功的，因为它们利用了传统GUI中不同的一系列先前存在的技能。虽然图形用户界面利用我们在操纵外部视觉和符号表征方面的技能，但人体界面利用与身体和环境意识有关的杠杆技能。使我们能够在世界上移动和行动的技能。同样，Dourish [10]提出我们根据他所定义的实例来分析互动：“我们与世界接触的特性，使我们能够使它变得有意义”。这导致他将“体验互动”定义为“通过与人工制品互动互动创造，操纵和分享意义”。尽管他将这个定义应用于传统和新的交互形式，但这种互动交互的本质在身体接口中是非常不同的。遵循雅各布我们可以说，在一个成功的身体接口中，这种互动交互可以与我们的日常生活中我们的身体和环境具有相同的参与形式，因此我们可以重复使用我们现有的技能，使我们能够与世界。
Non-representational Interaction Design 3
如果我们对感知和行动采取非代表性的感觉运动观点，这些技能与涉及操纵表征的传统界面的技能非常不同。这种观点使我们能够保持身体接口与图形用户界面不同的直觉，并解释“自然用户界面”这个词语中的自然含义（所谓的自然技能是非代表性的感觉运动技能），同时也让我们对身体接口的要求至关重要。从这个角度来看，自然界的用户界面只有考虑到我们身体运动技能的非代表性和感觉反射性质才是自然的。身体运动界面只是象征性的代表性界面的扩展，它们只是GUI的一个更加物理累赘的版本。
一个很好的例子就是手势互动。这种接口形式的一个常见实现是有许多可以映射到接口中的动作的预定义手势。这是诺曼[8]批评的接口类型之一。当做得不好的时候，象征性的手势和象征性的动作之间有一个相当随意的映射。用户的身体动作被用作表示操纵任务的一部分。这本身没有任何问题，但它并没有辜负自然用户界面的大肆宣传，与传统的GUI并无太大差别。事实上，正如诺曼指出的那样，情况可能会更糟，因为用户没有视觉提示来提醒他们应该执行哪种手势。这使得它更接近文本命令行界面，用户必须记住隐含的命令而没有可视化的提示。手势用户界面不一定非要这样。
如果我们将手势界面视为触觉感知运动技能，而不是表现操控技能，则可以避免这些问题。例如，Bevilacqua等人的工作[2]使用手势来控制音乐。在这项工作中，手势被连续跟踪，而不是在手势结束时被简单识别。这允许用户在执行手势时连续控制声音的产生，而不是在最后触发手势。这种看似简单的差异将任务从表示操纵（产生符号手势并预期离散响应）转变为紧密的感觉运动循环，其中听觉反馈会影响运动，从而控制音频。这种持续反馈形式的更为熟悉的例子是为iPhoneTM开发的触摸屏“缩放”缩放。在这种手势中，图像动态地和连续地调整大小以响应用户的手指一起移动和分开。这种持续的反馈和交互使得感知运动循环能够利用我们的真实世界运动技能。
- M. Gillies and A. Kleinsmith
Bevilacqua等人[2]系统的第二个特点是，用户可以轻松定义自己的手势，并通过在聆听音乐时控制手势来演示这些手势来做到这一点。我稍后会更详细地回到这个功能，但现在我们可以注意到，这意味着手势不限于一组预定义的符号手势。用户可以定义他们感觉自然的动作来控制特定类型的音乐。在这种情况下“自然”意味着什么？同样，这意味着用户已经在音乐和运动之间学习了感觉运动映射（例如响应于拍子敲击手的某种方式）。
3我们如何设计非代表性的相互作用？
这就引出了我们如何设计身体互动的问题。传统用户界面的交互设计在很大程度上是设计代表的任务，例如，小部件的布局或信息的显示。如果我们以成功的身体互动来要求非表征性的感觉运动技能，那么设计的任务一定是非常不合理
的。它不是设计表示，而是设计感觉运动联轴器。事实上，设计感觉运动联轴器并不局限于身体的相互作用。这两者并不像我在这里展示的那样明显。从这个角度来看，直接操纵GUIs涉及到感觉运动耦合的元素，而大多数身体界面可能涉及到一些外部表征。
关键的挑战是，如果我们设计的感觉运动联结器没有精神或外部表现，那么我们必须设计它们而不需要表示。如果我们不使用心理表征去完成这些技能，而且我们没有一套完善的外部表达系统来处理它们，我们就不可能明确地表示我们的运动技能的细节。如果我们使用传统的，具有代表性的交互设计方法，我们会要求设计师提供他们的动作的低级细节的明确表示，他们没有意识到这些细节。这可能是不可能完成的任务。这是现有身体互动技术问题的一种解释。设计师必须用数字术语代码或其他形式工具明确表示他们的动作，但他们没有这种层次的复杂感觉运动技能。相反，他们回归代表运动的简单特征（响应位置或速度）或回落到传统的用户界面隐喻（3D空间中的吨）。这两种方法都不是为了有效使用感觉运动技能而设计的，而是由代码中容易表示的东西驱动的。结果就是我们在上面讨论过的术语中不那么“自然”的交互，而这些交互很难记住和执行。
Non-representational Interaction Design 5
我们需要一种不同的方法。如果我们要成功创建复杂的移动接口，我们必须开发支持基于现有的非代表性感觉运动技能进行创建的软件工具。这意味着我们不能要求设计师形成他们动作的明确表示。相反，我们应该让设计师通过直接应用他们的身体技能来设计交互。应该通过移动来定义移动。
通过移动进行设计可以通过软件工具实现，该工具允许设计人员通过给出这些交互的示例来指定交互。可以使用机器学习技术来实现这种类型的工具以从这些示例推断识别模型。然而，传统的批量机器学习方法并不适合设计过程，因为设计人员必须首先收集大量数据或数据，然后必须依靠算法根据此数据生成所需的结果。这使得很难支持成功交互设计关键的迭代过程和细化。交互式机器学习（Fails and Olsen [3]）是一种机器学习方法，试图通过将用户交互作为学习过程的中心来克服这些问题。用户以交互方式提供培训数据，并逐步完善他们正在创建的分类器。这种方法已被用于从图像分类（Talbot等人[11]）到垃圾邮件过滤器的最终用户培训（Kulesza等人[12]）的各种领域。这种方法可以允许设计者通过交互式地提供运动的例子来设计交互，这些例子将被用于训练和改进控制交互的机器学习算法。这将设计一个进行运动检查的过程。设计师可以通过执行出自其感觉运动技能的动作进行设计，而无需形成他们正在执行的动作的明确，详细的表示。 Fiebrink等人[13]已经将交互式机器学习应用于数字音乐手势的手势控制。他们的参与者指出，交互式机器学习提供了一种根本不同的方式来设计侧重于直接体现运动的方式，而不是根据具体特征分析手势。
图1.正在动作捕捉的演员（左侧）和与虚拟角色互动的参与者（右侧）
- M. Gillies and A. Kleinsmith
4视频游戏角色的非表征交互设计
本节提供了一个原型，试图使用交互式机器学习来启用我们提出的非代表性交互设计类型。这是一个设计与视频游戏角色身体互动的系统。两个人可以扮演电子游戏角色和玩家的角色，通过动作本身来表现角色应该如何回应。这允许他们通过移动来自然地设计动作，而不必考虑明确的动作表示。两个参与者的动作都被记录并同步。然后将这些数据用作机器学习算法的输入，该算法学习用于自动控制视频游戏角色的模型，以便以与设计人员相同的方式进行响应。
捕捉设置使得两个人可以即兴创作互动，以设计虚拟代理。一名参与者扮演代理人的角色，另一名参与者扮演角色的角色。两位参与者在不同的空间，他们的动作互相直播。表演者扮演代理人的动作是使用OptitrackTM光学动作捕捉系统捕捉到动作，并将其直接映射到代理人身上，由其他参与者实时看到。这第二名参与者的动作是使用微软KinectTM消费者运动追踪装置记录的。他或她的动作对其他参与者可见为实况视频流。这两组数据都被同步并记录为机器学习系统的输入。为了与AI代理人互动，参与者的设置是相同的;他们通过Kinect与虚拟代理进行交互，但在这种情况下，代理的动作由学习模型选择，而不是由参与者在动作捕捉中实时控制。
一旦记录了数据，参与者使用台式计算机从记录的数据中选择剪辑，将其用作输入以训练机器学习分类器。结果剪辑包含两种类型的数据。首先，它们包含一系列动作捕捉数据，可用于响应玩家的动作为虚拟代理
全文共7794字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[12635]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
