rticle
A
DOI: 10.1111/exsy.12156
Incorporating android conversational agents in m-learning apps
David Griol,1* Joseacute; Manuel Molina1 and Zoraida Callejas2
- Department of Computer Science, Carlos III University of Madrid, Avda. de la Universidad, 30.28911Leganeacute;s, Spain E-mail: david.griol@uc3m.es
- Deparment of Languages and Computer Systems, University of Granada, CITIC-UGR, C/ Pdta. Daniel Saucedo Aranda s/n.18071Granada, Spain
E-mail: zoraida@ugr.es
Abstract: Smart mobile devices have fostered new learning scenarios that demand sophisticated interfaces. Multimodal conversational agents have became a strong alternative to develop human-machine interfaces that provide a more engaging and human-like relationship between students and the system. The main developers of operating systems for such devices have provided application programming interfaces for developers to implement their own applications, including different solutions for developing graphical interfaces, sensor control and voice interaction. Despite the usefulness of such resources, there are no strategies defined for coupling the multimodal interface with the possibilities that these devices offer to enhance mobile educative apps with intelligent communicative capabilities and adaptation to the user needs. In this paper, we present a practical m-learning application that integrates features of Android application programming interfaces on a modular architecture that emphasizes interaction management and context-awareness to foster user-adaptively, robustness and maintainability.
Keywords: computer supported education, conversational agents, mobile learning, m-learning, adaptive learning, multimodal interaction, spoken interaction, mobile devices, android, intelligent assistants, university digital libraries
Introduction
As a generalized phenomenon, technology integration is an increasingly crucial element of teaching and learning (Blevins et al., 2014; Boe et al., 2015; Duta and Martiacute;nez- Rivera, 2015; Lakkala and Ilomaki, 2015). Devices such as smartphones, tablets and wearablersquo;s are becoming widespread, and the fact that increasingly more individuals have always with them a device with numerous displays, sensors and connectivity possibilities, opens new learning scenarios that demand more sophisticated interfaces with multimodal capabilities (Orsquo;Halloran, 2015; Salse et al., 2015; Callahan et al., 2014; Peacute;rez-Mariacute;n and Pascual-Nieto, 2011).
Multimodal conversational agents (Pieraccini, 2012; McTear and Callejas, 2013; Griol et al., 2014) can be defined as computer programmes designed to emulate communication capabilities of a human being including natural language and several communication modalities (such as speech and visual information). These interfaces employ a variety of techniques to engage students in learning. Using natural language in educational software also allows students to spend their cognitive resources on the learning task, rather than in how to use the interface of the application (Beun et al., 2003). Also, as a complement to teacher–student communication in online scenarios and out of school studying hours, dialogue and
anthropomorphic characteristics of pedagogical multimodal systems may help supporting the social dimension of the learning activities, and the social context has been argued to help the cultivation of, and motivation for, knowledge (Baylor and Kim, 2005; Fryer and Carpenter, 2006). One of the advantages of mobile apps at the educative level is the personalization and students involvement in their learning by means of the development of new activities and even new pedagogical models around mobile devices. However, because of this variability and the huge amount of factors that must be taken into account, these systems are difficult to develop and typically are developed ad-hoc, which usually implies a lack of scalability (Rouillard, 2007; Paek and Pieraccini, 2008). Multimodal conversational systems developed to provide these functionalities typically rely on a variety of components, such as speech recognition and synthesis engines, natural language processing components, dialogue management, databases management and graphical user interfaces. Laboratory systems usually include specific modules of the research teams that build them, which make portability difficult. Thus, it is a challenge to package up these components so that they can be easily installed by novice users with limited engineering resources.
To tackle the challenges discussed, it is necessary to perform careful user modeling and effective dialogue management. Statistical approaches are suited for this purpose, as the application of such techniques to user modeling and dialogue management makes it possible to consider a wider space of dialogue strategies in comparison to engineered rules (Young, 2002; Griol et al., 2014). The main reason is that statistical approaches can be trained from real dialogues, modeling the variability in user behaviours. Although the parameterization of the model depends on expert knowledge of the task, the resulting conversational agents have a more robust behaviour, better portability and are easier to adapt to different user profiles or tasks (Seneff et al., 2007; Kartakis, 2010). In addition, the combination of conversational interfaces and mobile devices has lead to a new paradigm in which they can collect information from the user pervasively. This can help to build more complex user and dialogue models to be employed not only to provide the system functionality, but also to boost its performance.
In our previous wo
全文共78780字，剩余内容已隐藏，支付完成后下载完整资料
在Android学习应用程序中加入Android会话代理
David Griol,1* Joseacute; Manuel Molina1 and Zoraida Callejas2
- Department of Computer Science, Carlos III University of Madrid, Avda. de la Universidad, 30.28911Leganeacute;s, Spain E-mail: david.griol@uc3m.es
- Deparment of Languages and Computer Systems, University of Granada, CITIC-UGR, C/ Pdta. Daniel Saucedo Aranda s/n.18071Granada, Spain
E-mail: zoraida@ugr.es
摘要：智能移动设备促进了需要复杂接口的新学习场景。多模式会话代理已经成为开发人机界面的强有力的替代方案，在学生和系统之间提供更具吸引力和类似人的关系。这些设备的操作系统的主要开发者为开发人员提供了应用程序编程接口，以实现他们自己的应用程序，包括用于开发图形界面，传感器控制和语音交互的不同解决方尽管这些资源很有用，但没有任何策略可用于将多模式界面与这些设备提供的可能性相结合，以增强具有智能通信功能和适应用户需求的移动教育应用程序。在本文中，我们提出了一个实用的移动学习应用程序，它在模块化体系结构上集成了Android应用程序编程接口的功能，强调交互管理和上下文感知，以促进用户自适应，健壮性和可维护性。
关键词：计算机支持教育，会话代理，移动学习，移动学习，自适应学习，多模态交互，口语交互，移动设备，机器人，智能助手，大学数字图书馆
1，简介
作为一种普遍现象，技术整合是教学和学习中越来越重要的因素（Blevins等，2014; Boe等，2015; Duta和Martiacute;nez-Rivera，2015; Lakkala和Ilomaki，2015）。智能手机，平板电脑和可穿戴设备等设备正在变得越来越普及，而且越来越多的人总是随身携带具有众多显示器，传感器和连接可能性的设备，开启了新的学习场景，需要更多复杂的多模式功能接口（O#39;Halloran） ，2015; Salse等，2015; Callahan等，2014;Peacute;rez-Mariacute;n和Pascual-Nieto，2011）。
多模式会话代理（Pieraccini，2012; McTear和Callejas，2013; Griol等，2014）可以被定义为旨在模拟人类通信能力的计算机程序，包括自然语言和几种通信方式（如语音和视觉信息） ）。这些界面采用各种技术吸引学生学习。在教育软件中使用自然语言还允许学生将他们的认知资源用于学习任务，而不是如何使用应用程序的界面（Beun et al。，2003）。此外，作为在线情景和校外学习时间，对话和教学中的师生沟通的补充
教学多模式系统的拟人化特征可能有助于支持学习活动的社会维度，并且社会背景被认为有助于知识的培养和动机（Baylor和Kim，2005; Fryer和Carpenter，2006）。移动应用程序在教育层面的优势之一是个性化和学生通过开发新活动甚至围绕移动设备的新教学模式参与学习。然而，由于这种可变性和必须考虑的大量因素，这些系统很难开发并且通常是临时开发的，这通常意味着缺乏可扩展性（Rouillard，2007; Paek和Pieraccini，2008） ）。为提供这些功能而开发的多模式会话系统通常依赖于各种组件，例如语音识别和合成引擎，自然语言处理组件，对话管理，数据库管理和图形用户界面。实验室系统通常包括构建它们的研究团队的特定模块，这使得可移植性变得困难。因此，对这些组件进行打包是一项挑战，以便具有有限工程资源的新手用户可以轻松安装这些组件。
为了应对所讨论的挑战，有必要进行仔细的用户建模和有效的对话管理。统计方法适用于此目的，因为将这些技术应用于用户建模和对话管理使得与工程规则相比可以考虑更广泛的对话策略空间（Young，2002; Griol等，2014）。主要原因是统计方法可以通过真实的对话进行训练，对用户行为的可变性进行建模。虽然模型的参数化取决于对任务的专业知识，但是得到的会话代理具有更健壮的行为，更好的可移植性并且更容易适应不同的用户配置或任务（Seneff等，2007; Kartakis，2010）。此外，会话界面和移动设备的结合导致了一种新的范例，在这种范例中，他们可以普遍地从用户收集信息。这有助于构建更复杂的用户和对话模型，不仅可以提供系统功能，还可以提高其性能。
在我们之前的工作中（Griol和Molina，2014），我们提出了一个通用框架来开发移动设备的会话接口。它提供了模块化和可扩展的架构，可以为基于Android的移动设备有效地开发此类系统。 Android是移动应用程序开发人员中最受欢迎的替代方案，它提供了用于构建界面的库，包括用于图形布局以及语音识别和文本到语音合成的不同资源。目前，超过82％的智能手机和平板电脑使用Android OS（Corporation，I.D.，2015）。此外，还有一个活跃的开发人员社区，他们使用Android开源项目，并且目前可以在官方Play商店中获得超过一百万个应用程序，其中许多是完全免费的。出于这些原因，我们的框架使用了基于Android的设备中集成的不同工具。
所提出的框架将Android应用程序编程接口（API）的功能集成在模块化体系结构中，该体系结构强调交互管理和上下文感知，以构建复杂，健壮且可维护的教育应用程序。我们关于情境感知的提议基于用户建模的统计方法的定义，该方法在对话期间估计用户意图。在我们的贡献中，用户模型提供的信息也可以通过考虑与交互的外部上下文相关的信息来丰富。
分别与用户模型对用户意图的预测和由移动设备支持的传感器提供的信息相关的内部和外部上下文使得可以动态地使系统适应这些有价值的信息源。为此，生成基于神经网络的统计对话模型，其考虑到上下文信息和直到当前时刻的对话历史。下一个回应了
通过该模型选择会话代理。信息的编码和数据结构的定义考虑了用户在整个对话期间提供的数据，使得可以管理来自训练数据和实际领域的对话模型的估计。
在本文中，我们将展示如何将此框架轻松集成到移动学习应用程序中，这些应用程序提供一系列功能，包括提供个性化信息，访问社交网络，解决各种教育练习等。作为概念验证，我们设计了你的大学应用程序，它证明了我们的方法的可行性，具有各种教学目标，限制和要求。在应用程序中，第一组功能侧重于产生促进自主学习和自我评估的实践教育练习。我们关于开发教学对话界面的建议改进了交互以解决提议的练习，考虑到学生使用系统的偏好和他们以前的用途，个性化不同学习活动的选择，并允许通过自动评估提供即时反馈。学习活动。
第二组功能侧重于提供用户适应的信息和服务。在不同的教育应用领域中，选择这些功能来开发先进的数字图书馆（Griol等，2015），它扩展了图书馆2.0的概念。为此，我们依靠最近研究（Chen和Albee，2012; Moreno等，2014）编制的大学数字图书馆（Vassilakaki和Garoufallou，2013）的发展建议，提出使用新的开源以更低的成本构建复杂系统的技术，提高所有图书馆的书目记录的效率和共享，最大限度地利用这些图书馆，提供新型多媒体内容和交互的可能性，并将图书馆工作转移到更高价值的活动中。
本文的其余部分如下。第2节描述了我们的提案和相关工作的动机。第3节描述了用于开发自适应多模式会话代理的框架，以及它如何适应移动学习场景。第4节描述了基于框架的Your-University App的开发。第5节显示了使用各种措施评估该系统的结果。最后，第6节介绍了一些结论和未来的研究路线。
2.最先进的技术
最近的几项研究描述了移动设备将传统教室转变为更具互动性和吸引力的教室的巨大潜力（Ferdousi和Bari，2015; Mouza和Barrett-Greenly，2015;Goacute;mez-Domingo和Balia-Garganteacute;，2016; Zydney和Warner ，2016）。移动设备提供了许多对于教育应用程序设计特别重要的功能：基于技术的脚手架，位置感知功能，视觉/音频表示，差异化角色，数字知识构建工具，数字知识共享机制，可移植性，交互性，情境敏感性，连通性，个性和社交媒体。
移动学习（移动学习）应用的积极影响与新的学习方式有关（Furioacute;等，2015），让学生参与学习过程（Lu et al。，2014），加强学生的学习（丘吉尔和Wang，2014），增加动力（Adegbija和Bola，2015），产生自主和个性化学习（Gerger，2014），鼓励学生控制自己的学习（Boticki等，2015），帮助学习者管理自己 - 导向学习（Lu et al。，2014），鼓励学生成为同学的支持教练（Gerger，2014），促进信息获取（Yang et al。，2015）和促进协作学习（Murphy，2011）。
移动学习的研究在不同类型的应用中迅速增加，例如移动学习游戏（Avouris和Yiannoutsou，2012），移动计算机支持的协作学习（Hsu and Ching，2013）或移动应用（Jeng等，2010） ）。考虑到所描述的研究（Goacute;mez-Domingo和Badia-Garganteacute;，2016），可以识别出三种主要类型的教育应用：学习技能应用，信息管理应用和内容学习应用。学习技能应用程序使学生能够创建自己的知识。信息管理应用程序能够在特定的学习环境和环境中工作。最后，内容学习应用程序被认为是比较学生的不同活动，使他们能够排练，加强，练习和评估课程内容。适应教学环境的教学材料的可用性和设计要求通常被视为通过移动设备学习时取得成功的关键因素（Klenner，2015）。 Gimeacute;nez等。描述了通过移动设备调整教育数字内容的不同方法（Gimeacute;nez-Loacute;pez等，2009）。 Magal-Royo等。通过关于使用适用于移动设备的视听内容的教育新范例的提议扩展了这种描述（Magal-Royo等，2010）。根据他们的提议，电子学习和移动学习环境之间的主要区别与技术验证，创建，开发和分析学生成绩有关，因为最重要的自主学习过程的组成部分。
Yue和Zin提出了一种适用于听障残疾儿童的移动应用游戏开发的设计模型（Yue and Zin，2013）。所提出的模型集成了语音识别功能，可以使用一些策略进行调整，以提高学习，培养的兴趣
金等人。最近调查了移动应用程序开发，以此来吸引学生创建历史叙事（King et al。，2014）。 MIT AppInventor建构主义学习工具1旨在帮助没有编程经验的学生通过拖放式可视化编程语言设计应用程序。该研究的主要结果表明，这种应用程序可以提高学生思考，分析，批判，培养他们的想法，寻找机会重新定义和与他人分享的能力。
Nordin等人。提出了终身学习的移动学习框架（Nordin et al。，2010）。所描述的一般要求包括高度便携，不引人注目，可用，适应性强，持久，有用，用户友好并支持个人学习。这些方面也在（Ferdousi和Bari，2015）中描述为将m-learning引入本科课程可以实现的主要成果。这些方面可以通过会话式多模式系统来解决，这些系统在学生和移动学习应用之间建立更具吸引力和类似人的关系。目前将多模式会话代理用于教育目的的可能性包括辅导应用（Pon-Barry等，2006），问答（Wang等，2007），语言学习者的对话练习（Fryer和Carpenter，2006），教学法代理人和学习伙伴（Cavazza等，2010），讲故事的教育游戏和应用（Padilla-Zea等，2014），以及促进反思和元认知技能的对话（Kerly等，2008a）。这些代理也可以用作沉浸式学习环境中的角色扮演者（Griol
等人，2012）。
作为个人教练的会话系统整合了有关应用领域的信息。这种系统的特征在于可以表示并持续更新模拟认知和社交用户状态的信息。主要目标是在学习过程中指导和监控用户，不仅提供开发的应用程序，还提供其他学生的建议和其他交互功能。为了实现这一目标，这些应用程序通常集成了实际和交互式界面。
例如，Grigoriadou等人。 （2003）描述了一种系统，其中学习者在陈述他们关于问题的重要性及其对这种观点的正确性的立场之前阅读关于历史事件的文本。答案被分类为科学，科学或非科学，并且对话生成器为学习者生成“适当的反思诊断和学习对话”。类似地，在CALM系统（学习者建模的会话代理）（Kerly等人，2008b）中，用户回答关于域的问题并陈述他们对正确回答的能力的信心。系统根据学生的答案推断学生的知识水平，并鼓励学习者参与对话以反映他们的
动机，自我效能和影响残疾学生学习的态度。
自我评估以及他们的信念与系统关于他们的知识水平的任何差异。
自然语言辅导的另一个例子是几何解释辅导员（Aleven et al。，2004），学生用自己的语言解释他们对几何问题的答案。此外，奥斯卡会话智能辅导系统（Latham et al。，2012）旨在通过在辅导期间隐式地建模学习风格来模仿人类辅导员，个性化教程以提高信心并提高学习体验的有效性。该系统使用自然语言向用户提供有关特定主题的通信，并动态预测和适应学生的学习风格。
其他会
全文共33197字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[503]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
