英语原文共 29 页，剩余内容已隐藏，支付完成后下载完整资料
评估学生自动反馈系统的设计
摘要
我们引入了一种基于选择的评估策略，选择寻求建设性的反馈和修改他们的工作。我们提出反馈意见我们设计了一个游戏系统来评估学生是选择正面还是负面反馈并选择在海报设计任务的背景下修改他们的海报他们从反馈中学习平面设计原则。然后我们描述一个经验这项研究抽取了一所美国中学的106名学生进行评估反馈系统。我们做出如下贡献：（1）描述设计和嵌入在评估游戏中的新颖反馈系统的实现，Posterlet（2）概述了一种自动分析图形设计原理的方法在新颖的海报设计领域提供情境反馈，（3）展示选择寻求负面反馈，并修改与游戏中的表现相关的内容，大多数情况下重要的是，（4）表明选择与校内成绩相关：选择修改与校内绩效测量（科学和数学成绩），而寻求负面反馈的选择与学生之前的相关数学中的标准化分数。
关键词：反馈、性能、学习、评估、游戏
介绍
形成性评估的主要目的是促进学习而不仅仅是促进学习可计量性，排名或能力^（Black and Wiliam 2004，2009）。虽然文献显示了形成性时学生成绩提高的有力证据采用评估（Black和Wiliam 1998），但这些评估不是始终在课堂上实施。大规模开放在线的普遍性课程（MOOC）要求可扩展的形成性评估，可以提供即时，动态的，响应式的反馈，为用户和学习领域定制和上下文。大多数支持反馈的学习环境都是为了设计结构化的领域，如数学，并为用户提供很少的代理关于何时以及如何接收反馈。反馈提供与个人表现或理解相关的信息
（Hattie和Timperley 2007），因此它是一个重要的，虽然经常被忽视的问题，学习过程的组成部分。考虑到大多数创新都是在英国引进的学校（如计算机辅助教学，同伴辅导）通过提高成绩约为标准偏差的0.4倍（Hattie 1999）。相反，十二个荟萃分析侧重于教室的反馈，其中包括196项研究和6,972项效果量（Hattie 1999; Hattie和Timperley 2007）发现反馈的平均效应几乎是双倍（0.79 SD），超过了学生先前认知能力的影响（0.71）和作业（0.41）。伴随而来的是，Kluger和DeNisi（1996; 1998）发现在他们的荟萃分析包括131项反馈不利于研究的研究在三分之一的研究中学习表现。反馈文献区分在正面与负面（即关键）反馈的影响之间。几时伴随着纠正信息，负面反馈可能会减少差异理解与回应之间，在这种情况下，它可以帮助人们识别技能他们应该采纳或改进（Dweck和Leggett 1988; Nussbaum和Dweck 2008;Trope和Neter 1994）。它也倾向于更持续的表现比积极的反馈，大概是因为积极的反馈表明，有一个做得不够好，而负面反馈意味着需要改变（Hattie andTimperley 2007）。但是，重要的反馈会带来负面影响的风险，并且可以触发自我威胁（Kluger和DeNisi 1998）。反馈文献是从行为主义传统发起的（Thorndike1927年）。因此，大多数研究集中于监督反馈，在哪里取决于教师，实验者或计算机来决定何时以及如何提供反馈。但是，在很多情况下，人们需要积极寻求反馈。在组织研究中，反馈寻求研究主要集中在工作绩效结果上（Ashford和Cummings 1983; Anseel等人，2015）。对于这些影响知之甚少学生的反馈选择对他们的学习或影响变量的影响学生的反馈选择，但研究人员承认这些机制的重要性潜在的学习反馈。我们认为反馈选择是重要的构建自我调节学习。反馈信息丰富且可操作学习者是发展掌握的关键因素（爱立信，Krampe和Tesch-Rouml;mer1993; Schwartz，Tsang和Blair 2016），尤其是当它立即提供时（Kulik和Kulik 1987）。齐默尔曼（1990）包括对自我导向的回应反馈学生自主学习策略的三个关键特征。对于例如，修订是一项重要的活动，通常由关键反馈触发在这份手稿中，我们专注于学生的选择，寻求负面的反馈和修改，并且我们描述Posterlet，一种我们开发的基于游戏的评估工具衡量这些选择。 Posterlet的设计遵循了基于选择的原则评估（Schwartz and Arena 2013），重点评估学生的学习过程，而不仅仅是他们的学习成果。基本原则包括：
（1）为未来学习做准备（PFL; Bransford和Schwartz 1999）
（2）自由选择 ：无论选择何种方式，有多种途径的学生都可以完成评估，
（3）典型表现 - 为学生提供他们所能达到的条件
执行他们的自然而不是最大或测试的行为（Klehe和Anderson2007）。基于游戏的评估，如Posterlet，收集过程数据（例如学生在新环境中学习的选择）而不是依靠自我报告措施和纸笔测试。我们基于选择的评估方法是类似于收集和分析过程的其他基于计算机的学习技术
数据。例如，特定于领域的智能辅导系统（智能交通系统;科贝特和贝克汉姆）Anderson 2001; Koedinger，Anderson，Hadley和Mark 1997）收集测量数据主要是为了确定帮助学生学习更多领域特定认知技能的方法从系统，这是一个重要的目标。但是，我们的目标是检查是否各种形式的自主学习（SRL）教学让学生学习英语新的背景。例如，在另一项研究中，我们教授设计思维技巧（例如，寻求来自同行和教师的负面反馈）给中学生5周作为他们常规课堂教学的一部分（Conlin，Chin，Blair，Cutumisu，和Schwartz 2015）。我们通过将教学整合到他们现有的课程中几个学科领域（数学，社会研究和科学）。在5周结束时以课堂为基础的教学，我们聘请Posterlet作为后期考试来评估学生学会了寻求负面反馈。这项研究提出了一种方法在学习过程中检查关键学生选择的评估，而不仅仅是评估学习成果。在辅导系统内积极影响学生学习成果的选择，在辅导系统之外，并转移到其他环境。而且，反馈系统是Posterlet评估游戏的核心所在基于约束的辅导体系结构（Mitrovic和Ohlsson 2016）。具体来说，领域模型能够评估给定的海报并向其提供反馈学生，而没有提示如何提高表现。虽然我们的方法类似于学习者控制领域一般元认知辅导系统，有几个主要的区别。首先，Posterlet
游戏并非旨在成为辅导系统。具体来说，游戏并不教导学习策略，如选择负面反馈或选择修改。因此，我们不要期望学生更多地选择负面反馈或选择更多的修改游戏结束，我们在研究中没有发现这种效应。其次，目的游戏的目的不是教授领域知识技能（例如，平面设计原理）海报设计）。玩家不通过有关平面设计原则的教程，但是他们在每张海报上最多有两次机会（即第二次反馈选择相同的化合价总是无意义的）来找出关于它们对a的使用的信息平面设计规则（即反馈）而不是如何使用该规则（即帮助）。相反，Posterlet被设计为一种评估学生选择的频率的工具寻求负面反馈和修改。最后，Posterlet的目标是一个新颖的开放式域名，海报设计。我们之前已经介绍过Posterlet评估系统，它使我们能够衡量反馈和修订选择对开放式学习的影响环境。在本文中，我们特别关注底层的设计反馈系统，可以自动评估使用21图形设计的海报原则，并随后产生积极和消极的反馈。玩家有机会选择虚拟的正面或负面反馈人物，以及在阅读反馈后选择修改他们当前的海报为那张海报。 （a）这两种类型的反馈都被设计为是重要的（b）这里的负面反馈意味着建设性的批评不是惩罚。 Posterlet之前的研究表明寻求负面反馈和修改是在平面设计领域学习的好选择。我们发现在游戏中寻求负面反馈和修改的证据是与增强的性能相关联（以最终海报质量衡量）作为改进的学习（通过平面设计原则的后续测试来衡量;Cutumisu，Blair，Chin和Schwartz 2015）。在Posterlet游戏中，玩家是该组织委员会的成员首先，玩家选择一个主题（例如，篮球折腾，气泡科学估计车站，馅饼烘烤，并把它摧毁^电力）。接下来，玩家设计海报，从预先填充的文本和图形调色板添加文本短语和图形，分别在画布上。玩家可以调整文字和背景颜色，文本框和图形的大小，字体的大小，样式和对齐方式，或者项目的位置。文本调色板提供了一套对所有人都通用的短语主题（例如事件的时间和地点）或特定于每个展位主题的内容（例如，展位描述）。同样，图形调色板提供了一组五个每个展位主题的图形（例如，篮球投掷主题的箍）。当。。。的时候玩家通过在步骤2,12中按下BTest ^按钮表示海报已准备就绪动物角色聚集在一起观看海报并形成对海报的看法。然后，玩家选择其中三个角色并要求他们每个角色提供
反馈。每个字符显示两个框：一个对应于正面反馈玩家只能点击每个角色的这两个框中的一个，选择其中一个来自每个角色的正面或负面反馈。例如，选择正面时反馈，玩家可能会收到以下消息：BIt文字很大是很好的足以阅读。^当用户选择负反馈时的等效消息是以下内容：BIt很难阅读。文字太小^然后，玩家读取反馈，如如步骤5所示。重要的是要注意正面和负面的反馈信息故意设计为匹配长度和信息价值，以避免混淆消息内容与消息的价格。最后，玩家选择修改或提交海报。每个海报只有一轮反馈和修改;玩家不是在修改海报后提供反馈。在提交海报后，玩家会看到海报得分（即，该摊位出售的门票数量），如步骤7所示分数详见BMethod ^部分。这场比赛有三轮，总共有九轮反馈选择和三个修订选择。反馈系统的图形分析：设计和实现我们将反馈系统设计为可视化图形分析器，评估开放性设计领域并为学习者创建定制的反馈。
系统是双重的：
1）基于海报的内容生成反馈消息，根据玩家选择的反馈效价（正面或负面）以及玩家的反馈效价
2）收集有关玩家选择和任务的数据表现反馈系统评估每张海报并生成一个池合格的反馈信息。这些消息按照优先级方案进行排序根据他们对正面或负面反馈的选择分发给玩家。
反馈生成
当玩家提交海报时，反馈系统会在21日评估该海报感兴趣的维度（见表1）。这些功能代表简化的图形规则设计从咨询专业图形艺术家收集。我们将这些组成规则分为三类：
- 相关信息：（例如日期，时间和地点）提供的事件的重要细节，
- 可读性：海报文本和图形的可见性（例如文本和图形之间的颜色对比）背景，字体和图形大小）
- 空间使用：使用海报上的空间画布（例如，文字与海报边缘之间的距离）。
第四类，称为无信息反馈
它不提供任何与任务有关的信息给玩家的信息（例如，积极的：商业智能如展会^或否定的：商业智能并不真正喜欢展会^）。系统首先检查海报实体（即文本框）的正确性和图形）按其放置在画布上的顺序排列。对于每个实体，系统检查适用于该实体的所有规则并确定每个规则被正确地使用，错误地使用或根本不使用。例如，分析一个关于的规则文本和背景之间的颜色对比，我们实现了一种算法计算对比度和相对亮度（亮度算法2016）。相同的规则可以在海报上正确和不正确地应用于不同的实体。对于例如，玩家可以在海报上添加两个不同文字颜色的文本框文本框创建低对比度，另一个创建与海报的高对比度背景颜色。这将分别触发不正确的使用和正确的使用颜色对比规则。有些规则会孤立地检查某个功能（例如，存在的位置）并返回一个二进制结果。其他人考虑海报上的其他实体（例如，文本和图形之间的重叠）。例如，两个文本框放在旁边侧面那个触摸，但不重叠，触发一个不正确的使用Btext间隔其他文字^规则，只有当左边的文本框的文字与右边的文字对齐右边的文本框与左边对齐。最后，诸如与Bgraphics有关的规则海报的主题^依赖展位的主题和预先填充的相关图形列表对于由系统维护的每个主题，以便在篮球上使用足球
海报会触发此规则的不正确使用。作为评估图形的结果海报的设计原则，系统会建立一系列规则对象。每个规则对象包含一个特征（例如，文本大小），该特征的正确使用次数，该功能的不正确使用次数，该功能在反馈集内的顺序向玩家呈现正面反馈消息和负面反馈消息。
反馈优先级
我们优先考虑反馈功能以确保a）设计的均衡覆盖特征，b）不重复的反馈，以及c）信息性和非信息性的交替反馈内的反馈以避免反馈的认知超载
年轻参与者的信息表。
信息可读性空间使用位置在范围内的图形使用的边界框空间内呈现文本日期给定的文字大小足够大，上半部分使用时间给定的字体样式可读可用下半部分门票价格给予文字和图形不相交的图形间距离边缘展位描述呈现文字与文字不相交的文字，与边缘间隔开图形相关的图形尺寸足够大的文本与其他文本相距很远文本呈现文字对比度高
最初，这个类别是相关信息。如果一个合适的功能是在此类别中找到该特征，检索结束，并返回反馈信息显示给玩家（详见反馈信息检索部分）。一个随后的搜索将继续进行下一个信息类别。如果没有功能符合条件三个信息类别中的任何一个（例如，当所有符合要求的特征都已被使用时用尽所有信息类别），系统从中选择一条反馈信息特征检索技术和我们设计和实现的算法不重复玩家不会在同一个功能上收到两次反馈的他们选择的反馈价。系统管理功能的资格通过使用一个数组来跟踪每个特征的状态（开或关）玩家选择反馈。例如，当玩家选择正面反馈时，系统检索第一个符合要求的特征（即，由该玩家在该海报上正确使用）
并且之前没有呈现给该玩家）。反馈功能呈现给a随后关闭播放器。反馈最重要的条件之一效果是反馈容易理解并与之相关的程度学生以前的知识（Hattie和Timperley 2007）。 创建自定义反馈考虑到学生在所有海报目标中的表现以满足这个条件。 此外，我们希望避免虚拟应用场景角色向同一个玩家提供了同一个特征的相同反馈两次。这个原则旨在最大限度地提高玩家不同图形设计规则的数量会遇到并提供玩家与虚拟玩家的更自然的交互字符。 例如，在大多数在线游戏中，遇到相同的虚拟角色再次提示他们改变他们的问候或行为，以创造一种幻觉与玩家融洽相处。
信息性与非信息性反馈的交替为了解决潜在的问题一些年轻球员的信息超载，优先计划也保证同一化合价的反
全文共13214字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15508]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
