JOLer. A Java standalone application for simulating the Weaver amp; Kelemen#39;s judgment of learning (JOL) model
JOLer: Una aplicacioacute;n Java de escritorio para simular el modelo de juicios de aprendizaje de Weaver y Kelemen
Marcos Ruiz and Cristoacute;bal Arroyo
Universidad Nacional de Educacioacute;n a Distancia, Madrid (Spain).
The work described in this paper was done while the first author was partially supported by a grant from the Spanish Ministerio de Economiacute;a y Competitividad (PSI2013-47219-P).
Correspondence
ABSTRACT
To assess judgment of learning (JOL) accuracy in metamemory, researchers have to measure how much the metamemory judgments adjust to the participant#39;s memory-test performance. Absolute accuracy or calibration is the average correspondence between JOL and memory performance. Metamemory relative accuracy or resolution is a measure of how sensitive a participant is to the differential recallability between two studied items. Unfortunately, factors altering both calibration and resolution very often change also the distribution of JOL on the available scale for judgment. The problem with these effects on JOL distribution is that they could yield an altered resolution estimation due to the way in which its usual estimate is computed. JOLer simulates the behavior of participants in a typical metamemory procedure. The application is offered as a tool for metamemory researchers: it affords the opportunity to check whether, maintaining calibration parameters but changing JOL distributions between conditions, a different (and somewhat spurious) resolution estimate would be obtained.
Key words: metamemory; metacognition; judgment of learning; JOL; gamma correlation; simulation; Java.
RESUMEN
Para calcular la precisioacute;n de los juicios de aprendizaje (JJAA) en metamemoria los investigadores tienen que estimar en queacute; medida los juicios de un participante se ajustan a su rendimiento en una prueba de memoria. La precisioacute;n absoluta o calibracioacute;n es la correspondencia media entre JA y rendimiento en memoria. La precisioacute;n relativa de metamemoria o resolucioacute;n nos dice el grado de sensibilidad de un participante respecto a un diferencial de recuperabilidad entre dos iacute;tems estudiados. Por desgracia, los factores que alteran la calibracioacute;n y la resolucioacute;n con frecuencia cambian tambieacute;n la distribucioacute;n de JJAA a lo largo de la escala de juicio. El problema de estos efectos sobre la distribucioacute;n de JJAA es que pueden dar lugar a una estimacioacute;n de resolucioacute;n distorsionada debido al modo en que se calcula el estimador habitual. JOLer simula el comportamiento de unos participantes en un procedimiento tiacute;pico de metamemoria. La aplicacioacute;n se presenta como una herramienta para investigadores de la metamemoria: ofrece la oportunidad de comprobar si, manteniendo los paraacute;metros de calibracioacute;n pero cambiando la distribucioacute;n de JJAA entre condiciones, se obtendriacute;a una resolucioacute;n estimada distinta (y en cierto grado artificial).
Palabras clave: metamemoria; metacognicioacute;n; juicio de aprendizaje; JOL; correlacioacute;n gamma; simulacioacute;n; Java.
Metamemory Judgments
For a few decades now there has been an increasing interest in the study of metacognitive processes (for review see Dunlosky amp; Bjork, 2008; Dunlosky amp; Metcalfe, 2009; Reder, 1996; Ruiz, 2004). From the seminal works by Hart (1965, 1967) on the feeling of knowing (FOK), by Arbuckle amp; Cuddy (1969) on judgments of learning (JOL), or the ones by Underwood (1966) on ease of learning (EOL) and Brown amp; McNeill (1966) on the tip-of-the-tongue (TOT) phenomenon, the field has been populated by a considerable amount of contributions on theories (e.g., Kelley amp; Jacoby, 1996; Koriat, 1993, 1997; Metcalfe, Schwartz, and Joaquim, 1993; Sikstrom amp; Jonsson, 2005), procedures (e.g., Glenberg amp; Epstein, 1987; Glucksberg amp; McCloskey, 1981; Lovelace, 1984; Nelson amp; Narens, 1990), and data (e.g., Koriat amp; Levy-Sadot, 2001; Son amp; Metcalfe, 2005; Nelson, Leonesio, Landwehr, and Narens, 1986; Nelson amp; Narens, 1980; Shanks amp; Serra, 2014; Vesonder amp; Voss, 1985).
Among the issues addressed by metamemory researchers, perhaps the JOL accuracy is one of the most popular. In a JOL experiment participants are requested, after studying some target material, to make an estimate as to how likely they expect to answer successfully a question about that material (Arbuckle amp; Cuddy, 1969; Lovelace, 1984). Typically a set of unrelated word-pairs is presented for memorizing. After a variable delay, they are asked for the probability (usually in a scale from 0 to 100) with which they expect to answer the response-word of a pair when presented with its stimulus-word (e.g., Begg, Duft, Lalonde, Melnick, amp; Sanvito, 1989; Metcalfe et al., 1993).
To assess JOL accuracy researchers have to measure the degree to which the metamemory judgments adjust to the participant#39;s memory-test performance. Interestingly, there are two types of JOL accuracy that have to be considered. Absolute accuracy or calibration is the average correspondence between JOL and memory performance (e.g., Finn amp; Metcalfe, 2014). Metamemory and memory are usually measured on the same scale, as when estimated probability of recall is required at JOL and percentage of correct recall is measured at the final memory test. The simplest index of calibration is the signed difference between the JOL estimates and the memory performance. Researchers make also use of calibration functions or curves, in which the mean recall level is computed for every JOL estimate or bin of estimates. Whatever the way we measure absolute calibration, a mean JOL over the mean memory performance would be indicative of a bias towards overconfidence, while a JOL below their memory coun
全文共35086字，剩余内容已隐藏，支付完成后下载完整资料
JOLer 一个用于模拟Weaver和Kelemen学习判断模型（JOL）的java独立应用程序
马科斯·鲁伊斯和克里斯托弗·阿罗约
马德里(西班牙)全国教育大学。
本文所描述的工作是在第一作者部分获得西班牙经济竞争部长(PSI2013-47219-P)资助的情况下完成的。
摘 要
为了评估元记忆中学习判断(JOL)的准确性，研究人员必须测量元记忆判断在多大程度上与参与者的记忆测试表现相适应。绝对精度或校准是JOL与内存性能之间的平均对应关系。绝对精度或校准是JOL与内存性能之间的平均对应关系。
不幸的是，改变校准和分辨率的因素往往也会改变JOL在可用尺度上的分布。这些对JOL分布的影响的问题是，由于其通常的估计计算方法不同，它们可能会产生不同的分辨率估计。JOLer在一个典型的元记忆过程中模拟参与者的行为。该应用程序为元存储研究人员提供了一种工具:它提供了一个检查的机会，即保持校准参数，但更改条件之间的JOL分布，是否会得到一个不同的(有些虚假的)分辨率估计。
关键词：元记忆;元认知;学习的判断;JOL;gamma;相关性;模拟;Java
元记忆判断
几十年来，人们对元认知过程的研究越来越感兴趣(参见Dunlosky amp; Bjork, 2008; Dunlosky amp; Metcalfe, 2009; Reder, 1996; Ruiz, 2004). 从Hart(1965, 1967)关于认知的感觉(FOK)， Arbuckle amp; Cuddy(1969)关于学习判断(JOL)的开创性著作中，或的安德伍德(1966)易于学习(EOL)和布朗amp;麦克尼尔(1966)在舌尖现象(合计)现象,该领域一直居住着大量的贡献理论(例如Kelley amp; Jacoby, 1996; Koriat, 1993, 1997; Metcalfe, Schwartz, and Joaquim, 1993; Sikstrom amp; Jonsson, 2005), 程序(例如，Glenberg amp; Epstein, 1987; Glucksberg amp; McCloskey, 1981; Lovelace, 1984; Nelson amp; Narens, 1990),数据（例如，Koriat amp; Levy-Sadot, 2001; Son amp; Metcalfe, 2005; Nelson, Leonesio, Landwehr, and Narens, 1986; Nelson amp; Narens, 1980; Shanks amp; Serra, 2014; Vesonder amp; Voss, 1985)。
在元记忆研究人员解决的问题中，JOL的准确性可能是最受欢迎的问题之一。在一项JOL实验中，参与者在学习了一些目标材料后，被要求对他们期望成功回答有关该材料的问题的可能性做出估计(Arbuckle amp; Cuddy, 1969; Lovelace, 1984). 通常会出现一组不相关的单词对来进行记忆。在一个可变的延迟之后，他们被要求回答他们期望回答的概率(通常是从0到100的范围内)。（例如，Begg, Duft, Lalonde, Melnick, amp; Sanvito, 1989; Metcalfe et al., 1993)。
为了评估JOL的准确性，研究人员必须测量元记忆判断在多大程度上与参与者的记忆测试表现相适应。有趣的是，有两种类型的JOL准确性需要考虑。绝对精度或校准是JOL和内存性能之间的平均对应关系(例如 Finn amp; Metcalfe, 2014)。元记忆和记忆通常在相同的尺度上进行测量，就像在JOL中需要估计的回忆概率和在最终的记忆测试中测量正确回忆的百分比一样。最简单的校准指标是JOL估计值与内存性能之间的符号差。研究人员还使用了校准函数或曲线，在这些函数或曲线中，对每一个JOL估计或一组估计计算平均回忆水平。无论我们以何种方式测量绝对校准，平均JOL /平均内存性能都表明存在过度自信的倾向，而JOL /平均JOL /内存性能则是不自信的指标（例如，Finn amp; Metcalfe, 2007; Koriat, Ma#39;ayan, Sheffer, amp; Bjork, 2006; Koriat amp; Nussinson, 2009; Nelson amp; Dunlosky, 1991）。
JOL精度的另一种类型是相对精度或分辨率(例如，Finn amp; Metcalfe, 2014;Koriat, 1993)。元记忆分辨率是衡量参与者对两个研究项目之间的可访问性或可重现性差异有多敏感的指标。请注意，JOL任务与参与者的校准测量任务之间没有任何差异。但是，当评估一个人的元记忆分辨率时，我们想知道JOL比另一个高的项目是否也有更高的回忆概率(例如，Liberman amp; Tversky, 1993)。所以分辨率应该被看作是一个人监控自己知识的镜头的力量。
请注意，JOL分辨率度量应该是两个具有相应的hit/failure内存性能的JOL之间在序数尺度上的差异的关联索引。然而，在Nelson(1984)发表了一篇关于几种候选物关联指数的著名论文之后，通常会计算出JOL与记忆性能之间的Goodman-Kruskal gamma相关性，并将其应用于实验中的每个参与者(Goodman amp; Kruskal, 1954;Nelson，1984)。
校准和分辨率同时发生变化的因素有很多。例如，所谓的延迟JOL效应出现时，参与者使他们的JOL后，从研究一定的延迟。然而，与研究后立即制作的JOL相比，延迟JOL的分辨率和校准都有了很大的提高(Dunlosky amp; Nelson, 1992, 1994; Nelson amp; Dunlosky, 1991; Weaver, Terrell, Krug, amp; Kelemen, 2008).
更复杂的元记忆-准确性变化模式出现在实践中的不自信(UWP)效应中(Koriat, Sheffer， amp; Ma#39;ayan, 2002)。当为同一参与者运行几个study- JOL -test循环时，就会出现这种现象。当参与者从第一个study-JOL-test周期过渡到第二个study-JOL-test周期时，内存性能会提高，而平均JOL则会从第一个JOL块的过度自信下降到第二个JOL块的不自信。最有趣的是，参与者越不自信，分辨率就越高(参见Koriat, Ma#39;ayan, Sheffer， amp; Bjork, 2006;Koriat等，2002;Finn amp; Metcalfe, 2007, 2014)。综上所述，校准和分辨率是元认知判断的两个可测量维度，它们既能表现出关联行为，也能表现出分离行为。
这里特别有趣的是，改变校准和分辨率的因素通常也会改变JOL在可用尺度上的分布以供判断。例如，Dunlosky amp; Nelson(1994)报告说，当一个项目的JOL在其研究展示后立即给出时，从0到100的大部分判断反应在20到80之间，因此极端JOL(即，“我一定会记得的”和“我一定不会记得的”)是相当少见的。对于延迟JOL条件，情况明显相反，因为大多数JOL响应都是极值(参见Koriat amp; Goldsmith, 1996，关于JOL分布变化的计算模型)。外，JOL模式的变化也被报道为UWP效应。当然，据报道，在study-JOL-test循环中，第二JOL区块和更大范围内，“我一定会记得”的反应相对更为频繁(Koriat et al.， 2002)。
这些对JOL分布的影响的问题是，由于计算gamma;的方式，它们可能产生一个膨胀的分辨率估计。让我们假设一个参与者有一个完美的校准函数。对于这个参与者来说，在0-100的范围内，JOL值为10意味着只有10%的收到该JOL的项目将被正确地召回。对于JOL= 40、50或90的项必须进行相同的简单计算。这里的要点是，大部分具有JOL=90的项将被正确地收回，而只有少量的JOL=10项将被收回。因此，gamma;将从两个JOL(10 90)集合中获益良多，因为在这两个JOL(10 90)集合中，很大一部分对比度对将被正确地排序为non-recalled10/recalled90。对于JOL=40和50的集合，情况就不是这样了。在这里，JOL类别中每一种产品的相似比例将被正确召回(由于完美的校准，召回比例分别为40%和50%)。因此，在这些JOL类别的集合中，正确排序的项目对的对比比例可能会相对较小。换句话说，计算gamma;的方法可以得出，仅仅改变JOL分布的一个因子就可以伪造地改变gamma;作为分辨率估计值。由于这些和其他考虑，有人对使用gamma;作为解决措施提出了一些批评(例如，Benjamin amp; Diacute;az, 2008; Gonzaacute;lez amp; Nelson, 1996; Masson amp; Rotello, 2009; Muruyama, Sakaki, Yan, amp; Smith, 2014)。事实上，许多作者使用元认知解析的替代估计(例如, Arnold, Higham, amp; Martiacute;n-Luengo, 2013; Luna, Higham, Martiacute;n-Luengo, 2011). 即便如此，通常情况下，JOL和内存性能之间的Goodman-Kruskal gamma;相关性是作为元认知分辨率的个人评估的最佳选择之一为每个参与者计算的(例如, Metcalfe amp; Finn, 2008; Pyc, Rawson, amp; Aschenbrenner, 2014; Serra amp; Ariel, 2014; Sundqvist, Todorov, Kubik, amp; Jonsson, 2012; for a metanalysis see Rhodes amp; Tauber, 2011). 因此，研究人员面临的一个关键问题是考虑不同条件下JOL分布变化对gamma;的影响。我们在这里提供了一个软件工具来找出这些影响的存在，收集的数据。该程序逻辑由Weaver amp; Kelemen(1997,2003)提出，但据我们所知，其他研究人员还没有应用该逻辑，这可能是由于缺乏现成的实现。
Weaver amp; Kelemen (1997)的仿真策略
Weaver amp; Kelemen (1997)针对判断分布变化引起的gamma;膨胀问题，提出可以根据经验得到的分布值和校准参数对JOL进行模拟。通过仿真，我们可以验证在保持校准参数的同时改变条件间的JOL分布是否会得到更高的gamma;。如果是这样，我们不应该把实验gamma;值的全部增加解释为从一个实验条件到另一个实验条件的分辨率的提高。作为补充信息，我们还可以检查由于校准的变化(如我们的经验数据中得到的那些)，在不伴随判断分布变化的情况下，从一个实验条件到另一个实验条件的分辨率会发生多大的变化。
在Weaver amp; Kelemen(1997)实现的JOL仿真模型中，我们的每个实验条件都有两组初始数据:JOL分布和JOL校准曲线。从这些数据中，模型可以生成JOL和内存测试之间的一组对。这组试验的gamma;值可以计算为模拟参与者的gamma;值。举个例子。假设我们想要检查我们用gamma;估计测量的JOL分辨率的实验效果是否由JOL分布的变化而产生。我们根据经验收集的控制条件的相对频率为0.07、.15、.22、.27、.16和.13，对应的JOL从0到100，每20个单位(0%、20%、hellip;hellip;)， 100%，从肯定不确定到肯定是的，我会记得的)。当然，在另一个实验条件下，我们也有不同的经验收集的相对频率分布。模型中的第一步是为从均匀分布(如.128)中选择0-1范围内的随机数进行试验生成JOL。与该容器在JOL级别上对应的JOL将作为该试验的JOL响应(在我们的示例中为20，即.07lt;.128lt;(.07 .15))。
模型中的第二步是为已知生成JOL的项的内存测试生成响应。为了产生这种响应，我们将使用校准函数，而不是用于JOL生成的JOL分布函数。一个包含0-1的新随机数是由一个均匀分布产生的。如果该数字大于校准曲线中与该JOL相关的召回的条件概率，则生成正确的召回，否则为召回失败。例如，如果在我们的校准曲线中，30%的正确召回与我们示例的JOL=20(一个不自信的案例)相关，并且召回生成器的随机数为.432，那么应该将正确的召回记录为该试验的响应。
请注意，这个基本的JOL recall模拟机制应该为每个参与者重复进行尽可能多的模拟试验。然而，一旦模拟了参与者，我们就可以计算出相应的gamma;值。对于我们的每一个实验条件我们都会有一些参与者进行模拟。这样，我们就可以根据其JOL分布和校准曲线来定义一个实验条件。
Java应用程序
JOLer是一个Java独立应用程序，旨在运行大量的蒙特卡罗元认知实验模拟。它的目的是检查某些因素对JOL分布的影响是否像分辨率估计那样过度地改变了gamma;值。它是一个跨平台应用程序，因为它可以在任何运行Oracle Java虚拟机(7.0或更高版本)的系统上工作。菜单驱动的(英语或西班牙语)用户界面为我们提供了方便地定义最多10个实验
全文共13969字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[1692]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
