OFSTED对中学数学初级教师教育课程质量判断的有效性和可靠性
安妮·辛金森（英国剑桥霍默顿学院）；基思·琼斯（英国南安普敦大学）
【摘要】OFSTED的初级教师教育和培训（ITET）团队对初级教师教育课程的检查是高风险的。不满意的报告可能导致课程结束。即使是一份令人满意的报告也可能导致配额的减少，从而导致课程可行性的螺旋式下降。检查的高风险性质意味着必须对检查过程的有效性和可靠性有完全的信心。本文对OFSTED ITET团队在1996年至1998年期间对中学数学初级教师教育研究生教育证书（PGCE）课程提供者发表的完整检查报告进行了分析。分析表明，报告在字长、具体标准的应用方式以及判断的表达方式方面存在很大差异。鉴于检查框架的复杂性，鉴于目前的检查报告模型，不可能正确区分应用的一致性和任何特定标准的负载。如果要对检查制度有信心，就必须注意检查过程的透明度以及有效性和可靠性问题。
【正文】
没有精确的测量过程。所有测量都有相关误差。虽然这些现实在教育研究中是众所周知的（例如，见Linn，1989），但最近（英国）资格与课程管理局（QCA）和教育标准委员会（OFSTED）的成员们的论文都提到了这些问题。对于QCA来说，特别关注的是国家课程评估的有效性（见Stobart，1999）；对于OFSTED而言，问题在于（学校）教学质量的学校检查判断的可靠性和有效性（见Matthews等人，1998年）。在本文中，我们关注的是OFSTED的中国教师教育与培训（ITET）团队对初级教师教育（ITE）课程质量的判断过程的有效性和可靠性。为了分析的目的，我们将重点放在英国的中学数学研究生教育证书（PGCE）课程上，尽管方法论方法和我们提出的问题可能适用于在同一框架下检查的其他此类课程。
OFSTED的ITETteam对ITE检查的有效性和可靠性已经成为一些调查的主题。例如，Grahamamp;amp;Nabb（1999年）在一项对ITE课程提供者的调查中发现，152个提供者中只有不到十分之一的人相信ITE课程的检查是有效、可靠和一致的过程。调查还指出，使用OFSTED的“额外检查员”（AIs），即在使用HMI示例材料进行检查的过程中快速招募和培训的人员，尤其存在问题，因为他们被认为比OFSTED的永久检查员更不一致。Campbellamp;amp;Hursands（2000）提出了类似的担忧，并从他们对某一特定机构的检查案例研究中得出结论，“检查方法是。。。对由此产生的后果不够可靠”。Tymms（1997）使用模拟方法来估计一所学校被授予4级（不合规）的可能性。他得出的结论是，机构很有可能无法通过检查”（Tymms，1997）。英国下议院教育和就业特别委员会教育小组委员会（英国下议院教育和就业特别委员会，1999年）最近完成了对OFSTED的全面审查，并对建立检查基本要素的可靠性和有效性水平的必要性进行了评论。委员会表示希望扩大对这一问题的研究。它说，重要的是帮助确保“公众接受检查，这样的工作可以接受学术界的审查”（众议院教育和就业特别委员会，1999年，第129段）。
调查教育工作评估或测量的有效性和可靠性的完整技术过程需要访问收集的原始数据，以便做出判断。迄今为止，OFSTEDrsquo;sITET团队一直不愿发布或允许访问此类原始数据。现有的是关于每个ITE供应商的检查报告。我们对这些公开文件进行分析，以了解它们可能揭示的ITE检查过程的有效性和可靠性。由于组成英国的不同组成部分之间的安排存在很大差异，我们选择将重点放在英国中等数学PGCE课程的ITE提供商上。基于我们之前在该领域的工作（Jonesamp;amp;Sinkinson，2000），我们研究了是否有可能正确区分已发布检验框架的应用一致性和框架内任何特定标准的负载。
教师教育课程考核框架
自19世纪中叶以来，英国政府监察局一直参与对教师教育机构的检查。1994年，新成立的OFSTED被赋予扩大的职能，法定职责是监督大学和其他高等教育机构的所有教育部门。1996年，OFSTED的ITET团队开始了一项检查ITE所有中学课程的计划，并于1998年完成。到1999年底，已经有了涵盖中学数学PGCE所有提供者的检查报告。正是这些报告为本文报告的研究提供了数据。
自1996年以来，英国初级教师教育课程的检查由OFSTED与（英国）教师培训机构（TTA）协商制定的ITT质量和标准评估框架确定。第一版于1996年出版（OFSTED/TTA，1996），用于1996/7年进行的检查。随后对该框架进行了修订（OFSTED/TTA，1997），新版本用于1997/8年期间进行的剩余检查。该框架（两个版本）要求OFSTED ITET检查员围绕一系列“单元”组织他们对ITE课程质量的判断，每个单元按1-4分制评分，每个单元以一系列标准为基础。1级表示“非常好，有几个突出的特点”，2级表示“良好，没有明显的缺点”，3级表示“足够，但需要显著改进”，4级表示“质量差”。该框架的i997/98版本包含大约160条判断ITE课程的标准声明。并不是所有这些都被使用，因为OFSTED和TTA宣布，在那轮检查中，一些“细胞”将不被考虑。因此，在第二期PGCE课程的检查中，使用了大约110个标准。
检查过程中的一个单元是T2单元（培训过程的质量）。该单元有九个标准，例如“培训课程是良好教学的典范”。这些标准中有八项是由Iteet inspector评分的。一旦检查员对每个标准进行了评分，检查指南将指示如何进行整体单元分级。例如，对于任何一个单元，如果获得1级的成绩，大多数标准都会被判定为非常好，而且都不差。只有少数标准被判定为良好（指示性范围20-30%，取决于显著性）。（OFSTED，1996年，1997年）。附录A中给出了检查框架的更多细节。为了判断条款是否符合州教育部长的要求，必须通过检查流程判断每个单元至少足够（3级）。如果该机构提供的ITE课程的所有单元均不符合要求，TTA将撤销该机构的认证。此外，根据他们所开设的课程，ITE的提供者被评为A-E等级，其中A是最高等级。然后，TA将这些分数用于认证目的，并告知ITE课程的名额分配决定。因此，任何课程的检查结果与ITE供应商的生存能力和声誉之间存在密切联系。检验过程的这种高风险性质意味着，确定检验过程的有效性和可靠性尤为重要。不满意的检查报告已经导致课程关闭，在某些情况下，整个机构也因此关闭（例如，见Ghouriamp;amp;Barnard，1998）。
检验过程的有效性和可靠性
有效性和可靠性是任何教育测量过程的核心问题。虽然有效性传统上被定义为“测试”衡量其意图的程度（例如，克朗巴赫，1949年，第48页），但最近该定义得到了扩展。传统的有效性概念将内容、结构和标准视为有效性的三个主要但独立的方面。这个概念越来越被认为是支离破碎和不完整的，没有考虑到作为行动基础的分数意义的价值含义和分数使用的社会后果的证据。因此，梅西克（1989年，第13页）指出，有效性是一种综合评估判断，根据测试分数或其他评估模式，经验证据和理论依据在多大程度上支持推论和行动的充分性和适当性”。可靠性是指测量过程中测量的准确性（即一致性和稳定性）（见Feldtamp;amp;Brennan，1989）。例如，美国教育研究协会（American Education Research Association，1982，第1589页）指出，可靠性“与测量的可重复性有关，即不同的人在不同的场合进行测量时，使用假定的替代仪器测量同一事物”。Campbellamp;amp;Hursands（2000）根据他们对ITE及其检查的了解，用英语给出了ITE检查可靠性的定义。他们给出的定义是，“检查方法和框架中的标准一致地应用于对不同科目的检查，以及在一个机构内和跨机构对相同科目的不同检查”。对于本文报告的研究，我们采用了更广泛的有效性定义（来自梅西克）以及C ampbell和丈夫提出的上述可靠性定义。检查过程中的有效性和可靠性问题促使OFSTED检查员调查此事，至少就学校检查而言。马修斯等人（1998年）报告了100对受过培训的学校督学的判断，他们独立观察了同一个学校课程。80%的病例达成一致。在3%的案件中，判决差异高达两个等级。马修斯等。就等级达成一致。。在等级表（1998年，第184页）的敏感区域，满意和不满意之间的界限。他们还发现，与优势相比，他们对弱点的看法更为一致。他们认为，学校检查程序的一个问题是，“检查员更注意记录所有的弱点hellip;hellip;而不是记录所有的优势”。他们得出结论，“这里的异常现象让人质疑一小部分检查员在某个场合做出的判断的可靠性。”（1998年，第186页）。鉴于初级师范教育的中学科目课程的检查通常由一名ITET检查员进行，即使是一个不可靠的例子也可能产生毁灭性的结果。这突出了调查OFSTED ITET检查组流程的有效性和可靠性的重要性。
方法论
本研究对已发表的OFSTED报告采用的主要方法是批判性文件分析。正如Jupp（1996，第311页）所解释的，这涉及到“对文本的批判性阅读，旨在揭示问题是如何定义的，提出了什么解释，以及什么被视为首选解决方案。”。它还试图揭示文本中被拒绝的东西，甚至没有出现的东西：什么不被视为问题，什么解释不被考虑，什么不是首选的解决方案”。
我们还使用了OFSTED（OFSTED，2000）发布的评估检查质量和标准以及（学校）检查员工作的标准。涉及的具体标准包括：
●证据在数量和范围上足够具有代表性；
●仔细分析和解释所有检查信息；
●判断与检查证据完全一致，反映了框架中标准的可靠使用；
●做出的判决涵盖了框架中的相关要求。
上面提到的现有文献表明，在批判性地检查OFSTED ITET团队报告的有效性和可靠性时，我们需要寻找划分年级边界的证据，尤其是区分一个年级和另一个年级的证据，检查报告的语调，看看对缺点的描述是否超过了对课程优点的表达，并通过在同等等级中寻找可能的不一致来调查判断的可靠性。
我们注意到，OFSTED报告是官方版权，使用条件是“引用的摘录是逐字复制的，无需改编，并声明其来源和日期”。在报告我们的分析时，我们意识到识别单个机构所涉及的道德问题。我们在下面复制的所有摘录都是逐字引用的，未经改编自OFSTED在1996/7和1997/8年期间对中学数学PGCE课程进行的一轮检查后发布的检查报告（OFSTED，1998，1999a）。
后果
我们总共分析了64份关于中学数学课程的OFSTED报告。在1996/7年进行的检查中，20家被检查的供应商是由HEI运营的合作计划，而其中一家是校本计划或SCITT。在1997/8年的检查中，38家供应商是HEI合作伙伴，其中5家是SCITT。我们认为，1996/7年期间进行的所有检查都是由HMI进行的，检查人员雇佣了由OFSTED培训的anc。有大量证据表明，1997/8年完成的一轮检查并非如此，当时大部分检查由认可机构完成，由OFSTED ITET团队选择适合这份工作，并接受了为期2或3天的少量培训（见向下院教育和就业特别委员会教育小组委员会提供的证据，1999年）。鉴于本研究采用的效度和信度定义，这两个问题之间显然存在着关系。更广泛的有效性方法包括对信度的考虑，信度传统上被视为一个独立的结构。这种包含是因为对任何推论的信心必须包括对结果本身的信心。管理或评级中的任何不一致都会破坏这些推论。为了克服效度和信度被视为两个相互竞争的概念，人们越来越倾向于将信度作为一个包含这两个概念的术语，Gipps（1994）称之为“效度和信度的交叉点”。在下文中，我们首先考虑与检查框架有关的问题。然后我们再考虑分析报告的结果。正如我们将要展示的，这些结果影响了OFSTED ITET团队检查过程的有效性和可靠性。
ITE的检查框架
改编Gilroyamp;amp;Wilcox（1997），我们可以强调OFSTED现场检查框架背后的三个假设。首先，这些标准被普遍认为是定义良好信息的标准，其次，这些标准的含义是直接和透明的，第三，这些标准的应用是一个简单的过程。Gilroyamp;amp;Wilcox（1997）发现了这三个假设的主要问题。例如，虽然在通过该框架之前，该框架已被广泛传播以供协商，但这种传播不太可能解决不同的观点。正如下议院教育和就业特别委员会教育小组委员会（1999年，附录76）对开放大学的证据所表明的那样，在他们看来，检查框架基于有限的质量概念。首先，他们说，一个关于在ITE中什么是合适的、简单定义的正统观念正在形成。第二，持续的重新检查，要求供应商将资源集中在狭义的合规性问题上，威胁到发展和创新。第三，检查框架中没有对ITE课程的“增值”进行分析，这意味着没有承认从入门级到合格结果级录取申请人的提供者的有效性。
以上提到了一些关于检查框架有效性的担忧。此外，该框架在一轮检查中发生了变化，这一事实对其有效性提出了一些质疑。现在，我们来分析已发布的检验报告。
对已发布检验报告的分析
表一显示了1996/7年和1997/8年中学数学成绩的分布情况。
粗略检查成绩分布似乎表明，与1996/97学年的检查相比，1997/98学年的检查更难获得一级成绩。值得注意的是，1997/98年度的所有4s级都授予了SCITTs。造成这种差异的一些可能原因可能是：
●只是巧合，1996/97年出现了更多突出的方面；
●检查框架在这两年之间发生了变化，这一事实可能产生了影响；
●在这两年中，执行检查的人员有明显的不同：1996/97年，我们认为所有检查都是由HMI进行的，而1997/98
剩余内容已隐藏，支付完成后下载完整资料
英语原文共 19 页，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[593982]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
