教师评分=成功
我们每天都会接到来自全国各地学校的电话。但这一次不同。
"你对玛丽-皮埃尔做了什么?"校长问道。"她是一个完全不同的老师。她的课堂充满活力,她的课程也在不断增加。你们所做的一切都很有效。
起初,这个问题让负责管理 Marie-Pierre 等评分员的 Maury Ennis 感到困惑。他们并没有对 Marie-Pierre 做什么特别的工作,只是让她学习评分员连接程序,以便她能准确地对STAMP 4S 的口语和写作回答进行评分。当然,他们也没有告诉她如何教法语。
另一方面,基于标准的教学的精髓是一系列共同理解的成果。对数以千计的学生口语和写作回答进行评分,让 Marie-Pierre 对熟练程度的真正含义有了深刻而具体的理解。多年来,她一直在纸上阅读这些词语--"熟悉的情境"、"基本能理解"、"有联系的话语"--但直到她坐下来对所有这些法语回答进行评分时,这些抽象的概念才栩栩如生。对这些来自不同学生的回答进行评分迫使她与全国各地的其他人保持一致。
可靠的能力评级是我们的使命
"我们的使命和业务取决于为每个学生提供可靠的能力评级。我们的创始人大卫-邦(David Bong)说。
"莫里说:"我们每年要评定大约 50 万份答复。"我的工作就是确保快速、准确地对所有回复进行评分。
由于学生和评分员分散在世界各地,她的工作非常辛苦。为了实现这一目标,我们的软件工程师与莫里合作,以俄勒冈大学应用第二语言研究中心 (CASLS) 的原型为基础,建立了 Rater Connection。Rater Connection 是一个在线系统,用于培训、认证和监控每年为 50 万份答卷评分的评分员。
让我们来看看莫里和她的团队是如何完成这一不朽壮举的。该系统由四个关键部分组成:学习、实践、认证和监控。
评定语言能力的四个要素
学习:使标准具体化
Maury 首先向新评分员介绍了STAMP 4S 标准,该标准源自ACTFL 能力指南。正如 OPI(口语能力面试)培训为评分员提供了《指南》中没有直接说明的技巧和标准一样,Avant 为评分员提供了具体标准,使抽象的《指南》更加具体。例如,《中高级指导原则》规定,学生必须 "使用有限的连贯手段将句子连成段落"。对很多人来说,这可能意味着很多东西,因此莫里向评分者介绍了一种更容易统一解释的经验法则:答案应包含从句。这就区分了 "我和我的朋友去了商店。我们买了冰淇淋。我们在回家的路上吃了它"。(没有从句。不符合 "连接句子 "标准),以及 "我和我的朋友吃了我们在商店买的冰淇淋。(包含一个从句。符合 "相连句子 "标准的一部分)。
练习:将标准应用于学生的回答
一旦评分者了解了标准,他们就会开始将这些知识应用到练习项目中。每次对一个答卷进行评分时,他们都会立即得到反馈,了解自己的评分是否正确,并得到正确评分的解释。通过对数百个回答重复这一过程,评分员就会将标准内化。优秀成为一种习惯。
认证:确保评级人员的质量
准备就绪后,新评分员可以参加认证测试。如果他们对学生回答的正确率至少达到 90%,他们就可以成为Avant 认证的评分员。如果未能达到 90% 的水平,他们可以回去再练习一次,然后再次参加认证测试。
监测:保持卓越
即使在获得认证后,Avant 评定者也必须不断证明他们的一致性和可靠性。Rater Connection 在每批 25 份真实答卷中插入一个由主评分员商定的锚点项目。这向莫里公司展示了不同评分员对该锚点项目的评分情况,并确保他们长期忠实于标准。此外,从五个项目中随机选择一个项目进行双重评分。如果前两名评分员意见不一致,该项目将交由第三名评分员进行评分,主评分员将仔细审核所有打破平局的决定。
以合理的成本为语言学习者提供准确的能力评级是我们对这一领域的贡献之一。但这一系统的最大价值在于,它可以用来改善教学。这就是玛丽-皮埃尔的遭遇。
"莫里说:"当然,我们听到这个消息非常激动。"但这是一个意料之外的结果。毕竟,我们是一家评估公司,也是一家专业发展公司"。
在下一篇博文中,我们将了解如何从 "评分者连接 "过渡到 ADVANCE这是一个学校、地区和大学用来帮助他们的教师像 Marie-Pierre 一样转变教学方式的工具。