教师作为评分者=成功
我们每天都会接到全国各地学校的电话。但是这一次与众不同。
“你对Marie-Pierre做了什么？”校长问道。“她完全变了一个人。她的教室如此充满活力，她的项目也在发展。无论你在做什么，都在起作用。”
起初，这个问题让管理我们的评分员（如Marie-Pierre）的Maury Ennis感到困惑。他们并没有对Marie-Pierre做任何特别的事情，只是让她通过评分员连接程序，以便她能准确地评分STAMP 4S的口语和写作回答。他们当然也没有告诉她如何教法语。
另一方面，基于标准的教学的本质是一套公认的成果。评分数千个学生的口语和写作回应使Marie-Pierre对熟练程度的真正含义有了深入和具体的理解。多年来，她一直在纸上阅读这些词语——“熟悉的情境”“通常可理解”“连贯的话语”——但直到她坐下来评价所有这些法语回应时，这些抽象概念才真正活跃起来。评价来自不同学生的这些回应迫使她与全国的其他人保持一致。
可靠的熟练度评级是我们的使命
“我们的使命和业务取决于为每个学生提供可靠的熟练度评级。我们所有的评级者都必须保持一致，” 我们的创始人David Bong说。
“我们每年评估大约500,000个回应，”Maury说。“我的工作是确保它们都被快速且准确地评级。”
拥有遍布全球的学生和评分员，她的工作非常艰难。为了实现这一目标，我们的软件工程师与Maury合作，基于俄勒冈大学应用第二语言研究中心(CASLS)的一个原型，构建了Rater Connection。Rater Connection是一个在线系统，用于培训，认证和监控那些每年评分半百万次反馈的评分员。
让我们来看看幕后，看看Maury和她的团队是如何完成这一重大壮举的。该系统由四个关键组成部分组成：学习，实践，认证和监控。
评估语言熟练度的四个要素
学习：制定具体的...标准
Maury首先向新的评分员介绍STAMP 4S标准，这些标准源自美国的国家熟练度标准。就像OPI（口语熟练度面试）培训给评分员提供技巧和标准，这些标准并未直接在标准中说明，Avant则给评分员提供具体的标准，使抽象的标准更具体。例如，中级高级的标准规定学生必须使用有限数量的连贯设备将“连贯的句子组成段落”。这对许多人来说可能意味着许多事情，因此Maury向评分员介绍了一个更易于一致解释的经验法则：回应应包含从属子句。这区分了诸如“我和我的朋友去了商店。我们买了冰淇淋。我们在回家的路上吃了。”（没有从属子句。不符合“连贯句子”的标准。）和“我和我的朋友吃了我们在商店买的冰淇淋。”（包含一个从属子句。符合部分“连贯句子”的标准。）这样的句子。
练习：将标准应用到学生的回答...
一旦评分员理解了评分标准，他们就开始将这些知识应用到实践项目中。每次他们对一个回应进行评分，他们都会立即得到反馈，了解他们是否正确地打了分，以及正确评分的解释。通过对数百个回应重复这个过程，评分员将评分标准内化。卓越变成了一种习惯。
认证：确保评价者的质量
当他们准备好后，新的评分员可以参加认证测试。如果他们至少正确评分了90%的学生回应，他们就能成为经过认证的Avant评分员。如果他们未能达到90%的水平，他们可以回去，多加练习，然后再次参加认证测试。
监控：保持...卓越
即使在他们获得认证后，Avant的评分者也必须不断证明他们的一致性和可靠性。Rater Connection在每批25个真实反馈中插入一个锚定项目 —— 这是由主评分者达成一致的 ——。这向Maury展示了不同评分者对该锚定项目的评分，确保他们在一段时间内始终坚守标准。此外，五个项目中的一个会被随机选出进行双重评分。如果前两个评分者有分歧，该项目将交给第三个评分者，主评分者会仔细审查所有的决定性投票决定。
向语言学习者提供准确的基于熟练度的评级，且价格合理，是我们对这个领域的贡献之一。但是，这个系统的最大价值在于它可以用来改善教学和学习。这就是Marie-Pierre所经历的。
“当然，我们听到这个消息非常激动，”Maury说。“但这是一个意料之外的结果。毕竟，我们是一个评估公司和一个专业发展公司。”
在下一篇博客文章中，了解我们是如何从 Rater Connection 转变为ADVANCE，这是一种学校、学区和大学用来帮助他们的教师像Marie-Pierre那样改变他们的教学方式的工具。
