您的语言评估数据准确可靠吗?
语言技能的价值越来越高。
学习者和教育者都发现,能够熟练掌握一门以上语言的人,更有可能被大学录取,找到一份好工作,提高收入潜力。评估是确定熟练程度的最有效手段。
当你依赖语言能力评估时,你怎么知道它的结果是准确可靠的呢?事实证明,并非所有的评估结果都一样。
为什么语言评估的准确性和可靠性很重要?
评估数据和能力成果往往是以下方面的依据:
- 语言课程质量评级
- 关于计划资金的决定
- 员工招聘和晋升
- 国家和全球双语印章等证书
- 大学学分
- 学生个人的进步
无论使用哪种评估,语言学习者及其信任的项目都必须确信他们得到的分数是准确可靠的。当各种评估都在测试相同的技能时,它们有什么不同?或者说,是什么让一个比另一个更好?
一个项目内,甚至语言教学领域内的共同做法,可能会同意一种评估做法,并认为其结果是合适的。然而,这些评估可能不符合某些评级准确性和可靠性的要求。如果一个不准确的温度计显示你发烧了,但你并没有发烧,那么你最终可能会因为错误的诊断而服药。
当准确性和可靠性对语言技能证书的颁发、公司的招聘决定或项目是否获得资助起决定性作用时,准确性和可靠性就显得尤为重要。
如何判断分数是否准确可靠?
Avant 最近对Avant STAMP 评估中写作和口语部分的评级进行的研究表明,Avant 是如何应用严格的标准和评级质量检查,在Avant 测试的所有 40 多种语言中实现高度准确性和可靠性的。该研究审查了以下内容:
- 评分员培训
- 使用人工评级员的评级过程,以及两名评级员在评级上出现分歧时的程序
- 如何确定最终得分
- 统计测量结果如下
- 确切协议
- 精确 + 相邻协议
- 二次加权卡普(QWK)
- 标准化平均差 (SMD)
- 斯皮尔曼秩相关性 (p)
- 2STAMP Levels Apart(非相邻协议的衡量标准)
这些测量方法可以进行三角测量,以确保Avant STAMP 结果具有尽可能高的准确性和可靠性。
结果表明,在所有级别中,Avant STAMP 4S 和STAMP WS 写作和口语答卷的评分高度一致。美国教育委员会 (ACE) 对Avant的评级过程、准确性和可靠性进行了广泛的审查。根据审查结果,ACE 推荐Avant STAMP 为大学学分。有关Avant的口语和写作作答评级的准确性和可靠性的更多统计细节,请阅读有关Avant的STAMP 口语和写作作答评级的准确性和可靠性的完整白皮书。
在评估语言能力测试是否适合您的项目时,验证语言能力测试评分的准确性和可靠性至关重要。随着测试和记录语言技能的要求越来越高,问题是:你能 不这样做吗?