언어 평가 데이터는 정확하고 신뢰할 수 있나요?
언어 능력의 가치는 점점 더 높아지고 있습니다.
학습자와 교육자 모두 하나 이상의 언어에 능숙함을 보여줄 수 있는 개인이 대학 입학, 좋은 일자리 확보, 소득 잠재력 향상에 유리하다는 사실을 발견하고 있습니다. 평가는 숙련도를 결정하는 가장 효율적인 수단입니다.
언어 능력 평가에 의존하는 경우, 그 결과가 정확하고 신뢰할 수 있는지 어떻게 알 수 있을까요? 모든 평가가 똑같이 만들어지는 것은 아닙니다.
언어 평가의 정확성과 신뢰성이 중요한 이유
평가 데이터와 숙련도 결과는 종종 평가의 기초가 됩니다:
- 언어 프로그램 품질 평가
- 프로그램 기금에 대한 결정
- 직원 채용 및 승진
- 주 및 글로벌 문해력 인장과 같은 자격 증명
- 대학 학점
- 개별 학습자의 진행 상황
어떤 평가를 사용하든, 언어 학습자와 신뢰할 수 있는 프로그램은 그들이 받는 점수가 정확하고 신뢰할 수 있다는 확신을 갖는 것이 중요합니다. 다양한 평가가 모두 동일한 능력을 테스트하는 경우, 무엇이 다른가요? 또는 어떤 평가가 다른 평가보다 더 나은 이유는 무엇일까요?
프로그램 내 또는 언어 교육 분야 내 일반적인 관행에서는 평가 관행에 동의하고 그 결과가 적합하다고 판단할 수 있습니다. 그러나 평가가 특정 평가 정확도 및 신뢰성 요건을 충족하지 못할 수도 있습니다. 체온계가 부정확하게 열이 있다고 표시하지만 실제로는 열이 없는 경우, 잘못된 진단으로 약을 복용하게 될 수 있습니다.
정확성과 신뢰성은 언어 능력에 대한 자격증 수여, 회사의 채용 결정 또는 프로그램 지원 여부에 결정적인 영향을 미칠 수 있는 중요한 요소입니다.
점수가 정확하고 신뢰할 수 있는지 어떻게 알 수 있나요?
Avant STAMP 평가의 쓰기 및 말하기 영역 등급에 대한 최근 Avant의 연구는 Avant가 40개 이상의 모든 언어에서 높은 수준의 정확도와 신뢰도를 달성하기 위해 엄격한 기준과 등급 품질 검사를 적용하는 방법을 보여줍니다. 이 연구에서는 다음 요소를 조사했습니다:
- 평가자 교육
- 인간 평가자를 사용한 평가 프로세스 및 두 평가자가 평가에 동의하지 않을 때의 절차
- 최종 점수 결정 방법
- 통계 측정값은 다음과 같습니다:
- 정확한 계약
- 정확한 + 인접한 계약
- 2진 가중치 카프(QWK)
- 표준화 평균 차이(SMD)
- 스피어먼의 순위-순서 상관관계(p)
- 2 스탬프 레벨 간격(인접하지 않은 동의의 척도)
이러한 측정값을 삼각 측량하여 Avant STAMP 결과의 정확도와 신뢰도를 최대한 높일 수 있습니다.
그 결과, 모든 레벨에서 Avant STAMP 4S와 STAMP WS 쓰기 및 말하기의 등급은 매우 일관된 것으로 나타났습니다. 미국 교육위원회(ACE)는 Avant의 평가 프로세스, 정확성 및 신뢰성에 대한 광범위한 검토를 수행했습니다. ACE는 검토 결과를 바탕으로 대학 학점 취득을 위해 Avant STAMP를 추천합니다. Avant의 말하기 및 쓰기 답안 평가의 정확성과 신뢰성에 대한 통계적 세부 사항은 Avant의 STAMP 말하기 및 쓰기 답안 평가의 정확성과 신뢰성에 대한 백서 전문을 읽어보세요.
언어 능력 시험에서 평가의 정확성과 신뢰성을 검증하는 것은 해당 시험이 프로그램에 적합한지 평가할 때 매우 중요합니다. 언어 능력을 테스트하고 문서화해야 하는 부담이 커짐에 따라 언어 능력을 테스트하지 않을 수 있을까요?