평가자로서의 교사=성공
우리는 매일 전국 각지의 학교로부터 전화를 받습니다. 하지만 이번 전화는 달랐습니다.
"마리 피에르에게 무슨 짓을 한 거죠?" 교장 선생님이 물었습니다. "그녀는 완전히 다른 교사입니다. 교실에 활기가 넘치고 프로그램도 성장하고 있습니다. 당신이 하는 모든 일이 효과가 있어요."
처음에 이 질문은 마리-피에르와 같은 평가자를 관리하는 모리 에니스에게 당혹감을 안겨주었습니다. 마리-피에르에게 특별한 조치를 취하지 않고 평가자 연결 프로그램을 실행하여 STAMP 4S 말하기 및 쓰기 응답을 정확하게 채점할 수 있도록 한 것뿐이었기 때문입니다. 그리고 마리-피에르에게 프랑스어를 가르치는 방법을 알려주지도 않았죠.
반면에 표준 기반 교육의 본질은 일반적으로 이해되는 일련의 결과입니다. 수천 개의 학생 말하기와 쓰기 답안을 채점하면서 마리 피에르는 숙련도가 실제로 어떤 것인지에 대해 깊고 구체적으로 이해할 수 있었습니다. 수년 동안 그녀는 "익숙한 상황" "일반적으로 이해할 수 있는" "연결된 담화" 등의 단어를 종이에서 읽었지만, 그 모든 프랑스어 응답을 평가하기 위해 앉아서야 추상적인 개념이 생생하게 떠올랐습니다. 다양한 학생들의 이러한 응답을 평가하면서 그녀는 전국의 다른 학생들과 보조를 맞추게 되었습니다.
신뢰할 수 있는 숙련도 평가는 우리의 사명
"우리의 사명과 비즈니스는 모든 학생에게 신뢰할 수 있는 숙련도 등급을 제공하는 데 달려 있습니다. 모든 평가자가 같은 생각을 가지고 있어야 합니다."라고 창립자 데이비드 봉은 말합니다.
"1년에 약 50만 건의 응답을 채점합니다."라고 Maury는 말합니다. "제가 하는 일은 모든 응답이 빠르고 정확하게 채점되도록 하는 것입니다."
학생과 평가자가 전 세계에 흩어져 있기 때문에 그녀는 힘든 일을 하고 있습니다. 이를 가능하게 하기 위해 저희 소프트웨어 엔지니어들은 Maury와 협력하여 오리건대학교의 응용 제2언어 연구 센터(CASLS)의 프로토타입을 기반으로 한 Rater Connection을 구축했습니다. 평가자 연결은 연간 50만 건의 응답을 채점하는 평가자를 교육, 인증 및 모니터링하기 위한 온라인 시스템입니다.
모리와 그녀의 팀이 어떻게 이 기념비적인 업적을 달성했는지 그 비하인드 스토리를 살펴보세요. 이 시스템은 학습, 연습, 인증, 모니터링의 네 가지 핵심 요소로 구성되어 있습니다.
언어 능력 평가의 네 가지 요소
학습: 기준 구체화하기
Maury는 신규 평가자들에게 ACTFL 숙련도 가이드라인에서 파생된 STAMP 4S 기준을 안내하는 것으로 시작합니다. OPI(구두 능력 면접) 교육이 가이드라인에 직접 명시되지 않은 기술과 기준을 평가자에게 제공하는 것처럼, Avant 은 추상적인 가이드라인을 보다 구체적으로 만들기 위해 평가자에게 구체적인 기준을 제공합니다. 예를 들어, 중-고급 가이드라인에서는 학생들이 "제한된 수의 응집력 있는 장치를 사용하여 연결된 문장을 단락으로 구성"해야 한다고 명시하고 있습니다. 이는 많은 사람들에게 다양한 의미를 가질 수 있으므로 Maury는 채점자에게 일관되게 해석하기 쉬운 경험 법칙을 소개합니다: 응답에는 종속절이 포함되어야 합니다. 이는 "친구와 나는 가게에 갔다. 우리는 아이스크림을 샀습니다. 집으로 돌아오는 길에 아이스크림을 먹었습니다." (종속절 없음. "연결된 문장" 기준을 충족하지 않음.) 및 "친구와 나는 가게에서 산 아이스크림을 먹었습니다."와 같은 문장과 "친구와 나는 가게에서 산 아이스크림을 먹었습니다."와 같은 문장을 구분합니다. (종속절 포함. "연결된 문장" 기준의 일부를 충족합니다.)
연습하기: 학생의 응답에 기준 적용하기
평가자가 기준을 이해하면 해당 지식을 연습 항목에 적용하기 시작합니다. 평가자는 응답을 평가할 때마다 응답을 올바르게 채점했는지에 대한 즉각적인 피드백과 올바른 평가에 대한 설명을 받습니다. 수백 개의 응답을 통해 이 과정을 반복하면서 평가자는 기준을 내면화합니다. 우수성은 습관이 됩니다.
인증하기: 인증: 평가자의 품질 보장
준비가 되면 신규 평가자는 인증 시험을 치를 수 있습니다. 학생 응답의 90% 이상을 올바르게 평가하면 인증된 Avant 평가자가 됩니다. 90% 수준에 도달하지 못하면 돌아가서 더 연습한 후 인증 시험을 다시 치를 수 있습니다.
모니터링: 우수성 유지
인증을 받은 후에도 Avant 평가자는 자신이 일관되고 신뢰할 수 있음을 계속 증명해야 합니다. 평가자 연결은 마스터 평가자가 합의한 하나의 앵커 항목을 25개의 실제 응답으로 구성된 모든 배치에 삽입합니다. 이를 통해 Maury는 여러 평가자가 해당 앵커 항목에 점수를 매기는 방식을 확인할 수 있으며, 시간이 지나도 표준에 부합하는지 확인할 수 있습니다. 또한 5개 항목 중 1개 항목이 무작위로 선택되어 이중 평가됩니다. 처음 두 평가자가 동의하지 않으면 해당 항목은 세 번째 평가자에게 넘어가고 마스터 평가자는 모든 동점자 결정을 신중하게 검토합니다.
언어 학습자에게 합리적인 비용으로 정확한 숙련도 기반 등급을 제공하는 것은 이 분야에 대한 우리의 기여 중 하나입니다. 하지만 이 시스템의 가장 큰 가치는 교육과 학습을 개선하는 데 사용할 수 있다는 점입니다. 이것이 바로 마리 피에르에게 일어난 일입니다.
"물론 저희는 그 소식을 듣고 매우 기뻤습니다."라고 Maury는 말합니다. "하지만 의도하지 않은 결과였습니다. 결국 우리는 평가 회사이자 전문 개발 회사입니다."
다음 블로그 게시물에서는 평가자 연결에서 학교와 학군, 대학에서 마리 피에르와 같은 교사의 수업 혁신을 돕는 도구인 ADVANCE학교, 학군 및 대학에서 교사들이 마리 피에르처럼 수업을 혁신하는 데 사용하는 도구에 대해 알아보세요.
