Avant는 말하기와 쓰기 응답을 어떻게 평가하나요?

스탬프 테스트는 누가 평가하나요?

아방 스탬프, PLACE, 아랍어 능력 시험(APT), 스페인어 헤리티지 언어 시험의 인적 평가 응답은 다음 최소 요건을 충족하는 언어 교육자/화자인 공인 아방 평가자들에 의해 평가됩니다:

  1. 언어 능력: 평가자는 고급 이상의 언어 능력을 유지해야 합니다(전화 인터뷰 또는 승인된 평가(예: STAMP4S, OPI, ILR 인터뷰, MOPI 또는 프락시스/주 교사 자격증)의 시험 점수로 결정됨).
  2. 교육: 평가자는 학사 이상의 학위를 소지해야 합니다.
  3. 교육 및 인증: 평가자는 언어별 아방가르드 평가자 교육 프로그램을 이수하고 인증 평가에서 90%의 동의 점수를 얻어야 합니다.
  4. 사용 가능성: 채점자는 매주 지정된 수의 항목(학생 응답)을 채점할 수 있어야 합니다(특정 언어 채점 관리자 및 채점자가 결정).

공인 아방가르드는 어떻게 훈련되나요?

모든 평가자는 아방 평가자 교육 프로그램을 이수하고 인증 시험을 통과해야만 학생의 답안을 채점할 수 있습니다. 교육 과정은 5단계로 구성되어 있으며 일반적으로 개인 작업 시간 약 11~13시간, 평가자 교육 관리자와 함께 약 2~3시간이 소요됩니다.

  1. 학업 준비: 채점자 응시자는 ACTFL 숙련도 지침 및 ILR 숙련도 설명자에 기반한 숙련도 수준을 설명하는 Avant 채점자 교육 자료를 공부하고 Avant가 이러한 수준을 응시자의 응답에 어떻게 적용하는지를 배웁니다. 이 단계의 목표는 평가자가 구성된 응답 항목(말하기 및 쓰기)을 평가할 때 경험하는 문제에 대한 방향을 제시하고 Avant 시스템이 응시자의 응답에 부여할 수 있는 점수의 범위를 개괄적으로 설명하는 것입니다. 1단계는 3~5시간이 소요될 것으로 예상되는 독립적인 학습 단계입니다.
  2. 평가자 연결 시스템(RC)에 대한 가이드 검토 및 소개: 평가자 후보자는 배정된 평가자 교육 관리자와 만나 숙련도 수준 및 다양한 수준을 식별하는 데 사용되는 세부 사항을 포함한 교육 자료의 핵심 요소를 논의하고 명확히 설명합니다. 그런 다음 평가자 교육 관리자는 예비 평가자가 Avant의 온라인 평가자 연결 소프트웨어에 액세스하도록 돕고(3단계 참조), 평가자 연결 시스템 사용 방법을 보여주면서 몇 가지 응답을 안내합니다. 2단계는 일반적으로 평가자 후보와 평가자 교육 관리자 간의 가상 회의로 진행되며, 예상 소요 시간은 2~3시간입니다.
  3. 평가자 연결 시스템(RC)으로 연습하세요: Avant의 RC를 사용하면 평가자 후보가 선택한 교육/앵커 응답을 채점하고 각 응답에 대한 자신의 평가에 대한 즉각적인 피드백을 받을 수 있습니다. 이 단계의 훈련 과정의 목적은 평가자 후보가 이전에 Avant 마스터 평가자가 채점한 많은 응시자 응답에 노출되도록 하는 것입니다. 각 훈련 응답에는 해당 항목이 왜 그렇게 채점되었는지에 대한 자세한 주석 또는 설명이 포함되어 있습니다. 이 과정을 통해 평가자는 채점 기준을 내면화하고 적용하기 위해 즉각적인 피드백과 함께 모든 레벨에 걸쳐 다양한 응답을 평가할 수 있습니다. 3단계는 독립적인 온라인 연습 세션으로, 필요한 경우 4~5시간 또는 그 이상의 시간이 소요될 것으로 예상되는 응답 연습 은행을 완성하는 단계입니다.
  4. 평가자 연결 연습에 대한 안내 분석: 평가자 응시자가 RC에서 교육 응답을 완료하면, 응시자는 배정된 평가자 교육 관리자와 만나 연습 채점 세션 중에 발생한 문제를 논의하고 명확히 합니다. 특히, 정확하게 채점되지 않은 답안을 검토하고 채점 기준 및 수준 설명과 답안에 대한 적용에 대한 질문에 답합니다. 채점자 교육 관리자는 예비 채점자가 어떤 기준에 어려움을 겪었는지 확인할 수 있으며 추가 지원이나 교육이 필요한 부분을 빠르게 파악할 수 있습니다. 이 시점에서 평가자 교육 관리자는 예비 평가자에게 아방가르드 평가자 교육 프로그램의 3단계를 반복하도록 하거나 인증을 위해 5단계로 이동하도록 결정할 수 있습니다. 4단계는 일반적으로 평가자 후보와 평가자 교육 관리자 간의 가상 회의로 진행되며, 검토해야 하는 영역의 수에 따라 1시간 이상의 시간이 소요될 것으로 예상됩니다.
  5. 인증: 아방 평가자 교육 프로그램의 마지막 단계는 평가자 후보자가 아방 마스터 평가자와 90% 이상의 채점 동의를 얻어 인증 시험을 통과하는 것입니다. 이 시험을 완료하기 위해 채점자 응시자는 채점자 연결 시스템에 접속하여 실제 시스템에서 학생의 답안을 채점할 때의 경험을 재현하는 프로세스에서 답안의 인증 은행에 채점합니다. 인증 은행은 이전에 아방가르드 마스터 평가자가 채점한 답안으로 구성되지만 교육 세션 중에 제공된 주석이나 코멘트는 포함되지 않습니다. 인증 시험이 끝나면 평가자 후보자에게 점수가 통보됩니다. 그런 다음 평가자 교육 관리자가 평가자 후보와 만나 평가 문제를 파악하고 필요에 따라 재교육 활동에 참여시킵니다. 아방가르드 마스터 평가자와 90% 이상의 동의를 얻은 평가자 후보자는 인증된 아방가르드 평가자로 지정되어 활성 STAMP 시험 응답을 평가할 자격을 얻게 됩니다.
  6. 실시간 평가: 평가자 후보가 모든 교육 요소를 완료하고 인증 시험을 통과하면 평가자 연결 시스템에서 실시간 응답에 액세스할 수 있는 권한이 부여됩니다. 그런 다음 새로 인증된 평가자는 시스템으로 이동하여 배치(25개의 응답)를 평가하고 배치를 완료하면 평가자 관리자에게 알리라는 지시를 받습니다. 그런 다음 평가자 관리자는 관리자 사이트로 이동하여 인증된 평가자가 채점한 각 항목을 검토하여 점수가 정확한지 확인합니다. 평가자 관리자가 새로 인증된 평가자의 답변 평가의 정확성에 만족하면 해당 평가자는 평가를 계속할 수 있습니다. 평가 관리자는 처음 몇 주 동안 새로 인증된 평가자를 계속 면밀히 모니터링합니다.
  7. 이 아방 평가자 프로그램은 모든 아방 평가자가 높은 수준의 품질과 정확성을 확립해야 한다는 요구를 충족하기 위해 개발되고 다듬어졌습니다. 또한 아방 언어별 평가자 관리자가 매일 평가자 간 신뢰도 및 정확도 통계를 검토하면서 현장 교육이 지속적으로 이루어집니다. STAMP 평가 시스템은 채점 추세를 지속적으로 모니터링하고 채점 문제 및 이상 징후를 평가자에게 알려 적시에 재교육이 이루어질 수 있도록 합니다.

스탬프 테스트는 어떻게 평가되나요?

아방가르드 스탬프 시험 문항 답안에 대한 인적 평가는 평가자 연결의 온라인 환경에서 이루어집니다. 읽기 및 듣기 시험 항목(객관식)은 컴퓨터로 채점됩니다. 작성된 답안(말하기 및 쓰기)은 웹 기반 인터페이스를 통해 공인 Avant 평가자가 평가합니다. 특히 Avant의 온라인 분산 채점 시스템인 채점자 연결 시스템은 모든 학생의 응답을 관리하고, 시스템에 로그인할 때 25개의 서면 또는 구두 응답 대기열을 공인 Avant 채점자에게 분배하여 채점을 용이하게 합니다. 평가자는 단계별 마법사 프로세스를 통해 네 가지 채점 요소 또는 기준을 각각 신중하게 고려하여 각 응답에 점수를 매깁니다.

고급 언어 능력 시험의 네 가지 채점 요소

  1. 응답을 평가할 수 있고 작업 중인가요?
  2. 어떤 텍스트 유형 또는 레벨별 언어의 양이 분명한가요?
  3. 전반적인 이해도 측면에서 텍스트의 품질은 어느 정도인가요?
  4. 응답의 전반적인 정확도는 어느 정도인가요?

채점 시스템은 모든 평점을 추적하고 계산한 다음 이러한 평가 기준에 따라 각 응답에 대한 종합 점수를 생성합니다.

평가자 간 신뢰도(IRR)란 무엇이며 어떻게 모니터링하나요?

평가자 간 신뢰도(IRR)는 공인 평가자가 학생의 답변에 Avant 채점 기준을 얼마나 일관되게 적용하고 있는지를 측정하는 지표입니다. Avant는 일관된 채점 비교와 필요에 따른 지속적인 교육 제공을 통해 높은 수준의 평가자 간 신뢰도를 유지하기 위해 노력하고 있습니다. 특히, 평가자 간 신뢰도는 시스템에서 모든 응답의 20%가 두 번째 평가자에게 전달되어 해당 응답의 블라인드 두 번째 채점을 위해 추적됩니다. 즉, 25개의 응답 대기열(일괄 채점된 학생 응답 수)에는 다른 공인 평가자가 이전에 채점한 응답이 5개씩 있습니다. 그런 다음 시스템에서 두 번째 공인 평가자가 이러한 응답을 어떻게 채점하는지 모니터링합니다. 첫 번째와 두 번째 공인 평가자 간에 할당된 레벨에 차이가 있는 경우, RC는 해당 응답을 세 번째 공인 평가자에게 보내 점수를 조정합니다. 평가자 관리자는 어떤 응답이 2점을 받았는지, 더 중요한 것은 3점을 받은 응답을 확인할 수 있으며, 각 응답이 세 명의 다른 평가자에게 어떻게 평가되었는지 추적할 수 있습니다. 평가자 관리자는 채점 추세를 확인하고 재교육이 필요한 공인 평가자에게 적시 교육을 지시할 수 있습니다. 그런 다음 평가자 관리자는 이러한 "도전적인" 응답을 수집하여 교육 세션에 사용합니다.

Avant는 평가자 간 신뢰도(IRR)를 어떻게 측정하나요?

Avant는 두 가지 기준의 루브릭을 사용하여 말하기 및 쓰기 답변에 점수를 부여합니다. 위에 명시된 두 가지 기준은 텍스트 유형(언어의 양)과 정확성(이해도)입니다. 저희는 레벨 1~6(초급-저~중급-고급)의 경우 텍스트 유형 기준에 더 높은 가중치를 부여하고, 레벨 7과 8(고급-저 및 중급)의 경우 보다 균형 잡힌 가중치를 부여합니다. 공인 평가자는 학생의 말하기 및 쓰기 응답을 평가할 때 먼저 다음과 같은 가능한 선택지를 사용하여 텍스트 유형 점수를 결정합니다 :

  • 비추천 (0)
  • 단어 (1)
  • 문구 (2)
  • 간단한 문장 (3)
  • 문장의 문자열 (4)
  • 연결된 문장 (5)
  • 신규 단락 (6)
  • 단락 구조 (7)
  • 확장된 단락 (8)

텍스트 유형 기준이 결정되면 RC는 채점자에게 특정 텍스트 유형 점수에 대해 평균 이하, 평균 또는 평균 이상 중 하나를 선택하여 응답의 정확성/이해도를 결정하도록 지시합니다. RC는 이 두 기준의 점수를 합산하여 해당 응답의 최종 점수/레벨을 결정합니다. 그런 다음 Avant는 각 언어에 대한 공인 평가자의 합의를 검토하여 기간에 따른 모든 언어의 IRR 비율을 결정할 수 있습니다.

Avant는 등급 정확도를 어떻게 측정하고 드리프트를 모니터링하나요?

평가자 간 신뢰도 못지않게 중요한 것은 정확도의 구성입니다. 모든 평가자가 일치하여 높은 IRR을 산출하는 것이 가장 이상적이지만, 기준에서 벗어난 편차(응답을 너무 높게 또는 너무 낮게 채점)가 있는 경우 해당 상황에 대해서도 파악해야 합니다. 편차를 해결하기 위해 Avant는 앵커 항목(각 언어 평가 관리자가 선택하고 미리 채점한 구절)을 평가 대기열에 삽입하고, 평가 관리자는 공인 평가자가 이러한 특별 응답에 점수를 매기는 방식을 모니터링합니다. IRR 응답과 마찬가지로 이러한 응답은 블라인드 방식으로 평가자에게 전달되므로 평가자는 이러한 응답을 어떤 방식으로도 식별할 수 없습니다. 그러면 평가자 관리자는 평가자가 표준에서 벗어나고 있는지 확인할 수 있습니다. 이 정보를 바탕으로 평가자 관리자는 재교육 및 지원 세션을 통해 편차를 해결할 수 있습니다. 이는 평가자 연결 시스템의 중요한 기능이며 미리 정해진 간격으로 앵커 항목을 제공하도록 설정할 수 있습니다.

각 스킬의 최종 레벨은 어떻게 도출되고 보고되나요?

아방 스탬프 시험은 말하기 또는 쓰기 중 해당 영역 또는 시험 단계에 배정된 각 응시자에게 세 번의 말하기와 세 번의 쓰기 프롬프트를 제공합니다. 최종 보고 점수는 세 개의 샘플 중 가장 높은 두 개의 점수를 기준으로 계산됩니다. 따라서 최종적으로 할당된 레벨은 Avant 공인 평가자가 제출하고 채점한 각 응답을 고려하여 응시자가 세 가지 과제에서 유지할 수 있었던 레벨을 결정합니다.

예를 들어

첫 번째 응답에서 3(초급-고급), 두 번째 응답에서 4(중급-저급), 세 번째 응답에서 3(초급-고급)을 받은 응시자는 해당 영역의 최종 점수를 3(초급-고급)으로 받게 됩니다. 이는 학생이 최소한 3(초급-고급) 수준의 숙련도를 유지할 수 있었음을 나타냅니다. 그러나 이 경우 실제로 한 응답이 더 높은 수준으로 평가되었으므로 보고서에는 파란색 막대가 표시되어 이 학생이 다음 상위 수준에 가까워지고 있음을 나타내며 교사에게 해당 특정 응답을 살펴보도록 권장합니다. 최종 점수 또는 수준은 세 가지 응답의 결과에서 도출되므로, 시스템은 부정확하게 채점되었거나 응시자가 응답하지 못했을 수 있는 단일 응답을 처리하고 각 영역의 전반적인 응시자 능력에 대한 정확한 보고를 유지할 수 있습니다.

따라서 가장 높은 두 개의 말하기 또는 쓰기 점수를 활용하여 최종 학생의 말하기 또는 쓰기 수준을 지정하는 프로세스는 전체 영역 점수에 대한 오답 또는 오정답의 보고를 최소화하기 위해 사용됩니다.

아방가르드 평가 정보

Avant’s mission is to improve the teaching and learning of language in the US and around the world through effective language proficiency testing and professional development. Our products are not only for educators but also for business and government agencies that see the significant positive impact from bilingual team members.

숙련도를 향한 여정을 시작하려면 여기를 클릭하세요.

여러분이 좋아할 만한 기사도 있습니다: