Jak Avant ocenia mówienie i pisanie odpowiedzi?

Kto ocenia testy STAMP ?

Oceniane przez człowieka odpowiedzi w testach Avant STAMP, PLACE, Arabic Proficiency Test (APT) i Spanish Heritage Language są oceniane przez certyfikowanych Avant Raters, którzy są nauczycielami języków obcych/mówcami spełniającymi następujące minimalne wymagania:

  1. UMIEJĘTNOŚCI JĘZYKOWE: Oceniający muszą utrzymywać zaawansowany lub wyższy poziom umiejętności językowych (określony na podstawie wywiadu telefonicznego lub wyniku testu z zatwierdzonej oceny, tj. STAMP4S, OPI, ILR Interview, MOPI lub Praxis / państwowego certyfikatu nauczyciela).
  2. WYKSZTAŁCENIE: Oceniający muszą posiadać tytuł licencjata lub wyższy.
  3. SZKOLENIE I CERTYFIKACJA: Oceniający muszą ukończyć program szkoleniowy Avant Rater dla danego języka i uzyskać 90% zgodności w ocenie certyfikacyjnej.
  4. DYSPOZYCYJNOŚĆ: Oceniający muszą być dostępni, aby oceniać określoną liczbę elementów (odpowiedzi uczniów) w każdym tygodniu (określoną przez menedżera ds. oceniania języka i oceniającego).

Jak szkoleni są certyfikowani Avant Raters?

Wszyscy oceniający muszą ukończyć Avant Rater Training Program i zdać test certyfikacyjny, zanim będą mogli oceniać odpowiedzi uczestników. Proces szkolenia składa się z pięciu etapów i zazwyczaj zajmuje około 11-13 godzin pracy indywidualnej i około 2-3 godzin pracy z Rater Training Managerem.

  1. PRZYGOTOWANIE AKADEMICKIE: Kandydaci na raterów zapoznają się z materiałami szkoleniowymi Avant Rater Training, które wyjaśniają poziomy biegłości w oparciu o wytyczne ACTFL Proficiency Guidelines i deskryptory biegłości ILR oraz uczą się, w jaki sposób Avant stosuje te poziomy do odpowiedzi uczestników testu. Celem tego etapu jest zapoznanie kandydatów na raterów z kwestiami związanymi z ocenianiem skonstruowanych elementów odpowiedzi (mówienie i pisanie) oraz nakreślenie zakresu punktów, które system Avant może przypisać do odpowiedzi testera. Etap 1 to niezależna faza nauki, która powinna zająć od 3 do 5 godzin.
  2. PRZEGLĄD Z PRZEWODNIKIEM I WPROWADZENIE DO SYSTEMU RATER CONNECTION (RC): Kandydat na ratera spotyka się z przydzielonym mu Rater Training Managerem, aby omówić i wyjaśnić kluczowe elementy materiałów szkoleniowych, w tym poziomy biegłości i szczegóły wykorzystywane do identyfikacji różnych poziomów. Następnie Rater Training Manager pomaga kandydatowi w uzyskaniu dostępu do internetowego oprogramowania Rater Connection firmy Avant (patrz krok 3) i przeprowadza go przez kilka odpowiedzi, pokazując, jak korzystać z systemu Rater Connection. Krok 2 jest zazwyczaj przeprowadzany w formie wirtualnego spotkania pomiędzy kandydatem na ratera a Rater Training Managerem, a jego przewidywany czas to 2-3 godziny.
  3. PRAKTYKA Z RATER CONNECTION SYSTEM (RC): System RC firmy Avant umożliwia kandydatom na raterów ocenianie wybranych odpowiedzi szkoleniowych/anchor i otrzymywanie natychmiastowej informacji zwrotnej na temat ich oceny każdej odpowiedzi. Celem tego etapu procesu szkoleniowego jest zapoznanie kandydata na ratera z wieloma odpowiedziami testera, które zostały wcześniej ocenione przez Avant Master Raters. Każda odpowiedź szkoleniowa zawiera szczegółową adnotację lub wyjaśnienie, dlaczego dany element został oceniony w taki, a nie inny sposób. Proces ten pozwala kandydatowi na ocenę różnorodnych odpowiedzi na wszystkich poziomach z natychmiastową informacją zwrotną w celu zinternalizowania i zastosowania kryteriów punktacji. Krok 3 to niezależna sesja ćwiczeniowa online z oczekiwanym zaangażowaniem czasowym wynoszącym 4-5 godzin lub dłuższym, jeśli to konieczne, w celu uzupełnienia ćwiczeniowych banków odpowiedzi.
  4. UPROSZCZONA ANALIZA PRAKTYCZNEGO POŁĄCZENIA Z RATEREM: Po ukończeniu przez kandydata na ratera odpowiedzi szkoleniowych w RC, kandydat spotyka się z przydzielonym mu Rater Training Managerem, aby omówić i wyjaśnić kwestie, które pojawiły się podczas praktycznej sesji oceniania. W szczególności przeglądane są odpowiedzi, które nie zostały poprawnie ocenione, a także udzielane są odpowiedzi na pytania dotyczące kryteriów punktacji i opisów poziomów oraz ich zastosowania do odpowiedzi. Rater Training Manager jest w stanie zobaczyć, z jakimi kryteriami zmagał się potencjalny oceniający i może szybko zidentyfikować obszary, które wymagają dalszego wsparcia lub szkolenia. Na tym etapie Rater Training Manager może podjąć decyzję o powtórzeniu kroku 3 programu szkoleniowego Avant Rater lub przejściu do kroku 5 w celu uzyskania certyfikacji. Etap 4 jest zazwyczaj przeprowadzany w formie wirtualnego spotkania pomiędzy kandydatami na raterów a Rater Training Managerem, które zajmuje od jednej do kilku godzin, w zależności od liczby obszarów wymagających weryfikacji.
  5. CERTYFIKACJA: Ostatnim krokiem w programie szkoleniowym Avant Rater jest zdanie przez kandydata testu certyfikacyjnego poprzez uzyskanie 90% lub wyższej zgodności w punktacji z Avant Master Raters. Aby ukończyć ten test, kandydat na recenzenta uzyskuje dostęp do systemu Rater Connection i ocenia bank odpowiedzi certyfikacyjnych w procesie, który replikuje doświadczenie, jakie będzie miał podczas oceniania odpowiedzi uczniów w systemie na żywo. Bank certyfikatów składa się z odpowiedzi wcześniej ocenionych przez Avant Master Raters, ale bez adnotacji lub komentarzy dostarczonych podczas sesji szkoleniowych. Po zakończeniu testu certyfikacyjnego kandydat na recenzenta jest powiadamiany o swoim wyniku. Następnie Rater Training Manager spotyka się z kandydatem na recenzenta, aby zidentyfikować kwestie związane z oceną, angażując go w razie potrzeby w ponowne szkolenie. Kandydaci na recenzentów, którzy osiągną 90% lub wyższą zgodność z Avant Master Raters, zostają wyznaczeni jako Certyfikowani Recenzenci Avant, którzy są uprawnieni do oceniania aktywnych odpowiedzi testowych STAMP .
  6. OCENA NA ŻYWO: Po ukończeniu wszystkich elementów szkolenia i zdaniu testu certyfikującego, kandydat otrzymuje dostęp do odpowiedzi na żywo w systemie Rater Connection. Nowo certyfikowany Rater jest następnie instruowany, aby przejść do systemu i ocenić partię (25 odpowiedzi), informując swojego Rater Managera o ukończeniu partii. Następnie Rater Manager przechodzi do strony administratora, aby przejrzeć każdy element oceniony przez certyfikowanego Ratera w celu sprawdzenia, czy wyniki są dokładne. Gdy Rater Manager jest zadowolony z dokładności oceny odpowiedzi przez nowo certyfikowanego Ratera, może on kontynuować ocenianie. Menedżer ds. oceny nadal uważnie monitoruje nowo certyfikowanego recenzenta w ciągu pierwszych kilku tygodni oceniania.
  7. Program Avant Rater został opracowany i udoskonalony, aby sprostać wymaganiom związanym z ustanowieniem wysokiego poziomu jakości i dokładności u wszystkich osób oceniających w Avant. Szkolenie punktowe odbywa się również na bieżąco, ponieważ menedżerowie Avant ds. oceny poszczególnych języków codziennie przeglądają statystyki niezawodności i dokładności między ocenami. System oceniania STAMP ułatwia ciągłe monitorowanie trendów punktacji i ostrzega Rater Managerów o problemach z punktacją i anomaliach, dzięki czemu można w odpowiednim czasie przeprowadzić ponowne szkolenie.

Jak oceniane są testy STAMP ?

Ocenianie odpowiedzi na elementy testu Avant STAMP przez człowieka odbywa się w środowisku internetowym Rater Connection. Testy czytania i słuchania (wielokrotnego wyboru) są oceniane komputerowo. Skonstruowane odpowiedzi (mówienie i pisanie) są oceniane przez Certyfikowanych Raterów Avant za pośrednictwem interfejsu internetowego. W szczególności, internetowy, rozproszony system oceniania Avant Rater Connection System zarządza wszystkimi odpowiedziami uczniów i ułatwia punktację poprzez dystrybucję kolejek 25 odpowiedzi pisemnych lub ustnych do certyfikowanych Avant Raters po zalogowaniu się do systemu. Oceniający oceniają każdą odpowiedź w procesie kreatora krok po kroku, starannie rozważając każdy z czterech elementów lub kryteriów punktacji.

Cztery elementy punktacji w testach biegłości językowej Avant

  1. Czy odpowiedź jest ocenna i zgodna z zadaniem?
  2. Jaki typ tekstu lub ilość języka specyficznego dla poziomu jest widoczna?
  3. Jaka jest jakość tekstu pod względem ogólnej zrozumiałości?
  4. Jaka jest ogólna dokładność odpowiedzi?

System punktacji śledzi i oblicza wszystkie oceny, a następnie generuje złożony wynik dla każdej odpowiedzi w oparciu o te kryteria oceny.

Co to jest wiarygodność międzyosobowa (IRR) i jak jest monitorowana?

Inter-Rater Reliability (IRR) jest miarą tego, jak konsekwentnie certyfikowani oceniający stosują kryteria punktacji Avant do odpowiedzi uczniów. Avant dąży do utrzymania wysokiego poziomu wiarygodności między oceniającymi poprzez konsekwentne porównywanie ocen i dostarczanie ciągłych szkoleń w razie potrzeby. W szczególności wiarygodność międzyosobowa jest śledzona w systemie, ponieważ 20% wszystkich odpowiedzi jest dostarczanych drugiemu oceniającemu w celu ślepej drugiej oceny tej odpowiedzi. Oznacza to, że w każdej kolejce 25 odpowiedzi (liczba odpowiedzi uczniów ocenianych w partii) znajduje się 5 odpowiedzi, które zostały wcześniej ocenione przez innego certyfikowanego recenzenta. Następnie system monitoruje, jak drugi Certyfikowany Recenzent ocenia te odpowiedzi. Jeśli istnieje różnica w przypisanych poziomach między pierwszym a drugim certyfikowanym recenzentem, RC wysyła tę odpowiedź do trzeciego certyfikowanego recenzenta, który rozstrzyga wynik. Rater Managerowie są w stanie zobaczyć, które odpowiedzi otrzymały dwie oceny i, co ważniejsze, te odpowiedzi, które otrzymały trzy oceny i mogą śledzić, jak każda odpowiedź została oceniona przez trzech różnych oceniających. Rater Managerowie mogą zobaczyć trendy w punktacji i skierować szkolenie just-in-time do każdego Certyfikowanego Ratera, który potrzebuje przekwalifikowania. Menedżerowie zbierają i wykorzystują te "trudne" odpowiedzi podczas sesji szkoleniowych.

Jak Avant mierzy wiarygodność międzyosobową (IRR)?

Avant wykorzystuje dwukryterialną rubrykę do przypisywania punktów do odpowiedzi ustnych i pisemnych. Te dwa kryteria, jak wskazano powyżej, to typ tekstu (ilość języka) i dokładność (zrozumiałość). Dla naszych celów przykładamy większą wagę do kryteriów typu tekstu na poziomach 1-6 (od początkującego niskiego do średnio zaawansowanego wysokiego), a następnie bardziej zrównoważoną wagę na poziomach 7 i 8 (zaawansowany niski i średni). Gdy certyfikowani oceniacze oceniają odpowiedzi uczniów w mowie i piśmie, najpierw określają wynik typu tekstu z następującymi możliwymi wyborami :

  • Non-Ratable (0)
  • Słowa (1)
  • Zwroty (2)
  • Zdania proste (3)
  • Ciągi zdań (4)
  • Zdania połączone (5)
  • Pojawiający się akapit (6)
  • Struktura akapitu (7)
  • Akapit rozszerzony (8)

Po określeniu kryterium typu tekstu, RC kieruje oceniającego do określenia dokładności/zrozumiałości odpowiedzi z następującymi możliwościami wyboru dla konkretnego wyniku typu tekstu: poniżej średniej, średnia lub powyżej średniej. RC łączy wyniki z obu tych kryteriów, aby określić ostateczny wynik/poziom dla danej odpowiedzi. Avant jest następnie w stanie sprawdzić zgodność certyfikowanych oceniających w każdym języku, aby określić procent IRR dla dowolnego języka w dowolnym okresie czasu.

W jaki sposób Avant mierzy dokładność ocen i monitoruje dryft?

Równie ważny dla rzetelności międzyosobowej jest konstrukt dokładności. Ideałem jest, aby wszyscy oceniający byli zgodni, tworząc wysoki IRR, ale jeśli istnieje jakiekolwiek odchylenie od standardów (punktowanie odpowiedzi zbyt wysoko lub zbyt nisko), musimy również wiedzieć o tej sytuacji. Aby rozwiązać problem dryftu, Avant wstrzykuje elementy kotwiczące (fragmenty, które zostały wybrane i wstępnie ocenione przez każdego menedżera oceniającego język) do kolejek oceniania, a następnie menedżerowie oceniający monitorują, w jaki sposób certyfikowani oceniający oceniają te specjalne odpowiedzi. Podobnie jak odpowiedzi IRR, są one dostarczane do oceniających w sposób niewidomy, dzięki czemu oceniający nie są w stanie w żaden sposób zidentyfikować tych odpowiedzi. Rater Managerowie są w stanie sprawdzić, czy oceniający odbiegają od standardów. W oparciu o te informacje, Rater Managerowie mogą zająć się wszelkimi odchyleniami poprzez przekwalifikowanie i sesje wsparcia. Jest to ważna funkcja naszego systemu Rater Connection i może być ustawiona na dostarczanie elementów kotwiczących w określonych odstępach czasu.

W jaki sposób obliczane i zgłaszane są ostateczne poziomy dla każdej umiejętności?

Test Avant STAMP dostarcza trzy podpowiedzi do mówienia i trzy podpowiedzi do pisania każdemu zdającemu, któremu przypisano daną domenę lub fazę testu, tj. mówienie lub pisanie. Ostateczny wynik jest obliczany na podstawie dwóch najwyższych wyników z trzech próbek. Tak więc ostateczny przypisany poziom uwzględnia każdą odpowiedź, która została przesłana i oceniona przez Avant Certified Raters i określa poziom, który zdający był w stanie utrzymać w trzech zadaniach.

Na przykład:

Uczestnik testu, który otrzyma 3 (średnio-wysoki) za swoją pierwszą odpowiedź, 4 (średnio-niski) za swoją drugą odpowiedź i 3 (średnio-wysoki) za swoją trzecią odpowiedź, otrzyma końcowy wynik 3 (średnio-wysoki) dla tej domeny. Oznacza to, że na MINIMUM uczeń był w stanie utrzymać biegłość na poziomie 3 (Novice-High). Jednak w tym przypadku jedna z odpowiedzi została oceniona na wyższym poziomie, a zatem w raporcie znajduje się niebieski pasek wskazujący, że uczeń może zbliżać się do następnego wyższego poziomu i zachęca nauczyciela do przyjrzenia się tej konkretnej odpowiedzi. Ponieważ ostateczny wynik lub poziom pochodzi z wyniku wszystkich trzech odpowiedzi, system jest w stanie poradzić sobie z każdą pojedynczą odpowiedzią, która mogła zostać oceniona niedokładnie lub na którą zdający mógł po prostu nie być w stanie odpowiedzieć i zachować dokładne raportowanie ogólnych umiejętności zdającego dla każdej domeny.

W związku z tym proces wykorzystywania dwóch najwyższych wyników mówienia lub pisania do przypisania ostatecznego poziomu mówienia lub pisania ucznia jest stosowany w celu zminimalizowania zgłaszania fałszywie ujemnych lub fałszywie dodatnich ocen dla ogólnego wyniku domeny.

Informacje o Avant Assessment

Avant’s mission is to improve the teaching and learning of language in the US and around the world through effective language proficiency testing and professional development. Our products are not only for educators but also for business and government agencies that see the significant positive impact from bilingual team members.

Kliknij tutaj, aby rozpocząć swoją drogę do biegłości

Artykuły, które mogą Ci się również spodobać: