Jak Avant ocenia odpowiedzi w mowie i piśmie?

Kto ocenia testy STAMP ?

Odpowiedzi oceniane przez ludzi w Avant STAMP, PLACE, Arabic Proficiency Test (APT) i Spanish Heritage Language są oceniane przez certyfikowanych sędziów Avant , którzy są nauczycielami języków obcych i spełniają następujące minimalne wymagania:

1. UMIEJĘTNOŚCI JĘZYKOWE: Oceniający muszą utrzymywać zaawansowany lub wyższy poziom umiejętności językowych (określony na podstawie wywiadu telefonicznego lub wyniku testu z zatwierdzonej oceny, tj. STAMP4S, OPI, ILR Interview, MOPI lub Praxis / państwowego certyfikatu nauczyciela).
2. WYKSZTAŁCENIE: Oceniający muszą posiadać tytuł licencjata lub wyższy.
3. SZKOLENIE I CERTYFIKACJA: Oceniający muszą ukończyć specyficzny dla danego języka program szkoleniowyAvant Rater Training Program i uzyskać 90% zgodności w ocenie certyfikacyjnej.
4. DYSPOZYCYJNOŚĆ: Oceniający muszą być dostępni, aby oceniać określoną liczbę elementów (odpowiedzi uczniów) w każdym tygodniu (określoną przez menedżera ds. oceniania języka i oceniającego).

Jak szkoleni są certyfikowani ratownicy Avant ?

Wszyscy oceniający muszą ukończyć program szkoleniowy Avant Rater Training Program i zdać test certyfikacyjny, zanim będą mogli oceniać odpowiedzi uczniów. Proces szkolenia obejmuje pięć etapów i zazwyczaj zajmuje około 11-13 godzin pracy indywidualnej i około 2-3 godzin pracy z Rater Training Managerem.

1. PRZYGOTOWANIE AKADEMICKIE: Kandydaci na raterów zapoznają się z materiałami szkoleniowymi Avant , które wyjaśniają poziomy biegłości w oparciu o wytyczne ACTFL Proficiency Guidelines i deskryptory biegłości ILR oraz uczą się, w jaki sposób Avant stosuje te poziomy do odpowiedzi uczestników testu. Celem tego etapu jest zorientowanie kandydatów na raterów w kwestiach związanych z ocenianiem skonstruowanych elementów odpowiedzi (mówienie i pisanie) oraz nakreślenie zakresu punktów, które system Avantmoże przypisać do odpowiedzi testera. Etap 1 to faza samodzielnej nauki, która powinna zająć od 3 do 5 godzin.
2. PRZEGLĄD Z PRZEWODNIKIEM I WPROWADZENIE DO SYSTEMU RATER CONNECTION (RC): Kandydat na ratera spotyka się z przydzielonym mu Rater Training Managerem w celu omówienia i wyjaśnienia kluczowych elementów materiałów szkoleniowych, w tym poziomów biegłości i szczegółów wykorzystywanych do identyfikacji różnych poziomów. Następnie Rater Training Manager pomaga kandydatowi w uzyskaniu dostępu do internetowego oprogramowania Rater Connection Avant(patrz krok 3) i przeprowadza go przez kilka odpowiedzi, pokazując, jak korzystać z systemu Rater Connection. Krok 2 jest zazwyczaj przeprowadzany w formie wirtualnego spotkania pomiędzy kandydatem na ratera a Rater Training Managerem, które powinno trwać 2-3 godziny.
3. PRAKTYKA Z SYSTEMEM RATER CONNECTION (RC): AvantRC pozwala kandydatowi na ocenę wybranych odpowiedzi szkoleniowych/anchor i otrzymanie natychmiastowej informacji zwrotnej na temat oceny każdej odpowiedzi. Celem tego etapu procesu szkoleniowego jest zapoznanie kandydata na ratera z wieloma odpowiedziami testera, które zostały wcześniej ocenione przez Avant Master Raters. Każda odpowiedź szkoleniowa zawiera szczegółową adnotację lub wyjaśnienie, dlaczego dany element został oceniony w taki, a nie inny sposób. Proces ten pozwala kandydatowi na ocenę różnorodnych odpowiedzi na wszystkich poziomach z natychmiastową informacją zwrotną w celu internalizacji i zastosowania kryteriów punktacji. Krok 3 to niezależna sesja ćwiczeniowa online z oczekiwanym zaangażowaniem czasowym wynoszącym 4-5 godzin lub dłuższym, jeśli to konieczne, w celu uzupełnienia ćwiczeniowych banków odpowiedzi.
4. UPROSZCZONA ANALIZA PRAKTYCZNEGO POŁĄCZENIA Z RATEREM: Po ukończeniu przez kandydata na ratera odpowiedzi szkoleniowych w RC, kandydat spotyka się z przydzielonym mu Rater Training Managerem, aby omówić i wyjaśnić kwestie, które pojawiły się podczas praktycznej sesji oceniania. W szczególności przeglądane są odpowiedzi, które nie zostały poprawnie ocenione, a także udzielane są odpowiedzi na pytania dotyczące kryteriów punktacji i opisów poziomów oraz ich zastosowania do odpowiedzi. Rater Training Manager jest w stanie zobaczyć, z jakimi kryteriami zmagał się potencjalny oceniający i może szybko zidentyfikować obszary, które wymagają dalszego wsparcia lub szkolenia. W tym momencie kierownik ds. szkoleń może zdecydować, czy potencjalny rater powinien powtórzyć krok 3 programu szkoleniowego Avant , czy też przejść do kroku 5 w celu uzyskania certyfikacji. Etap 4 jest zazwyczaj przeprowadzany w formie wirtualnego spotkania pomiędzy kandydatami na raterów a kierownikiem ds. szkolenia raterów i wymaga poświęcenia jednej lub więcej godzin, w zależności od liczby obszarów, które należy zweryfikować.
5. CERTYFIKACJA: Ostatnim krokiem w programie szkoleniowym Avant Rater Training Program jest zdanie przez kandydata testu certyfikacyjnego poprzez uzyskanie 90% lub wyższej zgodności w punktacji z Master Raters Avant . Aby ukończyć ten test, kandydat na recenzenta uzyskuje dostęp do systemu Rater Connection i ocenia bank odpowiedzi certyfikacyjnych w procesie, który replikuje doświadczenie, jakie będzie miał podczas oceniania odpowiedzi uczniów w systemie na żywo. Bank certyfikatów składa się z odpowiedzi wcześniej ocenionych przez Master Raters Avant , ale bez adnotacji i komentarzy dostarczonych podczas sesji szkoleniowych. Po zakończeniu testu certyfikacyjnego kandydat na recenzenta jest powiadamiany o swoim wyniku. Następnie Rater Training Manager spotyka się z kandydatem na recenzenta, aby zidentyfikować kwestie związane z oceną, angażując go w razie potrzeby w ponowne szkolenie. Kandydaci na recenzentów, którzy osiągną 90% lub wyższą zgodność z Avant Master Raters, zostają wyznaczeni jako certyfikowani Avant Raters, którzy są uprawnieni do oceniania aktywnych odpowiedzi testowych STAMP .
6. OCENA NA ŻYWO: Po ukończeniu wszystkich elementów szkolenia i zdaniu testu certyfikującego, kandydat otrzymuje dostęp do odpowiedzi na żywo w systemie Rater Connection. Nowo certyfikowany Rater jest następnie instruowany, aby przejść do systemu i ocenić partię (25 odpowiedzi), informując swojego Rater Managera o ukończeniu partii. Następnie Rater Manager przechodzi do strony administratora, aby przejrzeć każdy element oceniony przez certyfikowanego Ratera w celu sprawdzenia, czy wyniki są dokładne. Gdy Rater Manager jest zadowolony z dokładności oceny odpowiedzi przez nowo certyfikowanego Ratera, może on kontynuować ocenianie. Menedżer ds. oceny nadal uważnie monitoruje nowo certyfikowanego recenzenta w ciągu pierwszych kilku tygodni oceniania.
7. Niniejszy program Avant Rater Program został opracowany i udoskonalony, aby sprostać wymaganiom ustanowienia wysokiego poziomu jakości i dokładności wśród wszystkich osób oceniających na stronie Avant . Szkolenie punktowe odbywa się również na bieżąco, gdy menedżerowie ds. oceny Avant każdego dnia przeglądają statystyki wiarygodności i dokładności między ocenami. System oceny STAMP ułatwia ciągłe monitorowanie trendów punktacji i ostrzega Rater Managerów o problemach z punktacją i anomaliach, dzięki czemu można w odpowiednim czasie przeprowadzić ponowne szkolenie.

Jak oceniane są testy STAMP ?

Odpowiedzi na pytania testowe Avant STAMP są oceniane przez człowieka w środowisku internetowym Rater Connection. Testy czytania i słuchania (wielokrotnego wyboru) są oceniane komputerowo. Skonstruowane odpowiedzi (mówienie i pisanie) są oceniane przez Certyfikowanych Raterów Avant za pośrednictwem interfejsu internetowego. W szczególności, internetowy, rozproszony system oceniania AvantRater Connection System zarządza wszystkimi odpowiedziami uczniów i ułatwia punktację poprzez dystrybucję kolejek 25 odpowiedzi pisemnych lub ustnych do certyfikowanych Avant Raters po zalogowaniu się do systemu. Oceniający oceniają każdą odpowiedź w procesie kreatora krok po kroku, starannie rozważając każdy z czterech elementów lub kryteriów oceny.

Cztery elementy punktacji w testach biegłości językowej Avant

1. Czy odpowiedź jest ocenna i zgodna z zadaniem?
2. Jaki typ tekstu lub ilość języka specyficznego dla poziomu jest widoczna?
3. Jaka jest jakość tekstu pod względem ogólnej zrozumiałości?
4. Jaka jest ogólna dokładność odpowiedzi?

System punktacji śledzi i oblicza wszystkie oceny, a następnie generuje złożony wynik dla każdej odpowiedzi w oparciu o te kryteria oceny.

Co to jest wiarygodność międzyosobowa (IRR) i jak jest monitorowana?

Inter-Rater Reliability (IRR) jest miarą tego, jak konsekwentnie Certyfikowani Oceniający stosują kryteria oceny Avant do odpowiedzi uczniów. Avant dąży do utrzymania wysokiego poziomu Inter-Rater Reliability poprzez konsekwentne porównywanie ocen i dostarczanie ciągłych szkoleń w razie potrzeby. W szczególności, wiarygodność między oceniającymi jest śledzona w systemie, ponieważ 20% wszystkich odpowiedzi jest dostarczanych do drugiego oceniającego w celu ślepej drugiej oceny tej odpowiedzi. Oznacza to, że w każdej kolejce 25 odpowiedzi (liczba odpowiedzi uczniów ocenianych w partii) znajduje się 5 odpowiedzi, które zostały wcześniej ocenione przez innego certyfikowanego recenzenta. Następnie system monitoruje, jak drugi Certyfikowany Recenzent ocenia te odpowiedzi. Jeśli istnieje różnica w przypisanych poziomach między pierwszym a drugim certyfikowanym recenzentem, RC wysyła tę odpowiedź do trzeciego certyfikowanego recenzenta, który rozstrzyga wynik. Rater Managerowie są w stanie zobaczyć, które odpowiedzi otrzymały dwie oceny i, co ważniejsze, te odpowiedzi, które otrzymały trzy oceny i mogą śledzić, jak każda odpowiedź została oceniona przez trzech różnych oceniających. Rater Managerowie mogą zobaczyć trendy w punktacji i skierować szkolenie just-in-time do każdego Certyfikowanego Ratera, który potrzebuje przekwalifikowania. Menedżerowie zbierają i wykorzystują te "trudne" odpowiedzi podczas sesji szkoleniowych.

W jaki sposób Avant mierzy wiarygodność międzyosobową (IRR)?

Avant wykorzystuje dwukryterialną rubrykę do przypisywania punktów do odpowiedzi ustnych i pisemnych. Te dwa kryteria, jak wskazano powyżej, to typ tekstu (ilość języka) i dokładność (zrozumiałość). Dla naszych celów przykładamy większą wagę do kryteriów typu tekstu na poziomach 1-6 (od początkującego niskiego do średnio zaawansowanego wysokiego), a następnie bardziej zrównoważoną wagę na poziomach 7 i 8 (zaawansowany niski i średni). Gdy certyfikowani oceniacze oceniają odpowiedzi uczniów w mowie i piśmie, najpierw określają wynik typu tekstu z następującymi możliwymi wyborami :

• Non-Ratable (0)
• Słowa (1)
• Zwroty (2)
• Zdania proste (3)
• Ciągi zdań (4)
• Zdania połączone (5)
• Pojawiający się akapit (6)
• Struktura akapitu (7)
• Akapit rozszerzony (8)

Po określeniu kryterium typu tekstu, RC kieruje oceniającego do określenia dokładności/zrozumiałości odpowiedzi z następującymi możliwościami wyboru dla konkretnego wyniku typu tekstu: poniżej średniej, średnia lub powyżej średniej. RC łączy wyniki z obu tych kryteriów, aby określić ostateczny wynik/poziom dla danej odpowiedzi. Avant może następnie sprawdzić zgodność certyfikowanych oceniających w każdym języku, aby określić procent IRR dla dowolnego języka w dowolnym okresie czasu.

W jaki sposób Avant mierzy dokładność ocen i monitoruje dryft?

Równie ważny dla rzetelności międzyosobowej jest konstrukt dokładności. Ideałem jest, aby wszyscy oceniający byli zgodni, tworząc wysoki IRR, ale jeśli istnieje jakiekolwiek odchylenie od standardów (punktowanie odpowiedzi zbyt wysoko lub zbyt nisko), musimy również wiedzieć o tej sytuacji. Aby rozwiązać problem dryftu, Avant wstrzykuje elementy kotwiczne (fragmenty, które zostały wybrane i wstępnie ocenione przez każdego menedżera oceniającego język) do kolejek oceniania, a następnie menedżerowie oceniający monitorują, w jaki sposób certyfikowani oceniający oceniają te specjalne odpowiedzi. Podobnie jak odpowiedzi IRR, są one dostarczane do oceniających w sposób niewidomy, dzięki czemu oceniający nie są w stanie w żaden sposób zidentyfikować tych odpowiedzi. Rater Managerowie są w stanie sprawdzić, czy oceniający odbiegają od standardów. W oparciu o te informacje, Rater Managerowie mogą zająć się wszelkimi odchyleniami poprzez przekwalifikowanie i sesje wsparcia. Jest to ważna funkcja naszego systemu Rater Connection i może być ustawiona na dostarczanie elementów kotwiczących w określonych odstępach czasu.

W jaki sposób obliczane i zgłaszane są ostateczne poziomy dla każdej umiejętności?

Test Avant STAMP dostarcza trzy podpowiedzi w mowie i trzy podpowiedzi w piśmie każdemu zdającemu, któremu przypisano daną dziedzinę lub fazę testu, tj. mówienie lub pisanie. Ostateczny wynik jest obliczany na podstawie dwóch najwyższych wyników z trzech próbek. Tak więc ostateczny przypisany poziom uwzględnia każdą odpowiedź, która została przesłana i oceniona przez certyfikowanych recenzentów Avant i określa poziom, który zdający był w stanie utrzymać w trzech zadaniach.

Na przykład:

Uczestnik testu, który otrzyma 3 (średnio-wysoki) za swoją pierwszą odpowiedź, 4 (średnio-niski) za swoją drugą odpowiedź i 3 (średnio-wysoki) za swoją trzecią odpowiedź, otrzyma końcowy wynik 3 (średnio-wysoki) dla tej domeny. Oznacza to, że na MINIMUM uczeń był w stanie utrzymać biegłość na poziomie 3 (Novice-High). Jednak w tym przypadku jedna z odpowiedzi została oceniona na wyższym poziomie, a zatem w raporcie znajduje się niebieski pasek wskazujący, że uczeń może zbliżać się do następnego wyższego poziomu i zachęca nauczyciela do przyjrzenia się tej konkretnej odpowiedzi. Ponieważ ostateczny wynik lub poziom pochodzi z wyniku wszystkich trzech odpowiedzi, system jest w stanie poradzić sobie z każdą pojedynczą odpowiedzią, która mogła zostać oceniona niedokładnie lub na którą zdający mógł po prostu nie być w stanie odpowiedzieć i zachować dokładne raportowanie ogólnych umiejętności zdającego dla każdej domeny.

W związku z tym proces wykorzystywania dwóch najwyższych wyników mówienia lub pisania do przypisania ostatecznego poziomu mówienia lub pisania ucznia jest stosowany w celu zminimalizowania zgłaszania fałszywie ujemnych lub fałszywie dodatnich ocen dla ogólnego wyniku domeny.

Informacje o Avant Assessment

Kliknij tutaj, aby rozpocząć swoją drogę do biegłości

Artykuły, które mogą Ci się również spodobać:

• https://avantassessment.com/blog/how-standards-are-used-in-language-proficiency-assessments
• https://avantassessment.com/blog/four-steps-to-graduating-higher-proficiency-level-language-learners
• https://avantassessment.com/blog/test-reliability-and-validity