Nauczyciele jako oceniający = sukces
Codziennie otrzymujemy telefony od szkół z całego kraju. Ale ten był inny.
"Co zrobiłeś Marie-Pierre?" zapytał dyrektor. "Jest zupełnie inną nauczycielką. Jej klasa jest tak żywa, a program się rozwija. Cokolwiek robisz, działa".
Na początku pytanie to zaskoczyło Maurę Ennis, która zarządza naszymi oceniającymi, takimi jak Marie-Pierre. Nie zrobili nic specjalnego z Marie-Pierre, po prostu przeprowadzili ją przez program łączący raterów, aby mogła dokładnie ocenić STAMP 4S odpowiedzi w mowie i piśmie. I z pewnością nie powiedzieli jej, jak uczyć francuskiego.
Z drugiej strony, istotą nauczania opartego na standardach jest zestaw powszechnie rozumianych wyników. Ocenianie tysięcy odpowiedzi uczniów w mowie i piśmie dało Marie-Pierre głębokie i konkretne zrozumienie tego, jak naprawdę wygląda biegłość. Przez lata czytała słowa na papierze - "znane sytuacje" "ogólnie zrozumiałe" "powiązany dyskurs" - ale dopiero gdy usiadła, by ocenić wszystkie te francuskie odpowiedzi, abstrakcyjne pojęcia ożyły. Ocenianie tych odpowiedzi od różnych uczniów zmusiło ją do dostosowania się do innych w całym kraju.
Wiarygodne oceny biegłości to nasza misja
"Nasza misja i nasza działalność zależy od zapewnienia wiarygodnych ocen biegłości dla każdego ucznia. Wszyscy nasi oceniający muszą być na tej samej stronie" - mówi założyciel David Bong.
"Oceniamy około 500 000 odpowiedzi rocznie" - mówi Maury. "Moim zadaniem jest upewnienie się, że wszystkie są oceniane szybko i dokładnie".
Z uczniami i oceniającymi rozproszonymi po całym świecie, ma ona trudne zadanie. Aby było to możliwe, nasi inżynierowie oprogramowania połączyli siły z Maury, aby zbudować Rater Connection, który został oparty na prototypie z University of Oregon's Center for Applied Second Language Studies (CASLS). Rater Connection to internetowy system szkolenia, certyfikacji i monitorowania osób oceniających, które oceniają pół miliona odpowiedzi rocznie.
Zajrzyjmy za kurtynę, aby zobaczyć, jak Maury i jej zespół dokonują tego monumentalnego wyczynu. System składa się z czterech kluczowych elementów: nauki, praktyki, certyfikacji i monitorowania.
Cztery elementy oceny biegłości językowej
Nauka: Określanie kryteriów
Maury rozpoczyna od zapoznania nowych oceniających z kryteriami STAMP 4S, które pochodzą z Wytycznych ACTFL dotyczących biegłości językowej. Podobnie jak szkolenie OPI (Oral Proficiency Interview) daje oceniającym techniki i kryteria, które nie są bezpośrednio określone w Wytycznych, Avant daje oceniającym konkretne kryteria, aby abstrakcyjne Wytyczne stały się bardziej konkretne. Na przykład, wytyczne dla poziomu średnio zaawansowanego określają, że uczniowie muszą tworzyć "zdania połączone w akapity przy użyciu ograniczonej liczby spójników". Może to oznaczać wiele rzeczy dla wielu osób, więc Maury wprowadza oceniających do zasady kciuka, która jest łatwiejsza do spójnej interpretacji: Odpowiedź powinna zawierać zdania zależne. To rozróżnia zdania takie jak "Mój przyjaciel i ja poszliśmy do sklepu. Kupiliśmy lody. Zjedliśmy je w drodze do domu." (Brak zdań zależnych. Nie spełnia kryterium "połączonych zdań") i "Mój przyjaciel i ja zjedliśmy lody, które kupiliśmy w sklepie". (Zawiera zdanie zależne. Spełnia część kryterium "połączonych zdań").
Praktyka: Zastosowanie kryteriów do odpowiedzi uczniów
Gdy oceniający zrozumieją kryteria, zaczną stosować tę wiedzę w praktyce. Za każdym razem, gdy oceniają odpowiedź, otrzymują natychmiastową informację zwrotną o tym, czy ocenili ją poprawnie i wyjaśnienie prawidłowej oceny. Powtarzając ten proces przez setki odpowiedzi, oceniający internalizują kryteria. Doskonałość staje się nawykiem.
Certyfikacja: Zapewnienie jakości osób oceniających
Kiedy są gotowi, nowi oceniający mogą przystąpić do testu certyfikacyjnego. Jeśli poprawnie ocenią co najmniej 90% odpowiedzi uczniów, staną się certyfikowanymi oceniającymi Avant . Jeśli nie uda im się osiągnąć poziomu 90%, mogą wrócić, poćwiczyć jeszcze trochę i ponownie przystąpić do testu certyfikacyjnego.
Monitorowanie: Utrzymanie doskonałości
Nawet po uzyskaniu certyfikatu, osoby oceniające Avant muszą stale udowadniać, że są spójne i wiarygodne. Rater Connection wstawia jeden element kotwiczący - uzgodniony przez głównych oceniających - do każdej partii 25 rzeczywistych odpowiedzi. Pokazuje to Maury, jak różni oceniający oceniają ten element kotwicy i zapewnia, że pozostają wierni standardowi w czasie. Ponadto jeden z pięciu elementów jest losowo wybierany do podwójnej oceny. Jeśli dwaj pierwsi oceniający nie zgadzają się ze sobą, przedmiot trafia do trzeciego oceniającego, a główni oceniający dokładnie sprawdzają wszystkie decyzje o remisie.
Dostarczanie dokładnych ocen opartych na biegłości osobom uczącym się języka za rozsądną cenę jest jednym z naszych wkładów w tę dziedzinę. Jednak największą wartością tego systemu jest to, że można go wykorzystać do poprawy nauczania i uczenia się. To właśnie przydarzyło się Marie-Pierre.
"Oczywiście byliśmy podekscytowani, gdy to usłyszeliśmy" - mówi Maury. "Ale była to niezamierzona konsekwencja. W końcu jesteśmy firmą zajmującą się oceną i rozwojem zawodowym".
W następnym wpisie na blogu dowiesz się, w jaki sposób przekształciliśmy Rater Connection w ADVANCEnarzędzie, z którego korzystają szkoły, okręgi i uniwersytety, aby pomóc nauczycielom przekształcić ich nauczanie tak jak Marie-Pierre.
