Nauczyciele Jako Oceniający=Sukces
Otrzymujemy telefony ze szkół z całego kraju każdego dnia. Ale ten był inny.
"Co zrobiłeś z Marie-Pierre?" zapytał dyrektor. "Jest zupełnie inną nauczycielką. Jej klasa jest tak pełna życia, a jej program się rozwija. Cokolwiek robisz, działa."
Początkowo pytanie zaskoczyło Maury'ego Ennisa, który zarządza naszymi oceniającymi tak jak Marie-Pierre. Nie zrobili niczego specjalnego z Marie-Pierre, po prostu przeprowadzili ją przez program łączenia oceniających, aby mogła dokładnie oceniać odpowiedzi mówione i pisane STAMP 4S. Na pewno nie mówili jej, jak uczyć francuskiego.
Z drugiej strony, istotą nauczania opartego na standardach jest zestaw powszechnie zrozumiałych wyników. Ocena tysięcy odpowiedzi mówionych i pisemnych uczniów dała Marie-Pierre głębokie i konkretne zrozumienie tego, jak naprawdę wygląda biegłość. Przez lata czytała słowa na papierze - "znajome sytuacje", "ogólnie zrozumiałe", "spójny dyskurs" - ale dopiero kiedy usiadła, aby ocenić wszystkie te francuskie odpowiedzi, abstrakcyjne koncepcje stały się żywe. Ocena tych odpowiedzi od różnorodnych uczniów zmusiła ją do dostosowania się do innych w całym kraju.
Niezawodne Oceny Biegłości To Nasza Misja
"Nasza misja i nasz biznes zależą od dostarczania wiarygodnych ocen biegłości dla każdego ucznia. Wszyscy nasi oceniający muszą być na tej samej stronie," mówi nasz założyciel David Bong.
"Oceniamy około 500 000 odpowiedzi rocznie," mówi Maury. "Moim zadaniem jest upewnienie się, że wszystkie są oceniane szybko i dokładnie."
Z uczniami i oceniającymi rozproszonymi na całym świecie, ma ciężką pracę. Aby to umożliwić, nasi inżynierowie oprogramowania połączyli siły z Maury, aby zbudować Rater Connection, który został oparty na prototypie z Centrum Stosowanych Studiów Języka Drugiego Uniwersytetu Oregonu (CASLS). Rater Connection to internetowy system szkolenia, certyfikacji i monitorowania oceniających, którzy oceniają te pół miliona odpowiedzi rocznie.
Rzućmy okiem za kurtynę, aby zobaczyć, jak Maury i jej zespół dokonują tego monumentalnego wyczynu. System składa się z czterech kluczowych elementów: nauki, praktyki, certyfikacji i monitoringu.
Cztery Elementy Oceny Biegłości Językowej
Nauka: Określanie konkretnych kryteriów ...
Maury rozpoczyna od wprowadzenia nowych oceniających do kryteriów STAMP 4S, które są pochodne od amerykańskich standardów krajowych. Podobnie jak szkolenie OPI (Oral Proficiency Interview) dostarcza oceniającym technik i kryteriów, które nie są bezpośrednio określone w standardach, Avant dostarcza oceniającym konkretnych kryteriów, które czynią abstrakcyjne standardy bardziej konkretnymi. Na przykład, standardy dla poziomu Intermediate-High mówią, że studenci muszą tworzyć "zdania połączone w akapity za pomocą ograniczonej liczby środków spójności". To może oznaczać wiele rzeczy dla wielu osób, dlatego Maury wprowadza oceniających do prostszej do interpretacji reguły: odpowiedź powinna zawierać zdania podrzędne. To odróżnia zdania takie jak "Ja i mój przyjaciel poszliśmy do sklepu. Kupiliśmy lody. Jedliśmy je w drodze do domu." (Brak zdań podrzędnych. Nie spełnia kryterium "połączonych zdań".), a "Ja i mój przyjaciel jedliśmy lody, które kupiliśmy w sklepie." (Zawiera zdanie podrzędne. Spełnia część kryterium "połączonych zdań".)
Ćwiczenie: Stosowanie kryteriów do odpowiedzi uczniów
Gdy oceniający zrozumieją kryteria, zaczynają stosować tę wiedzę do elementów praktycznych. Za każdym razem, gdy oceniają odpowiedź, otrzymują natychmiastowe informacje zwrotne, czy ocenili ją poprawnie, oraz wyjaśnienie poprawnej oceny. Powtarzając ten proces przez setki odpowiedzi, oceniający przyswajają kryteria. Doskonałość staje się nawykiem.
Certyfikacja: Zapewnianie jakości oceniających
Gdy są gotowi, nowi oceniający mogą przystąpić do testu certyfikacyjnego. Jeśli ocenią poprawnie co najmniej 90% odpowiedzi uczniów, stają się certyfikowanymi oceniającymi Avant. Jeśli nie osiągną poziomu 90%, mogą wrócić, poćwiczyć więcej i ponownie przystąpić do testu certyfikacyjnego.
Monitorowanie: Utrzymywanie doskonałości
Nawet po uzyskaniu certyfikacji, oceniający Avant muszą ciągle udowadniać, że są konsekwentni i niezawodni. Rater Connection wstawia jeden element kotwiczący - uzgodniony przez głównych oceniających - do każdej partii 25 prawdziwych odpowiedzi. Pokazuje to Maury'emu, jak różni oceniający oceniają ten element kotwiczący i zapewnia, że pozostają wierni standardowi na przestrzeni czasu. Dodatkowo, jeden z pięciu elementów jest losowo wybierany do podwójnej oceny. Jeśli dwóch pierwszych oceniających się nie zgadza, element trafia do trzeciego oceniającego, a główni oceniający dokładnie przeglądają wszystkie decyzje rozstrzygające remis.
Dostarczanie dokładnych ocen opartych na biegłości językowej dla uczących się języka za rozsądną cenę to jeden z naszych wkładów w tę dziedzinę. Ale największą wartością tego systemu jest to, że może być on wykorzystany do poprawy nauczania i uczenia się. To właśnie zdarzyło się Marie-Pierre.
"Oczywiście, byliśmy zachwyceni, kiedy to usłyszeliśmy," mówi Maury. "Ale to był niezamierzony skutek. Przecież jesteśmy firmą oceniającą i firmą zajmującą się rozwojem zawodowym."
W następnym wpisie na blogu dowiedz się, jak przeszliśmy z Rater Connection do ADVANCE, narzędzia, którego szkoły, dystrykty i uniwersytety używają, aby pomóc swoim nauczycielom przekształcić swoje nauczanie, tak jak Marie-Pierre.
