Lehrer Als Bewerter=Erfolg
Wir erhalten jeden Tag Anrufe von Schulen aus dem ganzen Land. Aber dieser war anders.
"Was haben Sie mit Marie-Pierre gemacht?" fragte der Schulleiter. "Sie ist eine völlig andere Lehrerin. Ihr Klassenzimmer ist so lebendig und ihr Programm wächst. Was auch immer Sie tun, es funktioniert."
Zunächst verwirrte die Frage Maury Ennis, der unsere Bewerter wie Marie-Pierre betreut. Sie hatten nichts Besonderes mit Marie-Pierre gemacht, sie nur durch das Bewerter-Verbindungsprogramm geführt, damit sie die Sprech- und Schreibantworten von STAMP 4S genau bewerten konnte. Und sie hatten ihr sicherlich nicht beigebracht, wie man Französisch unterrichtet.
Andererseits besteht das Wesentliche an normbasiertem Unterricht in einem Satz allgemein verstandener Ergebnisse. Das Bewerten von Tausenden von mündlichen und schriftlichen Antworten der Schüler hat Marie-Pierre ein tiefes und konkretes Verständnis davon gegeben, wie Kompetenz wirklich aussieht. Jahrelang hatte sie die Worte auf dem Papier gelesen - "vertraute Situationen", "allgemein verständlich", "zusammenhängende Diskurse" - aber erst als sie sich hinsetzte, um all diese französischen Antworten zu bewerten, wurden die abstrakten Konzepte lebendig. Die Bewertung dieser Antworten von verschiedenen Schülern zwang sie, sich mit anderen im ganzen Land abzustimmen.
Zuverlässige Kompetenzbewertungen Sind Unsere Mission
"Unsere Mission und unser Geschäft basieren darauf, zuverlässige Kompetenzbewertungen für jeden Schüler bereitzustellen. Alle unsere Bewerter müssen auf dem gleichen Stand sein", sagt unser Gründer David Bong.
"Wir bewerten etwa 500.000 Antworten pro Jahr", sagt Maury. "Meine Aufgabe besteht darin sicherzustellen, dass sie alle schnell und genau bewertet werden."
Mit Studenten und Bewertern, die über die ganze Welt verstreut sind, hat sie eine schwierige Aufgabe. Um dies zu ermöglichen, haben sich unsere Software-Ingenieure mit Maury zusammengetan, um Rater Connection zu erstellen, das auf einem Prototyp des Center for Applied Second Language Studies (CASLS) der University of Oregon basiert. Rater Connection ist ein Online-System für die Schulung, Zertifizierung und Überwachung von Bewertern, die jährlich diese halbe Million Antworten bewerten.
Werfen wir einen Blick hinter den Vorhang, um zu sehen, wie Maury und ihr Team diese monumentale Leistung vollbringen. Das System besteht aus vier Schlüsselkomponenten: Lernen, Üben, Zertifizieren und Überwachen.
Die vier Elemente der Bewertung von Sprachkompetenz
Lernen: Spezifizierung von Kriterien
Maury beginnt damit, neue Bewerter mit den STAMP 4S-Kriterien vertraut zu machen, die aus den US-amerikanischen nationalen Kompetenzstandards abgeleitet sind. Genau wie das OPI (Oral Proficiency Interview) Training den Bewertern Techniken und Kriterien vermittelt, die nicht direkt in den Standards genannt werden, gibt Avant den Bewertern spezifische Kriterien, um die abstrakten Standards konkreter zu machen. Zum Beispiel besagen die Standards für Intermediate-High, dass Schüler "verbundene Sätze zu Absätzen mit einer begrenzten Anzahl von kohäsiven Geräten" produzieren müssen. Dies kann für viele Menschen viele Dinge bedeuten, daher führt Maury die Bewerter in eine Faustregel ein, die leichter konsequent zu interpretieren ist: Eine Antwort sollte Nebensätze enthalten. Dies unterscheidet zwischen Sätzen wie "Mein Freund und ich gingen in den Laden. Wir kauften Eis. Wir aßen es auf dem Heimweg." (Keine Nebensätze. Erfüllt nicht das Kriterium "verbundene Sätze".) und "Mein Freund und ich aßen das Eis, das wir im Laden gekauft haben." (Enthält einen Nebensatz. Erfüllt einen Teil des Kriteriums "verbundene Sätze".)
Üben: Anwendung der Kriterien auf Schülerantworten
Sobald Bewerter die Kriterien verstehen, beginnen sie, dieses Wissen auf Übungsgegenstände anzuwenden. Jedes Mal, wenn sie eine Antwort bewerten, erhalten sie sofortiges Feedback darüber, ob sie diese korrekt bewertet haben und eine Erklärung der korrekten Bewertung. Durch die Wiederholung dieses Prozesses bei Hunderten von Antworten verinnerlichen die Bewerter die Kriterien. Exzellenz wird zur Gewohnheit.
Zertifizierung: Sicherstellung der Qualität von ... Bewertern
Wenn sie bereit sind, können neue Bewerter eine Zertifizierungsprüfung ablegen. Wenn sie mindestens 90% der Schülerantworten korrekt bewerten, werden sie zu zertifizierten Avant-Bewertern. Wenn sie es nicht schaffen, das 90%-Niveau zu erreichen, können sie zurückgehen, mehr üben und die Zertifizierungsprüfung erneut ablegen.
Überwachung: Aufrechterhaltung von Exzellenz
Auch nach ihrer Zertifizierung müssen Avant-Bewerter weiterhin beweisen, dass sie konsequent und zuverlässig sind. Rater Connection fügt einen Ankerpunkt - vereinbart von den Master-Bewertern - in jede Charge von 25 echten Antworten ein. Dies zeigt Maury, wie verschiedene Bewerter diesen Ankerpunkt bewerten und stellt sicher, dass sie im Laufe der Zeit dem Standard treu bleiben. Zusätzlich wird eines von fünf Elementen zufällig für eine Doppelbewertung ausgewählt. Wenn die ersten beiden Bewerter nicht übereinstimmen, geht das Element an einen dritten Bewerter, wobei die Master-Bewerter alle Entscheidungen zur Entscheidungsfindung sorgfältig überprüfen.
Die Bereitstellung genauer Kompetenz-basierter Bewertungen für Sprachlerner zu einem angemessenen Preis ist einer unserer Beiträge in diesem Bereich. Aber der größte Wert dieses Systems liegt darin, dass es zur Verbesserung von Unterricht und Lernen eingesetzt werden könnte. Dies ist das, was Marie-Pierre passiert ist.
"Natürlich waren wir begeistert, das zu hören", sagt Maury. "Aber es war eine unbeabsichtigte Konsequenz. Schließlich sind wir ein Bewertungsunternehmen und ein Unternehmen für berufliche Weiterentwicklung."
Im nächsten Blogbeitrag erfahren Sie, wie wir vom Rater Connection zu ADVANCE übergegangen sind, einem Werkzeug, das Schulen, Bezirke und Universitäten nutzen, um ihren Lehrern dabei zu helfen, ihren Unterricht wie Marie-Pierre zu transformieren.
