Les Enseignants en Tant qu'Évaluateurs=Succès
Nous recevons des appels d'écoles de tout le pays chaque jour. Mais celui-ci était différent.
"Qu'avez-vous fait à Marie-Pierre?" a demandé le directeur. "Elle est une enseignante totalement différente. Sa salle de classe est si vivante et son programme se développe. Tout ce que vous faites fonctionne."
Au début, la question a déconcerté Maury Ennis, qui gère nos évaluateurs comme Marie-Pierre. Ils n'avaient rien fait de spécial avec Marie-Pierre, simplement la faire passer par le programme de connexion des évaluateurs afin qu'elle puisse noter avec précision les réponses orales et écrites de STAMP 4S. Et ils ne lui avaient certainement pas dit comment enseigner le français.
D'autre part, l'essence de l'enseignement basé sur les normes est un ensemble de résultats communément compris. La notation de milliers de réponses orales et écrites d'étudiants avait donné à Marie-Pierre une compréhension profonde et concrète de ce à quoi ressemble vraiment la compétence. Pendant des années, elle avait lu les mots sur le papier - "situations familières" "généralement compréhensible" "discours connecté" - mais ce n'est qu'après s'être assise pour noter toutes ces réponses en français que les concepts abstraits ont pris vie. La notation de ces réponses provenant d'étudiants divers l'a forcée à s'aligner avec d'autres personnes à travers le pays.
La Fiabilité des Évaluations de Compétence est Notre Mission
"Notre mission et notre entreprise dépendent de la fourniture d'évaluations de compétence fiables pour chaque étudiant. Tous nos évaluateurs doivent être sur la même longueur d'onde", déclare notre fondateur David Bong.
"Nous évaluons environ 500 000 réponses par an", dit Maury. "Mon travail consiste à m'assurer qu'elles sont toutes notées rapidement et avec précision."
Avec des étudiants et des évaluateurs dispersés dans le monde entier, elle a un travail difficile. Pour le rendre possible, nos ingénieurs logiciels se sont associés à Maury pour construire Rater Connection, qui était basé sur un prototype de l'Université de l'Oregon, Centre d'Études Appliquées en Langues Secondes (CASLS). Rater Connection est un système en ligne pour la formation, la certification et le suivi des évaluateurs qui notent ces demi-million de réponses par an.
Jetons un coup d'œil derrière le rideau pour voir comment Maury et son équipe réalisent cet exploit monumental. Le système se compose de quatre composants clés : l'apprentissage, la pratique, la certification et la surveillance.
Les Quatre Éléments de l'Évaluation de la Maîtrise d'une Langue
Apprentissage: Rendre les critères spécifiques
Maury commence par orienter les nouveaux évaluateurs vers les critères STAMP 4S, qui sont dérivés des normes nationales de compétence américaines. Tout comme la formation OPI (Oral Proficiency Interview) fournit aux évaluateurs des techniques et des critères non directement énoncés dans les normes, Avant donne aux évaluateurs des critères spécifiques pour rendre les normes abstraites plus concrètes. Par exemple, les normes pour le niveau intermédiaire-élevé stipulent que les étudiants doivent produire des "phrases connectées en paragraphes en utilisant un nombre limité de dispositifs de cohésion". Cela peut signifier beaucoup de choses pour beaucoup de gens, alors Maury présente aux évaluateurs une règle de base qui est plus facile à interpréter de manière cohérente : Une réponse doit contenir des propositions subordonnées. Cela distingue des phrases telles que "Mon ami et moi sommes allés au magasin. Nous avons acheté de la glace. Nous l'avons mangée sur le chemin du retour." (Pas de propositions subordonnées. Ne répond pas au critère des "phrases connectées".), et "Mon ami et moi avons mangé la glace que nous avons achetée au magasin." (Comprend une proposition subordonnée. Répond en partie au critère des "phrases connectées".)
Entraînement : Application des critères aux réponses des étudiants ...
Une fois que les évaluateurs comprennent les critères, ils commencent à appliquer ces connaissances aux éléments pratiques. Chaque fois qu'ils évaluent une réponse, ils reçoivent immédiatement un retour d'information sur la question de savoir s'ils l'ont correctement notée et une explication de la note correcte. En répétant ce processus à travers des centaines de réponses, les évaluateurs internalisent les critères. L'excellence devient une habitude.
Certification : Assurant la qualité des évaluateurs
Lorsqu'ils sont prêts, les nouveaux évaluateurs peuvent passer un test de certification. S'ils évaluent correctement au moins 90% des réponses des étudiants, ils deviennent des évaluateurs certifiés Avant. S'ils n'atteignent pas le niveau de 90%, ils peuvent revenir, s'entraîner davantage et repasser le test de certification.
Surveillance : Maintenir l'excellence
Même après leur certification, les évaluateurs d'Avant doivent continuer à prouver qu'ils sont cohérents et fiables. Rater Connection insère un élément d'ancrage - convenu par les évaluateurs principaux - dans chaque lot de 25 réponses réelles. Cela montre à Maury comment les différents évaluateurs notent cet élément d'ancrage et garantit qu'ils restent fidèles à la norme au fil du temps. De plus, un élément sur cinq est choisi au hasard pour une double évaluation. Si les deux premiers évaluateurs ne sont pas d'accord, l'élément est envoyé à un troisième évaluateur, les évaluateurs principaux examinant attentivement toutes les décisions de bris d'égalité.
Fournir des évaluations précises basées sur la compétence aux apprenants de langues à un coût raisonnable est l'une de nos contributions dans ce domaine. Mais la plus grande valeur de ce système est qu'il pourrait être utilisé pour améliorer l'enseignement et l'apprentissage. C'est ce qui est arrivé à Marie-Pierre.
"Bien sûr, nous étions ravis d'entendre cela," dit Maury. "Mais c'était une conséquence non intentionnelle. Après tout, nous sommes une entreprise d'évaluation et une entreprise de développement professionnel."
Dans le prochain article de blog, découvrez comment nous sommes passés de Rater Connection à ADVANCE, un outil que les écoles, les districts et les universités utilisent pour aider leurs enseignants à transformer leur enseignement comme Marie-Pierre.
