Los profesores como evaluadores = éxito
Todos los días recibimos llamadas de escuelas de todo el país. Pero esta era diferente.
"¿Qué le has hecho a Marie-Pierre?", preguntó el director. "Es una profesora totalmente diferente. Su aula está muy viva y su programa está creciendo. Lo que estáis haciendo está funcionando".
Al principio, la pregunta desconcertó a Maury Ennis, que dirige a nuestros evaluadores como Marie-Pierre. No habían hecho nada especial con Marie-Pierre, tan solo pasarla por el programa de conexión de evaluadores para que pudiera puntuar con precisión STAMP 4S speaking and writing responses. Y, desde luego, no le habían dicho cómo enseñar francés.
Por otra parte, la esencia de la enseñanza basada en estándares es un conjunto de resultados comunes. La puntuación de miles de respuestas orales y escritas de los alumnos había dado a Marie-Pierre una comprensión profunda y concreta de lo que es realmente el dominio del idioma. Durante años había leído las palabras sobre el papel - "situaciones familiares" "generalmente comprensible" "discurso conectado"- pero no fue hasta que se sentó a puntuar todas esas respuestas en francés que los conceptos abstractos cobraron vida. Calificar las respuestas de alumnos tan diversos la obligó a alinearse con otros alumnos de todo el país.
Nuestra misión es obtener índices de aptitud fiables
"Nuestra misión y nuestro negocio dependen de la fiabilidad de las calificaciones de aptitud de cada alumno. Todos nuestros evaluadores tienen que estar de acuerdo", afirma nuestro fundador, David Bong.
"Calificamos unas 500.000 respuestas al año", dice Maury. "Mi trabajo consiste en asegurarme de que todas se califican con rapidez y precisión".
Con estudiantes y evaluadores repartidos por todo el mundo, tiene un trabajo duro. Para hacerlo posible, nuestros ingenieros de software se asociaron con Maury para crear Rater Connection, basado en un prototipo del Centro de Estudios Aplicados de Segundas Lenguas (CASLS) de la Universidad de Oregón. Rater Connection es un sistema en línea para formar, certificar y supervisar a los evaluadores que puntúan ese medio millón de respuestas al año.
Echemos un vistazo detrás del telón para ver cómo Maury y su equipo llevan a cabo esta monumental hazaña. El sistema consta de cuatro componentes clave: aprender, practicar, certificar y supervisar.
Los cuatro elementos de la calificación del dominio de idiomas
Aprender: Especificación de criterios
Maury starts by orienting new raters to the STAMP 4S criteria, which are derived from US national proficiency standards. Just as OPI (Oral Proficiency Interview) training gives raters techniques and criteria not directly stated in the standards, Avant gives raters specific criteria to make the abstract standards more concrete. For example, the standards for Intermediate-High state that students must produce “connected sentences into paragraphs using a limited number of cohesive devices.” This can mean many things to many people, so Maury introduces raters to a rule of thumb that is easier to interpret consistently: A response should contain dependent clauses. This distinguishes between sentences such as “My friend and I went to the store. We bought ice cream. We ate it on the way home.” (No dependent clauses. Does not meet the “connected sentences” criterion.), and “My friend and I ate the ice cream that we bought at the store.” (Includes a dependent clause. Meets part of the “connected sentences” criterion.)
Practicar: Aplicación de los criterios a las respuestas de los alumnos
Una vez que los evaluadores comprenden los criterios, empiezan a aplicar esos conocimientos a los ítems de práctica. Cada vez que puntúan una respuesta, reciben información inmediata sobre si la han puntuado correctamente y una explicación de la puntuación correcta. Repitiendo este proceso a lo largo de cientos de respuestas, los evaluadores interiorizan los criterios. La excelencia se convierte en un hábito.
Certificación: Garantizar la calidad de los evaluadores
Cuando están preparados, los nuevos evaluadores pueden realizar una prueba de certificación. Si puntúan correctamente al menos el 90% de las respuestas de los alumnos, se convierten en evaluadores certificados de Avant . Si no alcanzan el 90%, pueden volver atrás, practicar un poco más y presentarse de nuevo al examen de certificación.
Supervisión: Mantener la excelencia
Incluso después de obtener la certificación, los evaluadores de Avant tienen que seguir demostrando que son coherentes y fiables. Rater Connection inserta un ítem de anclaje -acordado por calificadores maestros- en cada lote de 25 respuestas reales. Esto muestra a Maury cómo puntúan los distintos calificadores ese ítem de anclaje y garantiza que se mantienen fieles a la norma a lo largo del tiempo. Además, uno de cada cinco ítems se elige al azar para una doble puntuación. Si los dos primeros calificadores no están de acuerdo, el ítem pasa a un tercer calificador, y los calificadores principales revisan cuidadosamente todas las decisiones de desempate.
Proporcionar a los estudiantes de idiomas calificaciones precisas basadas en su competencia a un coste razonable es una de nuestras aportaciones a este campo. Pero el mayor valor de este sistema es que puede utilizarse para mejorar la enseñanza y el aprendizaje. Esto es lo que le ocurrió a Marie-Pierre.
"Por supuesto, nos hizo mucha ilusión oírlo", dice Maury. "Pero fue una consecuencia imprevista. Al fin y al cabo, somos una empresa de evaluación y desarrollo profesional."
En la próxima entrada del blog aprenderá cómo hemos pasado de Rater Connection a ADVANCEuna herramienta que escuelas, distritos y universidades utilizan para ayudar a sus profesores a transformar su enseñanza como Marie-Pierre.
