Los profesores como evaluadores = éxito
Todos los días recibimos llamadas de escuelas de todo el país. Pero esta era diferente.
"¿Qué le has hecho a Marie-Pierre?", preguntó el director. "Es una profesora totalmente diferente. Su aula está muy viva y su programa está creciendo. Lo que estáis haciendo está funcionando".
Al principio, la pregunta desconcertó a Maury Ennis, que dirige a nuestros evaluadores como Marie-Pierre. No habían hecho nada especial con Marie-Pierre, tan solo pasarla por el programa de conexión de evaluadores para que pudiera puntuar con precisión STAMP 4S speaking and writing responses. Y, desde luego, no le habían dicho cómo enseñar francés.
Por otra parte, la esencia de la enseñanza basada en estándares es un conjunto de resultados comunes. La puntuación de miles de respuestas orales y escritas de los alumnos había dado a Marie-Pierre una comprensión profunda y concreta de lo que es realmente el dominio del idioma. Durante años había leído las palabras sobre el papel - "situaciones familiares" "generalmente comprensible" "discurso conectado"- pero no fue hasta que se sentó a puntuar todas esas respuestas en francés que los conceptos abstractos cobraron vida. Calificar las respuestas de alumnos tan diversos la obligó a alinearse con otros alumnos de todo el país.
Nuestra misión es obtener índices de aptitud fiables
"Nuestra misión y nuestro negocio dependen de la fiabilidad de las calificaciones de aptitud de cada alumno. Todos nuestros evaluadores tienen que estar de acuerdo", afirma nuestro fundador, David Bong.
"Calificamos unas 500.000 respuestas al año", dice Maury. "Mi trabajo consiste en asegurarme de que todas se califican con rapidez y precisión".
Con estudiantes y evaluadores repartidos por todo el mundo, tiene un trabajo duro. Para hacerlo posible, nuestros ingenieros de software se asociaron con Maury para crear Rater Connection, basado en un prototipo del Centro de Estudios Aplicados de Segundas Lenguas (CASLS) de la Universidad de Oregón. Rater Connection es un sistema en línea para formar, certificar y supervisar a los evaluadores que puntúan ese medio millón de respuestas al año.
Echemos un vistazo detrás del telón para ver cómo Maury y su equipo llevan a cabo esta monumental hazaña. El sistema consta de cuatro componentes clave: aprender, practicar, certificar y supervisar.
Los cuatro elementos de la calificación del dominio de idiomas
Aprender: Especificación de criterios
Maury comienza orientando a los nuevos evaluadores sobre los criterios de STAMP 4S, que se derivan de las Directrices de Competencia de ACTFL. Del mismo modo que la formación OPI (Oral Proficiency Interview) ofrece a los evaluadores técnicas y criterios que no se recogen directamente en las Pautas, Avant ofrece a los evaluadores criterios específicos para hacer más concretas las Pautas abstractas. Por ejemplo, las Pautas para el nivel intermedio-alto establecen que los estudiantes deben producir "oraciones conectadas en párrafos utilizando un número limitado de dispositivos cohesivos". Esto puede significar muchas cosas para muchas personas, por lo que Maury presenta a los evaluadores una regla empírica que es más fácil de interpretar de forma coherente: Una respuesta debe contener cláusulas dependientes. Esto distingue entre frases como "Mi amigo y yo fuimos a la tienda. Compramos helado. Nos lo comimos de camino a casa". (No contiene cláusulas dependientes. No cumple el criterio de "oraciones conectadas"), y "Mi amigo y yo nos comimos el helado que compramos en la tienda". (Incluye una cláusula dependiente. Cumple parte del criterio de "oraciones conectadas").
Practicar: Aplicación de los criterios a las respuestas de los alumnos
Una vez que los evaluadores comprenden los criterios, empiezan a aplicar esos conocimientos a los ítems de práctica. Cada vez que puntúan una respuesta, reciben información inmediata sobre si la han puntuado correctamente y una explicación de la puntuación correcta. Repitiendo este proceso a lo largo de cientos de respuestas, los evaluadores interiorizan los criterios. La excelencia se convierte en un hábito.
Certificación: Garantizar la calidad de los evaluadores
Cuando están preparados, los nuevos evaluadores pueden realizar una prueba de certificación. Si puntúan correctamente al menos el 90% de las respuestas de los alumnos, se convierten en evaluadores certificados de Avant . Si no alcanzan el 90%, pueden volver atrás, practicar un poco más y presentarse de nuevo al examen de certificación.
Supervisión: Mantener la excelencia
Incluso después de obtener la certificación, los evaluadores de Avant tienen que seguir demostrando que son coherentes y fiables. Rater Connection inserta un ítem de anclaje -acordado por calificadores maestros- en cada lote de 25 respuestas reales. Esto muestra a Maury cómo puntúan los distintos calificadores ese ítem de anclaje y garantiza que se mantienen fieles a la norma a lo largo del tiempo. Además, uno de cada cinco ítems se elige al azar para una doble puntuación. Si los dos primeros calificadores no están de acuerdo, el ítem pasa a un tercer calificador, y los calificadores principales revisan cuidadosamente todas las decisiones de desempate.
Proporcionar a los estudiantes de idiomas calificaciones precisas basadas en su competencia a un coste razonable es una de nuestras aportaciones a este campo. Pero el mayor valor de este sistema es que puede utilizarse para mejorar la enseñanza y el aprendizaje. Esto es lo que le ocurrió a Marie-Pierre.
"Por supuesto, nos hizo mucha ilusión oírlo", dice Maury. "Pero fue una consecuencia imprevista. Al fin y al cabo, somos una empresa de evaluación y desarrollo profesional."
En la próxima entrada del blog aprenderá cómo hemos pasado de Rater Connection a ADVANCEuna herramienta que escuelas, distritos y universidades utilizan para ayudar a sus profesores a transformar su enseñanza como Marie-Pierre.
