¿Quién evalúa las pruebas STAMP ?
Las respuestas calificadas por personas en las pruebas Avant STAMP, PLACE, Arabic Proficiency Test(APT) y Spanish Heritage Language son calificadas por calificadores Avant certificados que son educadores/hablantes de idiomas que cumplen los siguientes requisitos mínimos:
- CONOCIMIENTOS DE IDIOMAS: Los evaluadores deben mantener un nivel avanzado o superior de conocimientos de idiomas (determinado mediante entrevista telefónica o puntuación obtenida en una prueba de evaluación aprobada, es decir, STAMP4S, OPI, Entrevista ILR, MOPI o Praxis/certificación estatal de profesor).
- EDUCACIÓN: Los evaluadores deben poseer una licenciatura o un título superior.
- FORMACIÓN Y CERTIFICACIÓN: Los evaluadores deben completar el programa de formación específico para cada idioma de Avant Rater y obtener una puntuación del 90% en la evaluación de certificación.
- DISPONIBILIDAD: Los evaluadores deben estar disponibles para puntuar un número determinado de ítems (respuestas de los alumnos) cada semana (determinado por el responsable de la calificación lingüística y el evaluador).
¿Cómo se forma a los evaluadores Avant certificados?
Todos los evaluadores deben completar el Programa de Formación de Evaluadores de Avant y aprobar un examen de certificación antes de que se les permita evaluar las respuestas de los estudiantes. El proceso de formación consta de cinco pasos y suele durar entre 11 y 13 horas de trabajo individual y entre 2 y 3 horas con un gestor de formación de evaluadores.
- PREPARACIÓN ACADÉMICA: Los candidatos a evaluador estudian los materiales de Avant Rater Training que explican los niveles de competencia basados en las Directrices de Competencia de ACTFL y los Descriptores de Competencia de ILR y aprenden cómo Avant aplica estos niveles a las respuestas de los examinados. El objetivo de este paso es orientar a los candidatos a evaluadores sobre los problemas que se experimentan al calificar ítems de respuesta construida (expresión oral y escrita) y esbozar el rango de calificaciones que el sistema Avant puede asignar a las respuestas de los evaluados. El paso 1 es una fase de estudio independiente con una dedicación prevista de 3 a 5 horas.
- REVISIÓN GUIADA E INTRODUCCIÓN AL SISTEMA DE CONEXIÓN DE EVALUADORES (RC): El candidato a evaluador se reúne con el responsable de formación de evaluadores asignado para discutir y aclarar los elementos clave de los materiales de formación, incluidos los niveles de competencia y los detalles que se utilizan para identificar los distintos niveles. A continuación, el Gestor de Formación de Evaluadores ayuda al candidato a evaluador a acceder al Software de Conexión de Evaluadores en línea de Avant (véase el Paso 3) y le guía a través de varias respuestas, mostrándole cómo utilizar el Sistema de Conexión de Evaluadores. El paso 2 se lleva a cabo normalmente como una reunión virtual entre el candidato a evaluador y el Gestor de Formación de Evaluadores con un compromiso de tiempo previsto de 2-3 horas.
- PRACTIQUE CON EL SISTEMA DE CONEXIÓN DE EVALUADORES (RC): El RC de Avant permite al candidato a evaluador calificar respuestas seleccionadas de entrenamiento/anclaje y recibir retroalimentación inmediata sobre su calificación de cada respuesta. El propósito de esta etapa del proceso de entrenamiento es exponer al candidato a evaluador a muchas respuestas de evaluados que han sido previamente calificadas por evaluadores maestros de Avant. Cada respuesta de entrenamiento incluye una anotación o explicación detallada de por qué el ítem fue calificado de la manera en que lo fue. Este proceso permite al candidato a calificador evaluar una variedad de respuestas en todos los niveles con retroalimentación inmediata para interiorizar y aplicar los criterios de calificación. El paso 3 es una sesión de práctica independiente en línea con un compromiso de tiempo previsto de 4 a 5 horas, o más si es necesario, para completar los bancos de respuestas de práctica.
- ANÁLISIS GUIADO DE LA PR ÁCTICA DE CALIFICACIÓN: Una vez que el candidato a calificador ha completado las respuestas de capacitación en el CR, el candidato se reúne con su Gerente de Capacitación de Calificadores asignado para discutir y aclarar los problemas que surgieron durante la sesión de práctica de calificación. En concreto, se revisan las respuestas que no se puntuaron correctamente y se responde a las preguntas sobre los criterios de puntuación y las descripciones de los niveles y su aplicación a las respuestas. El responsable de formación de evaluadores puede ver con qué criterios tuvo problemas el futuro evaluador e identificar rápidamente las áreas que necesitan más apoyo o formación. En este punto, el director de formación de evaluadores puede decidir si el futuro evaluador repite el paso 3 del programa de formación de evaluadores de Avant o si pasa al paso 5 para la certificación. El Paso 4 se lleva a cabo normalmente como una reunión virtual entre los candidatos a evaluador y el Gestor de Formación de Evaluadores con un compromiso de tiempo esperado de una o más horas dependiendo del número de áreas que deban ser revisadas.
- CERTIFICACIÓN: El paso final en el Programa de Formación de Evaluadores de Avant consiste en que el candidato a evaluador pase una prueba de certificación obteniendo un 90% o más de acuerdo en la calificación con los Evaluadores Maestros de Avant. Para completar esta prueba, el candidato a evaluador accede al Sistema de Conexión de Evaluadores y califica un banco de certificación de respuestas en un proceso que reproduce la experiencia que tendrán cuando califiquen las respuestas de los estudiantes en el sistema en vivo. El banco de certificación se compone de respuestas previamente calificadas por Avant Master Raters, pero sin las anotaciones o comentarios proporcionados durante las sesiones de formación. Al finalizar la prueba de certificación, se notifica al candidato a evaluador su puntuación. A continuación, el director de formación de evaluadores se reúne con el candidato a evaluador para identificar los problemas de calificación y, si es necesario, le invita a participar en actividades de reciclaje. Los candidatos a evaluador que alcanzan un 90% o más de acuerdo con los evaluadores principales de Avant son designados evaluadores certificados de Avant y están cualificados para evaluar las respuestas activas del test STAMP .
- CALIFICACIÓN EN VIVO: Una vez que el candidato a evaluador ha completado todos los elementos de formación y superado la prueba de certificación, se le da acceso a las respuestas en directo en el sistema Rater Connection. El nuevo evaluador certificado debe entrar en el sistema y evaluar un lote (25 respuestas), informando a su administrador de evaluadores cuando haya completado el lote. A continuación, el administrador de evaluadores entra en el sitio de administración para revisar cada elemento evaluado por el evaluador certificado y comprobar que las puntuaciones son correctas. Cuando el administrador de evaluadores está satisfecho con la precisión de la calificación de las respuestas del nuevo evaluador certificado, éste puede continuar calificando. El Administrador de Evaluadores continúa supervisando de cerca al nuevo Evaluador Certificado durante las primeras semanas de evaluación.
- Este Programa de Evaluadores de Avant ha sido desarrollado y perfeccionado para satisfacer las demandas de establecer altos niveles de calidad y precisión en todos los evaluadores de Avant. La formación puntual también se lleva a cabo de forma continua, ya que los administradores de evaluadores de idiomas específicos de Avant revisan cada día la fiabilidad entre evaluadores y las estadísticas de precisión. El sistema de calificación STAMP facilita la supervisión constante de las tendencias de calificación y alerta a los administradores de calificadores de los problemas y anomalías de calificación para que se pueda llevar a cabo un reciclaje justo a tiempo.
¿Cómo se califican las pruebas de STAMP ?
La calificación humana de las respuestas a los ítems del test Avant STAMP se realiza en el entorno en línea de Rater Connection. Los ítems del examen de lectura y comprensión oral (opción múltiple) se califican por ordenador. Las respuestas construidas (expresión oral y escrita) son calificadas por calificadores certificados de Avant a través de una interfaz basada en la web. En concreto, el sistema de calificación distribuida en línea Rater Connection System de Avant gestiona todas las respuestas de los alumnos y facilita la calificación distribuyendo colas de 25 respuestas escritas u orales a los calificadores certificados de Avant cuando inician sesión en el sistema. Los calificadores puntúan cada respuesta siguiendo un proceso paso a paso, considerando cuidadosamente cada uno de los cuatro elementos o criterios de puntuación.
Los cuatro elementos de puntuación de los exámenes de aptitud lingüística Avant
- ¿La respuesta es aceptable y se ajusta a la tarea?
- ¿Qué tipo de texto o cantidad de lenguaje específico del nivel es evidente?
- ¿Cuál es la calidad del texto en términos de comprensibilidad global?
- ¿Cuál es la precisión global de la respuesta?
El sistema de puntuación rastrea y calcula todas las valoraciones y, a continuación, genera una puntuación compuesta para cada respuesta, basada en estos criterios de evaluación.
¿Qué es la fiabilidad entre evaluadores (IRR) y cómo se controla?
La fiabilidad entre evaluadores (IRR) es una medida de la coherencia con la que los evaluadores certificados aplican los criterios de calificación de Avant a las respuestas de los estudiantes. Avant se esfuerza por mantener un alto nivel de Confiabilidad entre Evaluadores a través de la comparación consistente de las calificaciones y la entrega de capacitación continua según sea necesario. Específicamente, la fiabilidad entre evaluadores se controla en el sistema ya que el 20% de todas las respuestas se entregan a un segundo evaluador para una segunda calificación ciega de esa respuesta. Esto significa que en cada cola de 25 respuestas (el número de respuestas de estudiantes calificadas en un lote) hay 5 respuestas que han sido calificadas previamente por otro Calificador Certificado. A continuación, el sistema controla cómo califica estas respuestas un segundo evaluador certificado. Si hay una diferencia de niveles asignados entre el primer y el segundo Evaluador Certificado, el CR envía esa respuesta a un tercer Evaluador Certificado que arbitra la puntuación. Los Responsables de los Evaluadores pueden ver qué respuestas han recibido dos puntuaciones y, lo que es más importante, qué respuestas han recibido tres puntuaciones. Los administradores de evaluadores pueden ver las tendencias en las puntuaciones y dirigir formación "just-in-time" a cualquier evaluador certificado que necesite reciclaje. A continuación, los administradores de evaluadores recopilan y utilizan estas respuestas "desafiantes" para las sesiones de formación.
¿Cómo mide Avant la fiabilidad entre evaluadores (IRR)?
Avant utiliza una rúbrica de dos criterios para asignar puntuaciones a las respuestas orales y escritas. Los dos criterios, como se ha indicado anteriormente, son Tipo de texto (cantidad de lenguaje) y Precisión (comprensibilidad). A nuestros efectos, damos mayor importancia a los criterios de tipo de texto para los niveles 1 a 6 (principiante-bajo a intermedio-alto) y luego una ponderación más equilibrada para los niveles 7 y 8 (avanzado-bajo y medio). Cuando los Evaluadores Certificados evalúan las respuestas orales y escritas de los estudiantes, primero determinan la puntuación del tipo de texto con las siguientes selecciones posibles:
- No rebatible (0)
- Palabras (1)
- Frases (2)
- Frases simples (3)
- Cadenas de frases (4)
- Frases conectadas (5)
- Apartado emergente (6)
- Estructura de los párrafos (7)
- Párrafo ampliado (8)
Una vez determinado el criterio Tipo de texto, el CR indica al evaluador que determine la Exactitud/Comprensibilidad de la respuesta con las siguientes opciones para la puntuación específica del Tipo de texto: por debajo de la media, media o por encima de la media. El CR combina las puntuaciones de ambos criterios para determinar la puntuación/nivel final de esa respuesta. Avant puede entonces revisar la concordancia de los Calificadores Certificados en cada idioma para determinar el porcentaje de IRR para cualquier idioma durante cualquier período de tiempo.
¿Cómo mide Avant la precisión de la clasificación y controla la deriva?
Igualmente importante para la fiabilidad entre evaluadores es el concepto de precisión. Lo ideal es que todos los evaluadores estén de acuerdo y obtengan una TIR alta, pero si hay alguna desviación de los estándares (puntuación de las respuestas demasiado alta o demasiado baja), también necesitamos conocer esa situación. Para hacer frente a la desviación, Avant inyecta ítems de anclaje (pasajes que han sido seleccionados y puntuados previamente por cada Administrador de Evaluadores lingüísticos) en las colas de calificación, luego los Administradores de Evaluadores supervisan cómo los Evaluadores Certificados puntúan estas respuestas especiales. Al igual que las respuestas IRR, éstas se entregan a los evaluadores de forma ciega, de modo que los evaluadores no pueden identificar estas respuestas de ninguna manera. De este modo, los directores de los calificadores pueden ver si los calificadores se están desviando de las normas. A partir de esta información, los responsables de la evaluación pueden abordar cualquier desviación mediante sesiones de formación y apoyo. Esta es una característica importante de nuestro sistema de conexión de evaluadores y puede configurarse para que proporcione elementos de anclaje a intervalos predeterminados.
¿Cómo se obtienen y comunican los niveles finales de cada destreza?
El test Avant STAMP ofrece tres ejercicios de expresión oral y tres de expresión escrita a cada examinando al que se le asigna ese dominio o fase del test, es decir, expresión oral o expresión escrita. La puntuación final se calcula a partir de las dos puntuaciones más altas de las tres muestras. De este modo, el nivel final asignado tiene en cuenta cada respuesta enviada y puntuada por los evaluadores certificados de Avant y determina el nivel que el candidato fue capaz de mantener en las tres tareas.
Por ejemplo:
Una persona que obtiene un 3 (principiante-alto) en su primera respuesta, un 4 (intermedio-bajo) en su segunda respuesta y un 3 (principiante-alto) en su tercera respuesta recibirá una puntuación final de 3 (principiante-alto) en ese dominio. Esto indica que, como MÍNIMO, el alumno fue capaz de mantener el nivel 3 (Novato-Alto) de competencia. Sin embargo, en este caso, una de las respuestas se calificó en un nivel superior, por lo que se incluye una barra azul en el informe para indicar que este alumno puede estar acercándose al siguiente nivel superior y anima al profesor a fijarse en esa respuesta concreta. Dado que la puntuación final o el nivel se obtienen a partir del resultado de las tres respuestas, el sistema es capaz de gestionar cualquier respuesta individual que pueda haber sido puntuada de forma imprecisa o que el alumno no haya sido capaz de responder y mantener un informe preciso de la capacidad general del alumno para cada dominio.
Así, el proceso de utilizar las dos puntuaciones más altas de expresión oral o escrita para asignar el nivel final de expresión oral o escrita del alumno se emplea para minimizar la notificación de puntuaciones falsas negativas o falsas positivas para la puntuación global del dominio.
Acerca de Avant Assessment
Haga clic aquí para iniciar su camino hacia la competencia
