¿Cómo califica Avant las respuestas orales y escritas?

¿Quién evalúa las pruebas STAMP ?

Las respuestas calificadas como humanas en el Avant STAMP, PLACE, el examen de aptitud de árabe (APT) y el examen de lengua española patrimonial son evaluadas por evaluadores certificados Avant que son educadores/hablantes de idiomas que cumplen los siguientes requisitos mínimos:

1. CONOCIMIENTOS DE IDIOMAS: Los evaluadores deben mantener un nivel avanzado o superior de conocimientos de idiomas (determinado mediante entrevista telefónica o puntuación obtenida en una prueba de evaluación aprobada, es decir, STAMP4S, OPI, Entrevista ILR, MOPI o Praxis/certificación estatal de profesor).
2. EDUCACIÓN: Los evaluadores deben poseer una licenciatura o un título superior.
3. FORMACIÓN Y CERTIFICACIÓN: Los evaluadores deben completar el programa de formación de evaluadores específico para cada idioma Avant y obtener una puntuación del 90% en la evaluación de certificación.
4. DISPONIBILIDAD: Los evaluadores deben estar disponibles para puntuar un número determinado de ítems (respuestas de los alumnos) cada semana (determinado por el responsable de la calificación lingüística y el evaluador).

¿Cómo se forma a los evaluadores certificados de Avant ?

Todos los evaluadores deben completar el programa de formación de evaluadores Avant y superar una prueba de certificación antes de poder puntuar las respuestas de los estudiantes. El proceso de formación consta de cinco pasos y suele durar entre 11 y 13 horas de trabajo individual y entre 2 y 3 horas con un responsable de formación de evaluadores.

1. PREPARACIÓN ACADÉMICA: Los candidatos a evaluador estudian los materiales de Avant Rater Training que explican los niveles de competencia basados en las Directrices de Competencia de ACTFL y los Descriptores de Competencia de ILR y aprenden cómo Avant aplica estos niveles a las respuestas de los examinados. El objetivo de este paso es orientar a los candidatos a evaluadores sobre los problemas que se experimentan al calificar ítems de respuesta construida (expresión oral y escrita) y esbozar el rango de calificaciones que el sistema Avantpuede asignar a las respuestas de los evaluados. El paso 1 es una fase de estudio independiente que requiere entre 3 y 5 horas de dedicación.
2. REVISIÓN GUIADA E INTRODUCCIÓN AL SISTEMA DE CONEXIÓN DE EVALUADORES (RC): El candidato a evaluador se reúne con el responsable de formación de evaluadores asignado para discutir y aclarar los elementos clave de los materiales de formación, incluidos los niveles de competencia y los detalles que se utilizan para identificar los distintos niveles. A continuación, el gestor de formación de evaluadores ayuda al candidato a acceder al software de conexión de evaluadores en línea Avant(véase el paso 3) y le guía a través de varias respuestas, mostrándole cómo utilizar el sistema de conexión de evaluadores. El paso 2 suele realizarse en forma de reunión virtual entre el candidato a evaluador y el responsable de formación de evaluadores, con una dedicación prevista de 2 a 3 horas.
3. PRÁCTICA CON EL SISTEMA DE CONEXIÓN DE EVALUADORES (RC): AvantEl RC de permite al candidato a evaluador puntuar respuestas de entrenamiento/anclaje seleccionadas y recibir feedback inmediato sobre su calificación de cada respuesta. El objetivo de esta fase del proceso de formación es exponer al candidato a evaluador a muchas respuestas de evaluados que ya han sido puntuadas por evaluadores expertos de Avant . Cada respuesta de entrenamiento incluye una anotación o explicación detallada de por qué el ítem ha sido puntuado de la forma en que lo ha sido. Este proceso permite al candidato a evaluador evaluar una variedad de respuestas de todos los niveles con feedback inmediato para interiorizar y aplicar los criterios de puntuación. El paso 3 es una sesión de práctica independiente en línea con un compromiso de tiempo previsto de 4 a 5 horas, o más si es necesario, para completar los bancos de respuestas de práctica.
4. ANÁLISIS GUIADO DE LA PR ÁCTICA DE CALIFICACIÓN: Una vez que el candidato a calificador ha completado las respuestas de capacitación en el CR, el candidato se reúne con su Gerente de Capacitación de Calificadores asignado para discutir y aclarar los problemas que surgieron durante la sesión de práctica de calificación. En concreto, se revisan las respuestas que no se puntuaron correctamente y se responde a las preguntas sobre los criterios de puntuación y las descripciones de los niveles y su aplicación a las respuestas. El responsable de formación de evaluadores puede ver con qué criterios tuvo problemas el futuro evaluador e identificar rápidamente las áreas que necesitan más apoyo o formación. En este punto, el responsable de formación de evaluadores puede decidir que el futuro evaluador repita el paso 3 del programa de formación de evaluadores Avant o que pase al paso 5 para obtener la certificación. El paso 4 suele realizarse en forma de reunión virtual entre los candidatos a evaluador y el responsable de formación de evaluadores, con un compromiso de tiempo previsto de una o más horas, en función del número de áreas que deban revisarse.
5. CERTIFICACIÓN: El último paso del programa de formación de evaluadores Avant consiste en que el candidato a evaluador supere una prueba de certificación obteniendo un 90% o más de acuerdo en la puntuación con los evaluadores maestros de Avant . Para completar esta prueba, el candidato a evaluador accede al Sistema de Conexión de Evaluadores y califica un banco de certificación de respuestas en un proceso que reproduce la experiencia que tendrán cuando califiquen las respuestas de los estudiantes en el sistema en vivo. El banco de certificación se compone de respuestas previamente calificadas por los Master Raters de Avant , pero sin las anotaciones o comentarios proporcionados durante las sesiones de formación. Al finalizar la prueba de certificación, se notifica al candidato su puntuación. A continuación, el responsable de formación de evaluadores se reúne con el candidato para identificar los problemas de calificación y, si es necesario, le invita a participar en actividades de reciclaje. Los candidatos a evaluador que alcancen un 90% o más de acuerdo con los evaluadores maestros de Avant son designados evaluadores certificados de Avant y están cualificados para evaluar las respuestas de las pruebas activas de STAMP .
6. CALIFICACIÓN EN VIVO: Una vez que el candidato a evaluador ha completado todos los elementos de formación y superado la prueba de certificación, se le da acceso a las respuestas en directo en el sistema Rater Connection. El nuevo evaluador certificado debe entrar en el sistema y evaluar un lote (25 respuestas), informando a su administrador de evaluadores cuando haya completado el lote. A continuación, el administrador de evaluadores entra en el sitio de administración para revisar cada elemento evaluado por el evaluador certificado y comprobar que las puntuaciones son correctas. Cuando el administrador de evaluadores está satisfecho con la precisión de la calificación de las respuestas del nuevo evaluador certificado, éste puede continuar calificando. El Administrador de Evaluadores continúa supervisando de cerca al nuevo Evaluador Certificado durante las primeras semanas de evaluación.
7. Este programa de evaluadores de Avant se ha desarrollado y perfeccionado para satisfacer las exigencias de establecer altos niveles de calidad y precisión en todos los evaluadores de Avant . La formación puntual también se lleva a cabo de forma continua, ya que los administradores de evaluadores de Avant revisan cada día las estadísticas de fiabilidad entre evaluadores y de precisión. El sistema de calificación STAMP facilita la supervisión constante de las tendencias de calificación y alerta a los administradores de calificadores de los problemas y anomalías de calificación, de modo que pueda llevarse a cabo un reciclaje justo a tiempo.

¿Cómo se califican las pruebas de STAMP ?

La calificación humana de las respuestas a los ítems del test Avant STAMP se realiza en el entorno en línea de Rater Connection. Los ítems de las pruebas de lectura y comprensión oral (opción múltiple) se califican por ordenador. Las respuestas construidas (expresión oral y escrita) son evaluadas por evaluadores certificados de Avant a través de una interfaz en línea. En concreto, el sistema de calificación distribuida en línea Rater Connection System de Avantgestiona todas las respuestas de los estudiantes y facilita la calificación distribuyendo colas de 25 respuestas escritas u orales a los calificadores certificados de Avant cuando inician sesión en el sistema. Los calificadores puntúan cada respuesta siguiendo un proceso paso a paso, considerando cuidadosamente cada uno de los cuatro elementos o criterios de puntuación.

Los cuatro elementos de puntuación de las pruebas de competencia lingüística Avant

1. ¿La respuesta es aceptable y se ajusta a la tarea?
2. ¿Qué tipo de texto o cantidad de lenguaje específico del nivel es evidente?
3. ¿Cuál es la calidad del texto en términos de comprensibilidad global?
4. ¿Cuál es la precisión global de la respuesta?

El sistema de puntuación rastrea y calcula todas las valoraciones y, a continuación, genera una puntuación compuesta para cada respuesta, basada en estos criterios de evaluación.

¿Qué es la fiabilidad entre evaluadores (IRR) y cómo se controla?

La Fiabilidad entre Evaluadores (IRR) es una medida de la coherencia con la que los Evaluadores Certificados aplican los criterios de puntuación de Avant a las respuestas de los estudiantes. Avant se esfuerza por mantener un alto nivel de Fiabilidad entre Evaluadores mediante la comparación coherente de las calificaciones y la impartición de formación continua según sea necesario. Específicamente, la fiabilidad entre evaluadores se controla en el sistema cuando el 20% de todas las respuestas se entregan a un segundo evaluador para una segunda calificación ciega de esa respuesta. Esto significa que en cada cola de 25 respuestas (el número de respuestas de estudiantes calificadas en un lote) hay 5 respuestas que han sido calificadas previamente por otro Calificador Certificado. A continuación, el sistema controla cómo califica estas respuestas un segundo evaluador certificado. Si hay una diferencia de niveles asignados entre el primer y el segundo Evaluador Certificado, el CR envía esa respuesta a un tercer Evaluador Certificado que arbitra la puntuación. Los Responsables de los Evaluadores pueden ver qué respuestas han recibido dos puntuaciones y, lo que es más importante, qué respuestas han recibido tres puntuaciones. Los administradores de evaluadores pueden ver las tendencias en las puntuaciones y dirigir formación "just-in-time" a cualquier evaluador certificado que necesite reciclaje. A continuación, los administradores de evaluadores recopilan y utilizan estas respuestas "desafiantes" para las sesiones de formación.

¿Cómo mide Avant la fiabilidad entre evaluadores (IRR)?

Avant utiliza una rúbrica de dos criterios para asignar puntuaciones a las respuestas orales y escritas. Los dos criterios, como se ha indicado anteriormente, son Tipo de texto (cantidad de lenguaje) y Precisión (comprensibilidad). A nuestros efectos, otorgamos una mayor ponderación a los criterios de tipo de texto para los niveles 1 a 6 (principiante-bajo a intermedio-alto) y luego una ponderación más equilibrada para los niveles 7 y 8 (avanzado-bajo y medio). Cuando los Evaluadores Certificados evalúan las respuestas orales y escritas de los estudiantes, primero determinan la puntuación del tipo de texto con las siguientes selecciones posibles:

• No rebatible (0)
• Palabras (1)
• Frases (2)
• Frases simples (3)
• Cadenas de frases (4)
• Frases conectadas (5)
• Apartado emergente (6)
• Estructura de los párrafos (7)
• Párrafo ampliado (8)

Una vez determinado el criterio de Tipo de Texto, el CR indica al evaluador que determine la Exactitud/Comprensibilidad de la respuesta con las siguientes opciones para la puntuación específica del Tipo de Texto: por debajo de la media, media o por encima de la media. El CR combina las puntuaciones de ambos criterios para determinar la puntuación/nivel final para esa respuesta. Avant puede entonces revisar el acuerdo de los Calificadores Certificados en cada idioma para determinar el porcentaje de IRR para cualquier idioma durante cualquier período de tiempo.

¿Cómo mide Avant la exactitud de las valoraciones y controla las desviaciones?

Igualmente importante para la fiabilidad entre evaluadores es el concepto de precisión. Lo ideal es que todos los evaluadores estén de acuerdo y obtengan una TIR alta, pero si se produce alguna desviación de los estándares (puntuando las respuestas demasiado altas o demasiado bajas), también necesitamos conocer esa situación. Para hacer frente a la desviación, Avant inyecta ítems de anclaje (pasajes que han sido seleccionados y pre-calificados por cada administrador de evaluadores de idioma) en las colas de calificación, luego los administradores de evaluadores monitorean cómo los evaluadores certificados califican estas respuestas especiales. Al igual que las respuestas IRR, éstas se entregan a los evaluadores de forma ciega, de modo que los evaluadores no pueden identificar estas respuestas de ninguna manera. De este modo, los directores de los calificadores pueden ver si los calificadores se están desviando de las normas. A partir de esta información, los responsables de la evaluación pueden abordar cualquier desviación mediante sesiones de formación y apoyo. Esta es una característica importante de nuestro sistema de conexión de evaluadores y puede configurarse para que proporcione elementos de anclaje a intervalos predeterminados.

¿Cómo se obtienen y comunican los niveles finales de cada destreza?

El test Avant STAMP ofrece tres ejercicios de expresión oral y tres de expresión escrita a cada examinando al que se le asigna ese dominio o fase del test, es decir, expresión oral o expresión escrita. La puntuación final se calcula a partir de las dos puntuaciones más altas de las tres muestras. De este modo, el nivel final asignado tiene en cuenta cada una de las respuestas enviadas y puntuadas por los evaluadores certificados de Avant y determina el nivel que el candidato fue capaz de mantener en las tres tareas.

Por ejemplo:

Una persona que obtiene un 3 (principiante-alto) en su primera respuesta, un 4 (intermedio-bajo) en su segunda respuesta y un 3 (principiante-alto) en su tercera respuesta recibirá una puntuación final de 3 (principiante-alto) en ese dominio. Esto indica que, como MÍNIMO, el alumno fue capaz de mantener el nivel 3 (Novato-Alto) de competencia. Sin embargo, en este caso, una de las respuestas se calificó en un nivel superior, por lo que se incluye una barra azul en el informe para indicar que este alumno puede estar acercándose al siguiente nivel superior y anima al profesor a fijarse en esa respuesta concreta. Dado que la puntuación final o el nivel se obtienen a partir del resultado de las tres respuestas, el sistema es capaz de gestionar cualquier respuesta individual que pueda haber sido puntuada de forma imprecisa o que el alumno no haya sido capaz de responder y mantener un informe preciso de la capacidad general del alumno para cada dominio.

Así, el proceso de utilizar las dos puntuaciones más altas de expresión oral o escrita para asignar el nivel final de expresión oral o escrita del alumno se emplea para minimizar la notificación de puntuaciones falsas negativas o falsas positivas para la puntuación global del dominio.

Acerca de Avant Assessment

Haga clic aquí para iniciar su camino hacia la competencia

Artículos que también podrían gustarle:

• https://avantassessment.com/blog/how-standards-are-used-in-language-proficiency-assessments
• https://avantassessment.com/blog/four-steps-to-graduating-higher-proficiency-level-language-learners
• https://avantassessment.com/blog/test-reliability-and-validity