Por qué son importantes la fiabilidad y la validez de los tests
Definición de la fiabilidad de las pruebas
En pocas palabras, la fiabilidad significa que si se aplica la misma prueba al mismo estudiante, éste obtendrá la misma puntuación. Esto no es fácil de conseguir. En el caso de las preguntas (ítems) de lectura y comprensión oral puntuadas por ordenador, el desarrollador del test debe realizar un análisis estadístico de los ítems. Este proceso se denomina análisis psicométrico. El análisis se realiza a partir de los datos de varios examinandos, que idealmente tienen un amplio abanico de niveles de destreza. Si el ítem es bueno, el análisis confirmará que discierne sistemáticamente el nivel de precisión del examinando. En otras palabras, si se trata de un ítem de nivel intermedio-bajo, los examinandos de nivel principiante se equivocarán sistemáticamente y los de nivel intermedio y superior lo harán correctamente. Cuanto más sistemáticamente se comporte un ítem de este modo, mejor podrá diferenciar la destreza lingüística del examinando. El análisis situará cada ítem en un espectro de fácil a difícil. El resultado de ese esfuerzo mostrará que no todos los ítems de nivel intermedio-bajo son iguales y que algunos ítems del mismo nivel son más difíciles que otros. Este grado de dificultad dentro de un mismo nivel debe tenerse en cuenta a la hora de elaborar el test. Una prueba puntuada por ordenador que consista en un conjunto bien definido de ítems que hayan sido identificados psicométricamente como buenos ítems debería ser una prueba altamente fiable de esas destrezas.
Por qué son importantes los evaluadores
Aunque existen algunas pruebas de expresión oral y escrita puntuadas por ordenador, por lo general, para crear una prueba fiable de expresión oral y escrita se requiere una puntuación humana muy consistente. En primer lugar, para poder medir la fiabilidad de la calificación, es necesario que haya varios calificadores. El grado de coherencia de la calificación se determina calculando lo que se denomina "fiabilidad entre evaluadores" (IRR). En otras palabras, el grado de coherencia de la puntuación entre diferentes calificadores. Si la IRR es alta, entonces la fiabilidad del test es alta y puede confiar en que la puntuación del test es exacta.
Definición de la validez de las pruebas
La validez es algo mucho menos preciso o científico. En pocas palabras, un test es válido si mide las cosas adecuadas para el uso que se le va a dar. Si un profesor quiere saber si los alumnos han memorizado los deberes de vocabulario de francés, les hará una serie de preguntas sobre los deberes. No les preguntaría sobre la historia de China. Si quiere medir el nivel de competencia de los alumnos, debe plantearles preguntas del mundo real para las que no se hayan preparado específicamente, a distintos niveles, para ver qué pueden hacer realmente con la lengua. Este sería un enfoque válido para medir la capacidad de un examinando para realizar tareas del mundo real (=competencia).
Acerca de Avant Assessment
Haga clic aquí para iniciar su camino hacia la competencia
