Dipòsit Digital de Documents de la UAB
Publication
Contribución de congreso (ConferenceOutput)
Propuesta para detectar patrones atípicos de respuestas en contextos reales de evaluación
Los índices de detección de patrones atípicos de respuesta (PAR) permiten evaluar la validez de las inferencias de las puntuaciones individuales obtenidas en pruebas de evaluación de conocimientos. En la actualidad existe una larga serie de índices, paramétricos y no paramétricos, cuyas propiedades han sido ampliamente estudiadas. Sin embargo, el uso de estos índices en la práctica evaluativa es casi inexistente. Posiblemente, uno de los motivos sea la complejidad conceptual y metodológica de la mayoría de ellos. Nuestro objetivo es presentar una propuesta metodológica, que sin pérdida de rigor, resulte sencilla de aplicar en contextos reales de evaluación, para detectar aquellos estudiantes que contestan a las pruebas de una forma atípica. La propuesta parte de la agrupación de las preguntas de la prueba en tres segmentos en función de su nivel de dificultad (bajo, moderado y alto) así como en el cálculo, a nivel individual, del porcentaje de respuestas correctas en cada uno de estos segmentos. Así pues, se trabaja con información agregada en lugar de toda la que ofrece el vector de respuestas a cada uno de los ítems, base del cálculo de los índices más conocidos. En este trabajo, proponemos comparar el perfil de respuestas observado para cada persona evaluada, con el esperado según la puntuación total obtenida y de acuerdo con el modelo de Guttman. Dicha comparación se realiza mediante el cálculo de la distancia euclídea entre ambos perfiles. La adecuación de la propuesta se valora a la luz de los resultados que aporta el análisis de las respuestas de 58.072 alumnos de cuarto curso de la E.S.O a la prueba de competencias básicas de castellano (33 preguntas con 3 opciones de respuesta) realizada por el Consell Superior d'Avaluació del Sistema Educatiu de Catalunya durante el curso 2014-15. Como resultados se presenta la distribución de perfiles de respuestas que muestran el 20% de casos con valores más altos en la distancia euclídea y se compara con la distribución de perfiles que muestran los casos extremos detectados con el índice de precaución modificado, uno de los índices de PAR más conocidos.