Pasar al contenido principal

PATRONES ATIPICOS DE RESPUESTA: EFECTOS SOBRE LA VALIDEZ DE LAS PUNTUACIONES EN PRUEBAS DE EVALUACION EN EDUCACION PRIMARIA Y SECUNDARIA

EDU2013-41399-P

•
Nombre agencia financiadora Ministerio de Economía y Competitividad
Acrónimo agencia financiadora MINECO
Programa Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia
Subprograma Subprograma Estatal de Generación de Conocimiento
Convocatoria Proyectos de I+D (Excelencia / Generación de Conocimiento)
Año convocatoria 2013
Plan Estatal 2013-2016 Plan Estatal de Investigación Científica y Técnica y de Innovación
Unidad de gestión Secretaría de Estado de Educación, Formación Profesional y Universidades
Centro beneficiario UNIVERSIDAD AUTONOMA DE BARCELONA
Identificador persistente http://dx.doi.org/10.13039/501100003329

Resultados relacionados

Resultados totales (Incluyendo duplicados): 15
Encontrada(s) 1 página(s)

Dipòsit Digital de Documents de la UAB
Publicación Artículo científico (JournalArticle)

A journey around alpha and omega to estimate internal consistency reliability, Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna

  • Viladrich, Carme|||0000-0002-7464-1455
  • Angulo-Brunet, Ariadna|||0000-0002-0583-1618
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
Based on recent psychometric developments, this paper presents a conceptual and practical guide for estimating internal consistency reliability of measures obtained as item sum or mean. The internal consistency reliability coefficient is presented as a by-product of the measurement model underlying the item responses. A three-step procedure is proposed for its estimation, including descriptive data analysis, test of relevant measurement models, and computation of internal consistency coefficient and its confidence interval. Provided formulas include: (a) Cronbach's alpha and omega coefficients for unidimensional measures with quantitative item response scales, (b) coefficients ordinal omega, ordinal alpha and nonlinear reliability for unidimensional measures with dichotomic and ordinal items, (c) coefficients omega and omega hierarchical for essentially unidimensional scales presenting method effects. The procedure is generalized to weighted sum measures, multidimensional scales, complex designs with multilevel and/or missing data and to scale development. Four illustrative numerical examples are fully explained and the data and the R syntax are provided., En este trabajo se presenta una guía conceptual y práctica para estimar la fiabilidad de consistencia interna de medidas obtenidas mediante suma o promedio de ítems con base en las aportaciones más recientes de la psicometría. El coeficiente de fiabilidad de consistencia interna se presenta como un subproducto del modelo de medida subyacente en las respuestas a los ítems y se propone su estimación mediante un procedimiento de análisis de los ítems en tres fases, a saber, análisis descriptivo, comprobación de los modelos de medida pertinentes y cálculo del coeficiente de consistencia interna y su intervalo de confianza. Se proporcionan las siguientes fórmulas: (a) los coeficientes alfa de Cronbach y omega para medidas unidimensionales con ítems cuantitativos (b) los coeficientes omega ordinal, alfa ordinal y de fiabilidad no lineal para ítems dicotómicos y ordinales, y (c) los coeficientes omega y omega jerárquico para medidas esencialmente unidimensionales con efectos de método. El procedimiento se generaliza al análisis de medidas obtenidas por suma ponderada, de escalas multidimensionales, de diseños complejos con datos multinivel y/o faltantes y también al desarrollo de escalas. Con fines ilustrativos se expone el análisis de cuatro ejemplos numéricos y se proporcionan los datos y la sintaxis en R.
Dipòsit Digital de Documents de la UAB
Publicación

Los patrones atípicos de respuesta. Una fuente de información para evaluar la calidad del proceso enseñanza-aprendizaje

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Fuentes Agustí, Marta|||0000-0003-4721-8990
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
Los exámenes tipo test constituyen un recurso habitual en la evaluación de los aprendizajes. La puntuación obtenida en este tipo de pruebas se utiliza, habitualmente, como indicador de la adquisición de aprendizajes. La validez de este indicador se basa en el supuesto de que el alumno elige las opciones de respuesta en función de su nivel de conocimientos, de manera que contesta correctamente las preguntas que evalúan un nivel de conocimientos inferior o igual al suyo, e incorrectamente a las preguntas que evalúan niveles de conocimientos que le superan. El grado de dificultad de las preguntas, calculado como proporción de respuestas correctas en el grupo de referencia, se toma como un indicador del nivel de conocimientos que evalúan estas preguntas, de manera que se espera que el alumno, en caso de que cometa errores, los acumule en las preguntas más difíciles. La mayoría de los estudiantes siguen estas pautas de respuesta cuando realizan la prueba, pero otros siguen patrones diferentes que se denominan patrones atípicos de respuesta (PAR). En el presente estudio analizamos la presencia y tipología de PAR en las respuestas de 58072 alumnos de cuarto de la ESO que contestaron la prueba de competencias básicas de castellano que realizó el Consell Superior d'Avaluació del Sistema Educatiu de Catalunya durante el mes de febrero del curso 2014-15. La prueba analizada está formada por 33 preguntas tipo test. La presencia de PAR se ha evaluado utilizando índices estadísticos implementados en el paquete PerFit de R. La tipología de los PAR se ha clasificado utilizando metodología propia. A partir de las diferentes formas de PAR identificadas, se discute de qué manera su presencia pueda ser utilizada para evaluar la calidad del proceso de enseñanza-aprendizaje y por tanto, como una herramienta para la evaluación formativa.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Propuesta para detectar patrones atípicos de respuestas en contextos reales de evaluación

  • Riba i Lloret, M. Dolors
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
  • Fuentes Agustí, Marta|||0000-0003-4721-8990
Los índices de detección de patrones atípicos de respuesta (PAR) permiten evaluar la validez de las inferencias de las puntuaciones individuales obtenidas en pruebas de evaluación de conocimientos. En la actualidad existe una larga serie de índices, paramétricos y no paramétricos, cuyas propiedades han sido ampliamente estudiadas. Sin embargo, el uso de estos índices en la práctica evaluativa es casi inexistente. Posiblemente, uno de los motivos sea la complejidad conceptual y metodológica de la mayoría de ellos. Nuestro objetivo es presentar una propuesta metodológica, que sin pérdida de rigor, resulte sencilla de aplicar en contextos reales de evaluación, para detectar aquellos estudiantes que contestan a las pruebas de una forma atípica. La propuesta parte de la agrupación de las preguntas de la prueba en tres segmentos en función de su nivel de dificultad (bajo, moderado y alto) así como en el cálculo, a nivel individual, del porcentaje de respuestas correctas en cada uno de estos segmentos. Así pues, se trabaja con información agregada en lugar de toda la que ofrece el vector de respuestas a cada uno de los ítems, base del cálculo de los índices más conocidos. En este trabajo, proponemos comparar el perfil de respuestas observado para cada persona evaluada, con el esperado según la puntuación total obtenida y de acuerdo con el modelo de Guttman. Dicha comparación se realiza mediante el cálculo de la distancia euclídea entre ambos perfiles. La adecuación de la propuesta se valora a la luz de los resultados que aporta el análisis de las respuestas de 58.072 alumnos de cuarto curso de la E.S.O a la prueba de competencias básicas de castellano (33 preguntas con 3 opciones de respuesta) realizada por el Consell Superior d'Avaluació del Sistema Educatiu de Catalunya durante el curso 2014-15. Como resultados se presenta la distribución de perfiles de respuestas que muestran el 20% de casos con valores más altos en la distancia euclídea y se compara con la distribución de perfiles que muestran los casos extremos detectados con el índice de precaución modificado, uno de los índices de PAR más conocidos.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Efectos de los patrones atípicos de respuesta sobre la influencia del contexto socioeconómico en el rendimiento académico

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
Sobre el rendimiento académico influyen múltiples factores. Es sabido que uno de ellos es el contexto socio-cultural (CSC) del estudiante, de manera que la probabilidad de éxito académico de un estudiante con un CSC alto es mayor que el de uno con CSC bajo. Las diferencias en el rendimiento pueden verse alteradas por la presencia de otros factores. Así, aspectos personales como la procedencia de los estudiantes, o del entorno, como la tipología del centro educativo, son algunos de estos factores ampliamente estudiados. En el presente trabajo analizamos el papel que tienen los patrones atípicos de respuesta (PAR) en la relación entre el CSC y el rendimiento académico. En pruebas estandarizadas con preguntas de elección múltiple, los PAR hacen referencia a perfiles inesperados de respuestas a las preguntas de la prueba de evaluación. La presencia o ausencia de PAR puede identificarse mediante índices estadísticos. Se analizan las respuestas a dos pruebas de elección múltiple que evalúan competencias básica, y que el Consell Superior d'Avaluació de Catalunya ha administrado a alumnos que cursan el último año de la etapa de Educación Secundaria Obligatoria (ESO). Los resultados del estudio nos permiten concluir que los PAR interactúan con el CSC en su efecto sobre el rendimiento académico, de manera que la presencia de patrones atípicos en las respuestas de los estudiantes tiene un efecto modificador sobre la brecha que el CSC muestra sobre el rendimiento escolar. Estos resultados apuntan a la necesidad de incluir el análisis de los PAR en los estudios de equidad educativa.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Comparison of the capacity of three nonparametric person-fit indices to detect different aberrant response patterns on real data

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • García Rueda, Rebeca
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
Introduction: A total test score obtained as the sum of correct answers to items may provide a false picture of the actual level of competence of the person evaluated if it is the result of an aberrant response pattern (ARP). To detect possible ARP's a long list of person-fit indices are available. We study the behavior of three group-based or nonparametric person-fit indices, namely the Harnisch and Linn' Modified Caution Index (MCI), Van der Flier' U3 and Sijtsma' HT. The aim of the study is to evaluate the sensitivity of the extreme values of these indices to detect different types of ARP. Method: The indices are calculated on responses to basic skills test administered to the entire population of students of sixth year of primary school (11-12 years) made by the Catalan Evaluation Council of the Education System. The work focuses on a sample of students who meet the criterion of having obtained in any of the three indices considered, one above the 95th percentile, the ARP presence indicator score. To classify different types of ARP, we propose a procedure based on the grouping of items by level of difficulty, and to identify the kind of items where the successes and errors are concentrated. Results: The results indicate that the most aberrant patterns are best detected by the U3. MCI and HT show similar behavior and better detect response patterns that deviate from those expected in items of moderate to high difficulty. The maximum percentage of coincidence of the three indices is observed in identifying patterns that focuses on fewer correct answers than expected among the easy items and more correct answers than expected among the most difficult items. Conclusion: In our study, conducted with real data and a new way of characterizing patterns, we have observed that the indices show different sensitivities for detecting different ARP. Our results complement those obtained in other studies based on simulated data. All these results should be taken into account when choosing the index that best suits the characteristics of the test being evaluated and the type of ARP to be detected.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Consistencia en las respuestas inconsistentes a preguntas tipo test

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Fuentes Agustí, Marta|||0000-0003-4721-8990
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
En las evaluaciones realizadas mediante pruebas tipo test suele utilizarse como un indicador del nivel de conocimientos o competencias la puntuación obtenida a partir de la cantidad de respuestas contestadas correctamente. Esta puntuación, sin embargo, puede obtenerse a partir de respuestas muy variadas, algunas de ellas configurando un patrón atípico de respuesta (PAR), como cuando se contesta correctamente a preguntas muy difíciles y sin embargo se fallan preguntas muy fáciles. En el presente trabajo pretendemos aportar evidencia acerca de si la presencia de PAR en pruebas de evaluación tipo test corresponde a características aisladas, propias de la prueba, o por el contrario puede considerarse un estilo consistente de la persona evaluada. Se analizan las respuestas a unas pruebas de evaluación de competencias básicas de lengua castellana y catalana aplicadas durante el curso 2012-13 a los alumnos de cuatro de ESO de Cataluña. En total 56158 alumnos completaron la prueba de castellano y 56450 la de catalán. La proporción de respuestas correctas promedio en las pruebas fue de 0,83 y 0,81 respectivamente, con desviaciones estándar de 0,09 y 0,14. El porcentaje de alumnos que tenían una puntuación asociada a PAR fue del 29,3% en castellano y del 24,5% en catalán. El 8,5% de los alumnos evaluados contestaron a las dos pruebas siguiendo un patrón atípico. Las respuestas atípicas a una prueba hacen dudar de la validez de las puntuaciones resultantes. El hecho de que esta forma de contestar se mantenga en diferentes pruebas puede, además, señalar la presencia de algún problema estructural en el proceso de enseñanza-aprendizaje. Algunos de estos problemas pueden estar relacionados con déficits en el trabajo en el aula, con malas pautas de estudio, con ansiedad ante las evaluaciones o simplemente con la presencia de copia durante la evaluación.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Identificación de tipologías de Patrones Atípicos de Respuesta en pruebas tipo test

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
Las pruebas tipo test para la evaluación de los conocimientos están ampliamente aceptadas por su objetividad y facilidad en la aplicación y corrección. Sin embargo, para asegurar la validez de sus puntuaciones es necesario verificar que éstas han sido obtenidas después de responder a la prueba de una forma prevista por el evaluador. Los patrones de respuesta que se alejan de lo previsto se consideran Patrones Atípicos de Respuesta (PAR). En este trabajo se presenta una metodologia encaminada a identificar la presencia de PAR así como su tipologia. Dado que los diferentes tipus de PAR pueden identificar déficits en el proceso de enseñanza-aprendizaje, esta metodología pretende ser de utilidad para evaluaciones formativas.
Dipòsit Digital de Documents de la UAB
Publicación

Identificación de tipologías de Patrones Atípicos de Respuesta en pruebas tipo test

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
Las pruebas tipo test para la evaluación de los conocimientos están ampliamente aceptadas por su objetividad y facilidad en la aplicación y corrección. Sin embargo, para asegurar la validez de sus puntuaciones es necesario verificar que éstas han sido obtenidas después de responder a la prueba de una forma prevista por el evaluador. Los patrones de respuesta que se alejan de lo previsto se consideran Patrones Atípicos de Respuesta (PAR). En este trabajo se presenta una metodologia encaminada a identificar la presencia de PAR así como su tipologia. Dado que los diferentes tipus de PAR pueden identificar déficits en el proceso de enseñanza-aprendizaje, esta metodología pretende ser de utilidad para evaluaciones formativas.
Dipòsit Digital de Documents de la UAB
Publicación Artículo científico (JournalArticle)

Pruebas tipo test como instrumentos de evaluación diagnóstica y formativa

  • Riba i Lloret, M. Dolors
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Fauquet Ars, Jordi|||0000-0003-4546-6317
Se propone un método para identificar patrones atípicos de respuesta (PAR) en pruebas tipo test. Se analizan los resultados de una evidencia de evaluación de una asignatura del grado de Psicología de la UAB aplicada durante el curso 2015-16 a 417 estudiantes. Se identifican cuatro tipos diferentes de PAR (25% de los estudiantes). La identificación de PAR proporciona información del proceso de aprendizaje de utilidad en evaluaciones diagnósticas y formativas.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Pruebas tipo test como instrumentos de evaluación diagnóstica y formativa

  • Riba i Lloret, M. Dolors
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Fauquet Ars, Jordi|||0000-0003-4546-6317
Se propone un método para identificar patrones atípicos de respuesta (PAR) en pruebas tipo test. Se analizan los resultados de una evidencia de evaluación de una asignatura del grado de Psicología de la UAB aplicada durante el curso 2015-16 a 417 estudiantes. Se identifican cuatro tipos diferentes de PAR (25% de los estudiantes). La identificación de PAR proporciona información del proceso de aprendizaje de utilidad en evaluaciones diagnósticas y formativas.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Detección de la presencia de patrones atípicos de respuesta asociados a bajo rendimiento, propuestas para una evaluación formativa

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
La propuesta de este trabajo es la identificación de patrones atípicos de respuesta (PAR) en pruebas de evaluación de competencias, el análisis de su consistencia y la evaluación de las posibilidades que ofrece el estudio de los PAR para las evaluaciones formativas. Se analizan los resultados de dos pruebas de evaluación de competencias lingüísticas básicas, de catalán y castellano, que el Consell Superior d'Avaluació administró durante el curso 2013-2014 a los 64.505 alumnos de cuarto de ESO de Cataluña. Para identificar la presencia de PAR se ha utilizado el índice de precaución modificado (MCI). Un 59,2% de los alumnos evaluados presentan indicios de PAR en la prueba de catalán, un 46,5% en la prueba de castellano y un 27,9% en ambas pruebas. Un análisis detallado de los resultados en el segmento de puntuación entre 4 y 6 nos ha permitido detectar cinco tipologías de PAR bien diferenciadas y que pueden estar asociadas a una sobrevaloración o infravaloración de la competencia de los estudiantes evaluados. Más allá de la interpretación de la puntuación obtenida en la prueba, las pautas atípicas de respuesta proporcionan información de gran utilidad en evaluaciones que pretendan ser formativas.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Person-fit statistics, a useful tool for formative assessment

  • Fuentes Agustí, Marta|||0000-0003-4721-8990
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
The total test scores are interpreted as indicators of the level of proficiency. Even if the test is built with guarantees of content validity, the validity of these interpretations is not guaranteed for all people tested. The process that has followed each assessed person to give their answers to the test questions is crucial to ensure the validity of individual interpretations. The guidelines for the reporting of test score, published in 2012 by the International Test Commission, recommend use statistical techniques to identify invalid scores. In tests with multiple-choice questions, the person-fit statistics are suitable for identifying atypical patterns of response that invalidate the interpretation of the total score. The main aim is to quantify the atypical response patterns present at an English language proficiency test. Our interest is to provide a useful tool for formative assessment. The data are from an institutional assessment conducted by the Department of Education of the Catalan Government. The test was completed by 56.428 students of fourth course of Secondary Education throughout all schools in Catalonia. Analyses were carried out with PerFit R package. Modified Caution Index was calculated to quantify the presence of atypical response patterns. The results show a high number of atypical response patterns. Our attention is addressed to students with central scores, because this target group has a higher potential improvement. We present different identified atypical patterns and discuss its relevance in evaluative assessments.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Las puntuaciones obtenidas en los tests de conocimientos, ¿son siempre indicadores válidos del aprendizaje?

  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
  • Fuentes Agustí, Marta|||0000-0003-4721-8990
Las respuestas incoherentes a las preguntas de pruebas tipo test dan lugar a patrones de respuestas atípicos (PAR). Estos patrones deberían ser identificados y estudiados individualmente con objeto de evaluar hasta qué punto proporcionan puntuaciones válidas. A pesar de ello pueden proporcionar información útil sobre cómo ha sido el proceso de adquisición del aprendizaje. El objetivo del trabajo es cuantificar la presencia de PAR. También determinar sus características y asociación a diferentes niveles de rendimiento. Los resultados que se presentan corresponden al análisis de una prueba censal realizada por el Departament d'Ensenyament de la Generalitat de Catalunya para evaluar la competencia lingüística básica en inglés de los alumnos de sexto de primaria. Los datos se han tratado con el paquete Perfit de R que permite calcular, para cada estudiante, los índices de PAR más presentes en la literatura en los últimos años. La magnitud de estos índices proporciona una estimación de la atipicidad del conjunto de respuestas a la prueba.
Dipòsit Digital de Documents de la UAB
Publicación Contribución de congreso (ConferenceOutput)

Identificación de patrones atípicos de respuesta mediante análisis en componentes principales no lineales (PRINCALS)

  • Riba i Lloret, M. Dolors
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
En los últimos años el interés por la identificación de patrones atípicos de respuesta (PAR) ha sido creciente. Existen varias propuestas de indicadores de PAR que, en el ámbito de las pruebas de rendimiento, suelen basarse en el análisis de la pauta de aciertos y errores a los diferentes ítems de la prueba. Cuando el formato de los ítems es de elección múltiple, los indicadores obvian la distinción entre alternativas de respuestas erróneas. Sería de interés recoger la influencia que puede tener los distintos tipos de respuestas incorrectas en la identificación de PAR. Nuestro objetivo consiste en acercarnos a la identificación de PAR mediante PRINCALS, análisis en componentes principales no lineal aplicado, en nuestro caso, a variables categóricas. En este análisis, la cuantificación de las variables en las dimensiones se realiza con el algoritmo de alternancia de mínimos cuadrados (ALS, alternating least squares) que tiene por objetivo el escalamiento óptimo tanto de variables como de personas. En la cuantificación óptima de las variables, las categorías con respuesta menos frecuente quedan representadas, en las dimensiones, alejadas de las que recogen las respuestas mayoritarias. Como consecuencia, las puntuaciones factoriales permiten diferenciar a aquellas personas que acumulan respuestas en categorías poco frecuentes. Aplicado este principio a las respuestas de evaluados con exámenes de preguntas de elección múltiple, la cuantificación óptima nos debería permitir identificar a aquellas personas que responden a las categorías más infrecuentes en los ítems que caracterizan las dimensiones. Estas puntuaciones que en un contexto analítico habitual se definirían como outliers, son nuestro objeto de estudio como PAR. Nuestros resultados indican que cuando se estudian exámenes esencialmente unidimensionales, la primera dimensión correlaciona fundamentalmente con la puntuación total en la prueba, mientras que la extracción de otras dimensiones principales identifica grupos específicos de ítems. Los outliers de todas las dimensiones tienen una interpretación en términos de PAR. Mostramos los resultados obtenidos al aplicar un análisis PRINCALS a las respuestas a exámenes realizados por el Departament d'Ensenyament de la Generalitat de Catalunya para evaluar la competencia lingüística en inglés de los alumnos de sexto de primaria.
Dipòsit Digital de Documents de la UAB
Publicación

Contribución de los ítems a los patrones atípicos de respuesta, cálculo del índice de precaución modificado sin el ítem

  • Boixadera Planas, Ester|||0000-0002-3995-6750
  • García Rueda, Rebeca
  • Doval Dieguez, Eduardo|||0000-0001-8416-160X
  • Riba i Lloret, M. Dolors
  • Renom Pinsach, Jordi|||0000-0003-2020-6906
  • Fuentes Agustí, Marta|||0000-0003-4721-8990
Al diseñar una prueba de conocimientos conviene tener en cuenta que sus elementos, los ítems, han de tener diferentes niveles de dificultad. Cada persona debería ser capaz de superar la dificultad de los ítems hasta un determinado umbral que debería determinar su nivel de conocimiento. En términos generales, se espera que las personas evaluadas contesten correctamente a las preguntas fáciles y fallen las difíciles. Cuando esta pauta de respuesta se rompe de forma repetida, las respuestas son atípicas y dan lugar a puntuaciones que no se corresponden con el verdadero nivel evaluado. Las respuestas atípicas pueden evaluarse con indicadores, como el índice de precaución modificado (IPM). Este índice se basa en la covariación del patrón de respuestas, codificados como 1 (respuesta correcta) y 0 (respuesta incorrecta) con el vector de dificultades de los ítems. Los ítems más difíciles acertados correctamente o los más fáciles respondidos incorrectamente, tienen un gran peso en la identificación de una pauta de respuesta como atípica. El conocimiento de los ítems que están implicados en una pauta atípica es de gran interés en las evaluaciones formativas, esto es, cuando se aprovecha la información que ofrece dicha pauta para proporcionar retroalimentación acerca del proceso de aprendizaje y proporcionar elementos de mejora del mismo. El índice IPM puede calcularse con la instrucción Cstar del paquete Perfit de R (Tendeiro, 2015). Para identificar los ítems implicados en patrones atípicos, hemos programado una rutina en R que permite calcular el IPM sin el ítem. Los valores del IPM que disminuyen cuando se elimina un determinado ítem del análisis, señalan a ese ítem como contribuyente de una pauta de respuesta atípica. Por el contrario, los valores que aumenten al eliminar un ítem apuntan a ítems que no contribuyen a una pauta de respuesta atípica. El trabajo se ilustra con un ejemplo el funcionamiento de la rutina.