Skip to main content

METODOS FORMALES ESCALABLES PARA APLICACIONES REALES

PID2021-122830OB-C42

•
Funding agency name Agencia Estatal de Investigación
Funding agency acronym AEI
Program Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia
Subprogram Subprograma Estatal de Generación de Conocimiento
Call Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Call year 2021
State Plan 2021-2023 Plan Estatal de Investigación Científica y Técnica y de Innovación
Beneficiary centre UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Resultados relacionados

Resultados totales (Incluyendo duplicados): 1
Encontrada(s) 1 página(s)

RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Tesis doctoral (DoctoralThesis)

Contamination Problems in AI Evaluation

  • Mehrbakhsh, Behzad|||0000-0001-9017-989X
[ES] La evaluación de la Inteligencia Artificial se basa fundamentalmente en los benchmarks: conjuntos de datos y tareas estandarizadas que se utilizan para medir las capacidades de los modelos y orientar el progreso de la investigación. Sin embargo, la integridad de estas evaluaciones está cada vez más amenazada por la contaminación: distorsiones sutiles que comprometen la validez y la fiabilidad de las métricas de rendimiento. Esta tesis ofrece una investigación exhaustiva sobre la contaminación en la evaluación de sistemas de IA, analizando cómo surge, cómo afecta a los resultados reportados y cómo puede detectarse y mitigarse. Introducimos un marco teórico unificado que caracteriza la contaminación mediante ratios de densidad vecinal, cuantificando tanto la dirección como la magnitud del sesgo evaluativo. Dentro de este marco, identificamos y analizamos tres formas principales de contaminación, cada una con características e impactos distintos: La contaminación por benchmarks adversariales se produce cuando los conjuntos de evaluación se enriquecen deliberadamente con ejemplos difíciles. Aunque esta práctica es útil para pruebas de estrés y para revelar vulnerabilidades, desplaza sistemáticamente la distribución de dificultad respecto a las tareas del mundo real. Demostramos que las métricas de rendimiento agregadas confunden dos efectos distintos: el desplazamiento hacia ejemplos más difíciles y los cambios genuinos de capacidad. Mediante la descomposición del rendimiento a través de curvas características condicionadas por la dificultad, mostramos que el rendimiento sobre la distribución original puede recuperarse sin una medición directa, siempre que la probabilidad condicional respecto a la dificultad permanezca inalterada. La contaminación de datos surge cuando ejemplos del test o sus variantes cercanas aparecen en los datos de entrenamiento, inflando artificialmente el rendimiento mediante memorización en lugar de aprendizaje genuino. Replanteamos este fenómeno como un problema de asignación de recursos, introduciendo el concepto de presupuesto de contaminación para examinar los compromisos entre amplitud (número de ejemplos), profundidad (repeticiones por ejemplo) y dificultad (priorizar instancias más fáciles o más difíciles). A través de experimentos controlados con múltiples familias de modelos de lenguaje y benchmarks diversos, observamos que la magnitud de la contaminación no determina por sí sola la inflación del rendimiento: la estrategia de asignación es igualmente crítica. La contaminación generada por IA surge a medida que los modelos generativos pueblan Internet con contenido sintético que se vuelve indistinguible del material producido por humanos. Esta forma de contaminación es especialmente insidiosa porque se infiltra en los corpus de entrenamiento y en los benchmarks de evaluación mediante técnicas de web scraping. Nuestros experimentos controlados muestran que los errores generados por IA presentan características fundamentalmente distintas a los errores humanos: menor entropía, sesgos más sistemáticos y patrones de error diferenciados. Esta tesis avanza tanto la comprensión teórica como la detección práctica de la contaminación en la evaluación de sistemas de IA. Al hacer visible, cuantificable e interpretable la contaminación mediante herramientas como los ratios de densidad vecinal y las curvas características, proporcionamos una base para restaurar la confianza en la evaluación de la IA. A medida que avanzamos hacia sistemas cada vez más capaces, la integridad de nuestros métodos de evaluación nunca ha sido tan crítica. Este trabajo representa un paso hacia garantizar que el progreso reportado refleje avances genuinos y no artefactos de medición, permitiendo evaluaciones más fiables de las capacidades de la IA y decisiones de despliegue más seguras., [EN] Artificial Intelligence evaluation relies fundamentally on benchmarks; standardised datasets and tasks used to measure model capabilities and guide research progress. However, the integrity of these evaluations is increasingly threatened by contamination: subtle distortions that compromise the validity and reliability of performance assessments. This thesis provides a comprehensive investigation of contamination in AI evaluation, examining how it arises, how it affects reported performance, and how it can be detected and mitigated. We introduce a unified theoretical framework that characterises contamination through neighbourhood density ratios, quantifying both the direction and magnitude of evaluation bias. Within this framework, we identify and analyse three primary forms of contamination, each with distinct characteristics and impacts: Adversarial Benchmark Contamination occurs when evaluation sets are deliberately enriched with difficult examples. Although valuable for stress-testing and exposing weaknesses, this practice systematically shifts the difficulty distribution away from real-world tasks. We demonstrate that aggregate performance metrics confound two distinct effects: the shift toward harder examples and genuine capability changes. By decomposing performance through system characteristic curves conditioned on difficulty, we show that performance on the original distribution can be recovered without direct measurement, provided the conditional probability on difficulty remains unchanged. Data Contamination arises when test examples or their close variants appear in training data, artificially inflating performance through memorisation rather than genuine learning. We reframe this as a resource allocation problem, introducing the concept of a contamination budget to examine trade-offs between breadth (number of examples), depth (repetitions per example) and difficulty (prioritising easier or harder instances). Through controlled experiments across multiple language model families and diverse benchmarks, we find that contamination magnitude alone does not determine performance inflation, but the allocation strategy is equally critical. AI-Generated Contamination emerges as generative models increasingly populate the internet with synthetic content that becomes indistinguishable from human-authored material. This contamination is particularly insidious because it infiltrates both training corpora and evaluation benchmarks through web scraping. Our controlled experiments demonstrate that AI-generated errors exhibit fundamentally different characteristics than human errors: lower entropy, more systematic biases, and distinct error patterns. This thesis advances both the theoretical understanding and practical detection of evaluation contamination in AI systems. By making contamination visible, quantifiable, and interpretable through tools such as neighbourhood density ratios and characteristic curves, we provide a foundation for restoring trust in AI evaluation. As we advance toward increasingly capable AI systems, the integrity of our evaluation methods has never been more critical. This work represents a step toward ensuring that reported progress reflects genuine advances rather than measurement artefacts, enabling more reliable assessment of AI capabilities and safer deployment decisions., [CA] L'avaluació de la Intel·ligència Artificial es basa fonamentalment en els benchmarks: conjunts de dades i tasques estandarditzades que s'utilitzen per mesurar les capacitats dels models i orientar el progrés de la investigació. No obstant això, la integritat d'estes avaluacions està cada vegada més amenaçada per la contaminació: distorsions subtils que comprometen la validesa i la fiabilitat de les mètriques de rendiment. Esta tesi oferix una investigació exhaustiva sobre la contaminació en l'avaluació de sistemes d'IA, analitzant com apareix, com afecta els resultats reportats i com pot detectar-se i mitigar-se. Introduïm un marc teòric unificat que caracteritza la contaminació mitjançant ràtios de densitat veïnal, quantificant tant la direcció com la magnitud del biaix avaluatiu. Dins d'este marc, identifiquem i analitzem tres formes principals de contaminació, cadascuna amb característiques i impactes diferents: La contaminació per benchmarks adversarials es produïx quan els conjunts d'avaluació s'enriquixen deliberadament amb exemples difícils. Tot i que esta pràctica és útil per fer proves d'estrés i descobrir vulnerabilitats, desplaça sistemàticament la distribució de dificultat respecte a les tasques del món real. Demostrem que les mètriques de rendiment agregades confonen dos efectes diferents: el desplaçament cap a exemples més difícils i els canvis genuïns de capacitat. Mitjançant la descomposició del rendiment a través de corbes característiques condicionades per la dificultat, mostrem que el rendiment sobre la distribució original pot recuperar-se sense una mesura directa, sempre que la probabilitat condicional respecte a la dificultat es mantinga inalterada. La contaminació de dades sorgix quan exemples del test o variants pròximes apareixen en les dades d'entrenament, inflant artificialment el rendiment mitjançant memorització en lloc d'aprenentatge genuí. Replantegem este fenomen com un problema d'assignació de recursos, introduint el concepte de pressupost de contaminació per examinar els compromisos entre amplitud (nombre d'exemples), profunditat (repeticions per exemple) i dificultat (prioritzar instàncies més fàcils o més difícils). A través d'experiments controlats amb múltiples famílies de models de llenguatge i benchmarks diversos, observem que la magnitud de la contaminació no determina per si mateixa la inflació del rendiment: l'estratègia d'assignació és igualment crítica. La contaminació generada per IA apareix a mesura que els models generatius omplin Internet amb contingut sintètic que es torna indistinguible del material produït per humans. Esta forma de contaminació és especialment insidiosa perquè s'infiltra tant en els corpus d'entrenament com en els benchmarks d'avaluació mitjançant tècniques de web scraping. Els nostres experiments controlats mostren que els errors generats per IA presenten característiques fonamentalment diferents dels errors humans: menor entropia, biaixos més sistemàtics i patrons d'error diferenciats. Esta tesi avança tant la comprensió teòrica com la detecció pràctica de la contaminació en l'avaluació de sistemes d'IA. En fer visible, quantificable i interpretable la contaminació mitjançant eines com els ràtios de densitat veïnal i les corbes característiques, proporcionem una base per restaurar la confiança en l'avaluació de la IA. A mesura que avancem cap a sistemes cada vegada més capaços, la integritat dels nostres mètodes d'avaluació mai no ha sigut tan crítica. Este treball representa un pas cap a garantir que el progrés reportat reflectisca avanços genuïns i no artefactes de mesura, permetent avaluacions més fiables de les capacitats de la IA i decisions de desplegament més segures., This work was supported by several institutions and research projects. I gratefully acknowledge ValgrAI – Valencian Graduate School and Research Network for Artificial Intelligence and Generalitat Valenciana for providing predoctoral support. I also acknowledge funding from the EU’s Horizon 2020 research and innovation programme under grant agreement No. 952215 (TAILOR), which supported my research stay. This research was supported by the Spanish project PID2021-122830OB-C42 (SFERA), funded by MCIN/AEI/10.13039/501100011033 and ERDF “A way of making Europe”, and by the project CIPROM/2022/6 (FASSLOW), funded by Generalitat Valenciana – Programa Prometeo and ERDF, EU.