- Schellaert, Wout Willy M.
[ES] La inteligencia artificial (IA) es cada vez más importante en nuestra vida cotidiana. Innumerables productos y servicios dependen de algún tipo de cognición artificial para funcionar. Dada su creciente relevancia, la evaluación de los sistemas de IA, es decir, medir lo bien que funcionan o lo inteligentes que son, no se encuentra, sin embargo, en el estado que nos gustaría. La precisión de las estimaciones de rendimiento se ve afectada por cambios en la distribución y la contaminación del conjunto de pruebas. Dada una nueva instancia de una tarea, la mayoría de los procedimientos de evaluación no proporcionan una estimación granular del rendimiento adaptada a esa instancia. Además, con la llegada de la IA de propósito general (GPAI), el alcance de la evaluación ha aumentado significativamente, lo que conlleva una pesada carga logística y de datos para las metodologías de evaluación comúnmente aplicadas así como una distribución desconocida de tareas sobre las que medir el rendimiento. Motivados por la importancia de la predicción en la filosofía de la ciencia, por la relevancia de la predicción para las prácticas de evaluación en otros campos, como la cognición animal y la psicometría, y por el papel de la predicción como lenguaje central en el propio campo del aprendizaje automático, enmarcamos la evaluación de la inteligencia artificial como un problema de predicción. Desarrollamos un marco formal que conceptualiza los procedimientos de evaluación como algoritmos de aprendizaje que producen modelos de predicción del rendimiento a partir de datos empíricos. Este marco nos ha ayudado a replantearnos la disciplina de la evaluación en el lenguaje de la estadística y el aprendizaje automático, aportando una solución al problema del refinamiento al condicionar los resultados de la evaluación a la variable de entrada, lo que también aborda parcialmente los problemas de cambio de distribución. Para los retos que siguen sin resolverse, analogías con la literatura AI proporciona un camino a seguir mediante el escalado de los datos, centrándose en la generalización, o introduciendo el meta-aprendizaje para la evaluación. Además, se presentan dos estudios empíricos. El primero es una investigación de los «assessor models», una técnica de aprendizaje automático desarrollada recientemente para predecir de forma granular el rendimiento de los sistemas de IA, en la que el escenario experimental se centra en los grandes modelos de lenguaje (LLM, por sus siglas en ingés) y en los factores que influyen en la predictibilidad de su rendimiento. Se constata que es posible realizar una estimación refinada de la evaluación a nivel de instancia, que la estimación de la evaluación fuera de la distribución es sistemáticamente difícil y que el uso de datos multitarea y multisistema puede mejorar la precisión de la evaluación. El segundo estudio investiga de nuevo el rendimiento de los modelos de lenguaje, pero en esta ocasión desde la perspectiva de los usuarios humanos que realizan predicciones de evaluación en su interacción directa con los sistemas de IA. En más de treinta modelos de tres familias diferentes de modelos de lenguaje, observamos que, si bien la dificultad humana se correlaciona bien con el rendimiento de los LLM, la forma escalonada del gráfico dificultad-rendimiento es demasiado pequeña para facilitar una predicción fiable. No existe una región --ni siquiera reduciendo la dificultad-- en la que el rendimiento sea perfecto, y los modelos más nuevos mejoran ganando terreno en las instancias medias y difíciles, más que en las fáciles. Llegamos a la conclusión de que una interpretación predictiva de la evaluación permitiendo que la ciencia y la práctica de la evaluación coevolucionen de forma más natural con los avances de la inteligencia artificial., [CA] La intel.ligència artificial (IA) és cada vegada més important en la nostra vida quotidiana. Innombrables productes i serveis depenen d'alguna mena de cognició artificial per a funcionar. Donada aquesta creixent rellevància, l'avaluació dels sistemes d'IA, és a dir, mesurar com de bé funcionen o com d'intel.ligents són, no es troba, però, en l'estat que ens agradaria. Tant en la pràctica com en la teoria, l'avaluació pateix de diverses mancances. La precisió de les estimacions de rendiment es veu afectada per canvis en la distribució i la contaminació del conjunt de proves. Donada una nova instància d'una tasca, la majoria dels procediments d'avaluació no proporcionen una estimació granular del rendiment adaptada a eixa instància. A més, amb l'arribada de la IA de propòsit general (GPAI), l'abast de l'avaluació ha augmentat significativament, la qual cosa comporta una pesada càrrega logística i de dades per a les metodologies d'avaluació comunament aplicades així com una distribució desconeguda de tasques sobre les quals mesurar el rendiment. Motivats per la importància de la predicció en la filosofia de la ciència, per la rellevància de la predicció per a les pràctiques d'avaluació en altres camps, com la cognició animal i la psicometria, i pel paper de la predicció com a llenguatge central en el propi camp de l'aprenentatge automàtic, emmarquem l'avaluació de la intel.ligència artificial com un problema de predicció. Desenvolupem un marc formal que conceptualitza els procediments d'avaluació com a algorismes d'aprenentatge que produeixen models de predicció del rendiment a partir de dades empíriques. Aquest marc ens ha ajudat a replantejar-nos la disciplina de l'avaluació en el llenguatge de l'estadística i l'aprenentatge automàtic, aportant una solució al problema del refinament en condicionar els resultats de l'avaluació a la variable d'entrada, la qual cosa també aborda parcialment els problemes de canvi de distribució. Per als reptes que segueixen sense resoldre's, com la predicció fora de distribució i l'ampli abast de l'avaluació dels sistemes GPAI, poden traçar-se clares analogies amb la literatura sobre aprenentatge automàtic. Això proporciona un camí a seguir mitjançant l'escalat de les dades, centrant-se en la generalització, o introduint el meta-aprenentatge per a l'avaluació. A més, es presenten dos estudis empírics. El primer és una investigació dels «assessors models», una tècnica d'aprenentatge automàtic desenvolupada recentment per a predir de manera granular el rendiment dels sistemes d'IA, en la qual l'escenari experimental se centra en els grans models de llenguatge (LLM, per les seues sigles en anglés) i en els factors que influeixen en la predictibilitat del seu rendiment. Es constata que és possible realitzar una estimació refinada de l'avaluació a nivell d'instància, que l'estimació de l'avaluació fora de la distribució és sistemàticament difícil i que l'ús de dades multitasca i multisistema pot millorar la precisió de l'avaluació.
El segon estudi investiga de nou el rendiment dels models de llenguatge, però en aquesta ocasió des de la perspectiva dels usuaris humans que realitzen prediccions d'avaluació en la seua interacció directa amb els sistemes de IA. En més de trenta models de tres famílies diferents, observem que, si bé la dificultat humana es correlaciona bé amb el rendiment dels LLM, la forma escalonada del gràfic dificultat-rendiment és massa suau per a facilitar una predicció fiable. No existeix una regió --ni tan sols reduïnt la dificultat-- en la qual el rendiment siga perfecte, i els models més nous milloren guanyant terreny en les instàncies mitjanes i difícils, més que en les fàcils. Arribem a la conclusió que una interpretació predictiva de l'avaluació permetent que la ciència i la pràctica de l'avaluació coevolucionen de forma més natural amb els avanços de la intel.ligència artificial., [EN] Artificial intelligence (AI) is becoming more and more relevant to our daily lives. Countless products and services rely on some sort of machine cognition to function. Given this increased relevance, the evaluation of AI systems, i.e. measuring how well they perform or how intelligent they are, is however not in the state we would like it to be. Both in practice and in theory, evaluation is lacking in various ways. Performance estimations suffer in accuracy under distribution shift and test set contamination. Given a new instance of a task, most evaluation procedures do not provide a granular performance estimate tailored to that instance. And with the advent of general-purpose AI (GPAI), the scope of evaluation has increased significantly, associating a heavy data and logistical burden with common evaluation methodology, and entailing an unknown distribution of tasks to measure performance for. Motivated by the importance of prediction in the philosophy of science, the relevance of prediction to the practices of evaluation in other fields such as animal cognition and psychometrics, and the role of prediction as a central language in the field of machine learning itself, we frame the evaluation of artificial intelligence as a prediction problem. We develop a formal framework conceptualising evaluation procedures as learning algorithms that produce performance-predicting models from empirical data. This framework then helped us reframe the notion evaluation in the language of machine learning, providing a solution to the refinement problem by conditioning evaluation results on the input variable, which also partially addresses the distribution shift problem. For challenges that remain unsolved. e.g. out-of-distribution prediction and the large scope of evaluating GPAI systems, clear analogies to machine learning literature can be drawn, providing a way forward through scaling up data, focusing on generalisation, or introducing meta-learning for evaluation. Additionally, two empirical studies are presented. The first is an investigation of "assessor models", a newly developed machine learning technique for granularly predicting AI system performance, where the experimental setting is focused on large language models (LLMs) and the factors influencing the predictability of their performance. We find that refined instance-level score estimation is possible, out-of-distribution score estimation is consistently hard, and that the use of multi-task and multi-system data can improve evaluation accuracy. The second study again investigates language model performance, but now from the perspective of human users doing score prediction in their direct interaction with AI systems. Starting from human-derived notions of difficulty, we analyse performance, question avoidance, prompt sensitivity, and human supervision across five different tasks over varying difficulty levels. We also add two other dimensions: that of scaling language models, i.e. making them bigger in terms of parameters and ingested data, and that of shaping them, making them more instructable and easier to use. Over more than thirty models from three different language model families, we find that while human difficulty correlates well with LLM performance, there is too little of a step shape in the difficulty-performance plot to facilitate confident prediction. There is no region --regardless how low the difficulty-- where performance is perfect, as newer models improve by gaining ground on the medium and hard instances, rather than the easy ones. We conclude that a predictive interpretation of evaluation brings together different techniques and applications of evaluation. By drawing from the rich literature of machine learning and statistics, we can solve several fundamental issues in evaluation theory, while making progress in several others, allowing the science and practice of evaluation to more naturally co-evolve with the advances of artificial intelligence., I want to thank the UPV, the Doctoral School, the Vicerectorate of Investigation, the European Social Fund, and the Spanish Ministry of Education, Culture, Universities and Employment for funding my doctoral research through grant agreements DOCEMPR21, DOCEMPR22 and DOCEMPR23, as well as SOCERFAB SALUD S.R.L. for being an industrial partner. I also acknowledge support from EU’s Horizon 2020 Research and Innovation Programme, which made a long and wonderful research stay possible under grant
agreement No. 952215 (TAILOR).