RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación
Contribución de congreso (ConferenceOutput)
Evaluación de la edad de razonamiento de LLMs en las Pruebas Cangur de la Comunitat Valenciana
[CA] Aquest estudi analitza l'eficàcia dels models de llenguatge profund (LLMs) de IA per a resoldre problemes de matemàtiques mitjançant una avaluació d'una bateria de preguntes en valencià, avaluant tant la precisió com la coherència dels raonaments generats. Per a això, s'ha generat un dataset amb els enunciats extrets per OCR de les edicions 2014/2024 de les Proves Cangur, normalitzat en CSV i avaluat mitjançant prompts sistemàtics idèntics per a tots els models. DeepSeek, GPT-4o i LLaMA 3.3-70B lideren la taxa d'encert, aconseguint un rendiment superior al 90% en preguntes de purament textuals sense igualar completament la precisió humana, la qual cosa subratlla àrees clau per a la innovació pedagògica i futurs desenvolupaments en entrenament multilingüe i adaptatiu., [ES] Este estudio analiza la eficacia de los modelos de lenguaje profundo (LLMs) de IA para resolver problemas de matemáticas mediante una evaluación de una batería de preguntas en valenciano, evaluando tanto la precisión como la coherencia de los razonamientos generados. Para ello, se ha generado un dataset con los enunciados extraídos por OCR de las ediciones 2014/2024 de las Pruebas Cangur, normalizado en CSV y evaluado mediante prompts sistemáticos idénticos para todos los modelos. DeepSeek, GPT-4o y LLaMA 3.3-70B lideran la tasa de acierto, alcanzando un rendimiento superior al 90 % en preguntas de puramente textuales sin igualar completamente la precisión humana, lo que subraya áreas clave para la innovación pedagógica y futuros desarrollos en entrenamiento multilingüe y adaptativo.