Pasar al contenido principal

MECANICA CUANTICA PARA LA COMPRENSION Y GENERACION DEL LENGUAJE

PID2024-160791OB-I00

•
Nombre agencia financiadora Agencia Estatal de Investigación
Acrónimo agencia financiadora AEI
Programa Programa Estatal para la Investigación y el Desarrollo Experimental
Subprograma Subprograma Estatal de Generación de Conocimiento Científico-Técnico y Desarrollo Experimental
Convocatoria Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Año convocatoria 2024
Plan Estatal 2024-2027 Plan Estatal de Investigación Científica y Técnica y de Innovación
Centro beneficiario UNIVERSIDAD DE ALICANTE

Resultados relacionados

Resultados totales (Incluyendo duplicados): 11
Encontrada(s) 1 página(s)

RUA. Repositorio Institucional de la Universidad de Alicante
Software de investigación Software (Software)

QuaSumm: Marco de resumen multidocumento con reranking cuántico e inspirado en el paradigma cuántico

  • Sánchez Bellido, Mónica
  • Lloret, Elena
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
QuaSumm (Quantum-inspired Summarization) es un marco de resumen extractivo y abstractivo multidocumento y guiado por consulta (query-focused) que integra mecanismos de reordenación (reranking) cuánticos y de inspiración cuántica para controlar de forma explícita el equilibrio entre relevancia y redundancia. El sistema sigue una arquitectura recuperar-y-generar (retrieve-then-generate) en cuatro fases: recuperación de documentos mediante BM25, extracción y recuperación de frases candidatas a nivel de oración, reordenación de las frases seleccionadas y generación final del resumen. La novedad principal reside en la fase de reordenación, donde QuaSumm implementa cuatro estrategias sobre un mismo pipeline: un reranker BGE sin control de redundancia (línea base), un MMR (Maximal Marginal Relevance) clásico, y dos variantes cuánticas —QMMR-pure y QMMR-inspired— que sustituyen la similitud del coseno por medidas de similitud y redundancia de naturaleza cuántica. QMMR-pure traduce directamente el MMR al paradigma cuántico mediante codificación de amplitud (amplitude encoding) y el test SWAP, ejecutable sobre hardware cuántico NISQ; QMMR-inspired reformula la redundancia mediante matrices de densidad actualizadas de forma incremental, ejecutable de manera eficiente sobre hardware clásico. Las frases seleccionadas se emplean directamente (resumen extractivo) o como contexto de un modelo de lenguaje grande (resumen abstractivo). El sistema es agnóstico al dominio y fácilmente adaptable a distintos ámbitos —biomédico, noticias, científico y de opinión—, y ha sido validado sobre seis conjuntos de datos de referencia. Potencial de explotación: QuaSumm es explotable como componente de resumen y reducción de redundancia de grandes volúmenes de texto. Aplicaciones: resumen de literatura científica y biomédica, vigilancia tecnológica, sistemas de respuesta a preguntas y asistentes documentales, resumen de noticias y de opiniones de clientes, y pipelines de recuperación de información y RAG. Al ser modular y compatible con hardware clásico (con una variante preparada para hardware cuántico NISQ), pueden interesarse empresas de tecnologías del lenguaje e IA, editoriales y proveedores de bases de datos científicas, farmacéuticas, medios de comunicación, plataformas de análisis de opinión y compañías de computación cuántica.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Informe de Infraestructuras Cuánticas Nacionales e Internacionales

  • Madrigal Cutillas, Jairo
  • Sánchez Bellido, Mónica
  • Lloret, Elena
  • Suárez Cueto, Armando
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Suárez Cueto, Armando|||/items/63f12a3d-4bd9-4c83-b056-383e1645a62d
El presente informe ofrece un análisis detallado del panorama actual de infraestructuras de computación cuántica a nivel nacional e internacional, con especial énfasis en los recursos disponibles para grupos de investigación españoles en el marco del ecosistema europeo. El objetivo principal es proporcionar una visión integrada de ordenadores cuánticos reales (QPU) y simuladores cuánticos, describiendo sus características técnicas, modelos de acceso y grado de adecuación para aplicaciones avanzadas de investigación e innovación. En este contexto, el proyecto QUMLAUDE (QUantum Mechanics for LAnguage Understanding anD gEneration), en el que participan los autores de este informe, constituye el marco aplicado que orienta buena parte del análisis realizado. QUMLAUDE tiene por finalidad estudiar de manera sistemática el potencial de los algoritmos cuánticos y del aprendizaje cuántico (QML) en tareas de procesamiento del lenguaje natural (PLN), analizando cómo la representación cuántica de la información y el uso de circuitos parametrizados pueden contribuir a la comprensión y generación de lenguaje. La trayectoria previa de la Universidad de Alicante en inteligencia artificial (IA) y PLN, junto con las capacidades de las infraestructuras cuánticas nacionales y europeas descritas en este documento, sitúan al proyecto en una posición favorable para generar evidencia empírica sobre las posibilidades y limitaciones actuales de la computación cuántica en este ámbito. Este informe identifica, en España, un conjunto de infraestructuras que combina QPUs superconductoras de pequeño y mediano tamaño (Quantum Spain–BSC, QMIO–CESGA, IBM Donostia) con simuladores de altas prestaciones integrados en centros de supercomputación (SCAYLE, MareNostrum ONA). Este bloque de recursos proporciona una base sólida para el desarrollo y validación de algoritmos cuánticos y flujos de trabajo híbridos en proyectos como QUMLAUDE. En el contexto europeo, el ecosistema articulado en torno a EuroHPC y a diversos centros nacionales incorpora QPUs adicionales basadas en superconductores, átomos neutros, iones atrapados y fotónica, así como simuladores híbridos HPC‑cuánticos que amplían de forma significativa el espacio experimental disponible.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Exploring Cross-Lingual Transfer in Transformer-Based Fraud Detection Models

  • Martínez-Murillo, Iván
  • Sepúlveda-Torres, Robiert
  • Consuegra-Ayala, Juan Pablo
  • Martínez-Murillo, Iván|||/items/10185dd6-7baf-4c77-9241-9ca9c38f31a1
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
Digital communication channels have become major vectors for large-scale cyber fraud, including spam, phishing, and recruitment scams, causing significant financial losses and eroding user trust. While transformer-based models have improved text classification, most systems remain English-centric, limiting their effectiveness in multilingual environments and across diverse fraud typologies. In this work, we hypothesize that fraud detection models trained in a single language can exhibit cross-lingual generalization capabilities. We investigate the use of Natural Language Processing (NLP) for detecting multiple forms of textual fraud by developing and evaluating three transformer-based discriminative models targeting spam, phishing, and fake job postings. Specifically, we compare two architectures—MrBERT (308M parameters) and mROBERTa (283M parameters)—across English, Spanish, and Valencian data. Our results demonstrate that while models trained exclusively on English achieve near-perfect performance in-language (F1 ≈ 0.98), they exhibit limited cross-lingual generalization in other languages such as Spanish (F1 ≈ 0.44 for phishing detection, and F1 ≈ 0.85 for spam detection). However, incorporating multilingual training data dramatically improves performance in target languages (F1 ≈ 0.95–0.99) while maintaining or even enhancing English accuracy. We further observe that cross-lingual transfer is most effective when datasets are parallel or closely aligned. These findings underscore the critical importance of multilingual data inclusion for building robust, scalable cybersecurity frameworks in diverse linguistic settings.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Aproximación basada en inferencia lingüística y hechos estructurados para la detección de la alucinación en textos, An Approach Based on Linguistic Inference and Structured Facts for the Detection of Hallucinations in Texts

  • Madrigal Cutillas, Jairo
  • Lloret, Elena
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
El objetivo de este artículo es proponer y evaluar un enfoque para detectar alucinaciones factuales en textos en español, combinando análisis lingüístico con verificación de hechos extraídos de fuentes de conocimiento estructurado, en nuestro caso, Wikidata. Los resultados obtenidos demuestran que el enfoque propuesto permite identificar contradicciones y hechos inventados con una alta precisión (alrededor del 90 %), ofreciendo una herramienta pionera y competitiva con respecto a herramientas similares para la verificación factual en español.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Pragmatic Profiling of Textual Genres: Characterizing Subjectivity in Human and AI-generated Spanish Texts, Perfilado pragmático de géneros textuales: caracterización de la subjetividad en textos humanos y generados por IA en español

  • Pérez Montero, Alba
  • Pérez Montero, Alba|||/items/933a3a2a-82b5-4d6e-9337-2e478a6c3f42
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
The use of Generative AI for text creation has become a standard practice; however, a significant stylistic and pragmatic gap remains between human authorship and synthetic Spanish discourse. This study employs a multilevel analysis, based on morphosyntactic metrics and subjectivity markers, to compare scientific Abstracts, News, and Reviews produced by humans and models such as GPT-5, Llama-3.3, and Mistral 3. Results reveal that these models exhibit a hyper-nominal and rigid style, prioritizing informational density over the discursive flexibility of human writing. At the pragmatic level, a homogenization of subjectivity is observed: models fail to replicate the polarized extremes of human style, such as the technical specificity of Abstracts or the personal participation found in Reviews. Finally, cross-domain classification experiments confirm that this reduction in genre-specific subjective markers diminishes the stability of synthetic genres, evidencing a loss of linguistic identity in AI-generated texts.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Assessing the potential of LLMs as crowdworkers for contextual information generation

  • Martínez-Murillo, Iván
  • Miró Maestre, María
  • Suárez Cueto, Armando
  • Lloret, Elena
  • Moreda, Paloma
  • Martínez-Murillo, Iván|||/items/10185dd6-7baf-4c77-9241-9ca9c38f31a1
  • Suárez Cueto, Armando|||/items/63f12a3d-4bd9-4c83-b056-383e1645a62d
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
  • Miró Maestre, María|||/items/54fede9e-4116-446d-b668-9871db0ac7f3
Large Language Models (LLMs) have shown remarkable capabilities, demonstrating their potential to transform the Natural Language Processing (NLP) field by achieving strong performance across the entire spectrum of tasks. In this context, there is growing interest in leveraging LLMs as automated crowdworkers to streamline the traditionally labor-intensive process of manual annotation and linguistic content generation. This paper specifically examines the feasibility of using LLMs to generate high-quality contextual information — an increasingly recognized element for enhancing generative systems — by producing linguistic contexts from given premise sentences. We evaluate four prominent LLMs — LLaMA 2, PaLM 2, Vicuna, and GPT-3.5 — by making them generate 180 contextual outputs, which are then compared to 60 contexts manually crafted by linguistic experts. To systematically assess the appropriateness of these generated contexts, we introduce CATS (Contextual Appropriateness in Texts for Spanish), a novel and adaptable evaluation metric for measuring the appropriateness of contextual information generated texts. CATS is rooted in established discourse theories and provides a robust framework for analyzing linguistic context quality. The implementation of CATS is made publicly available at https://github.com/gplsi/cats. The reliability of CATS is validated through a manual evaluation conducted by two independent human referees. The results indicate that the quality of contexts generated by LLMs is comparable to those produced by human specialists, as evidenced by both CATS scores (0.214 vs. 0.150) and human judgment. Our findings underscore the efficiency and cost-effectiveness of employing LLMs as alternatives to human crowdworkers for generating contextual information, offering promising implications for the scalability and advancement of generative systems.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Cross-sectional analysis of large language models in current natural language generation challenges

  • Miró Maestre, María
  • Martínez-Murillo, Iván
  • Morote Martínez, Aitana
  • Lloret, Elena
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Miró Maestre, María|||/items/54fede9e-4116-446d-b668-9871db0ac7f3
  • Martínez-Murillo, Iván|||/items/10185dd6-7baf-4c77-9241-9ca9c38f31a1
The rapid evolution of Large Language Models (LLMs) has produced diverse model families with multiple versions differing in parameter size and release chronology. While this ongoing progress has driven substantial advancements in Natural Language Generation (NLG), several critical challenges remain unmet. This paper presents a cross-sectional analysis of 24 model versions from five prominent LLM families, evaluating their performance across five persistent generation gaps. For each gap, we define three targeted tasks to systematically assess model behaviour, with three prompt variants per task to analyse them with comprehensive examples, yielding 45 distinct prompts and 1080 model responses. Human expert qualitative analysis reveals that gpt-4o and gpt-40-mini accurately respond to 75.5% and 46.6% of prompts respectively, while models as llama-3.2-3b-instruct and llama-3.2-1b-instruct achieve only 11% and 10% accuracy respectively. Our study also highlights a key and unexpected insight: in several cases, earlier or smaller LLM versions sometimes match or exceed the performance of their latest, larger counterparts. These findings invite a timely discussion within the NLG community about the current trajectory of scaling models versus focusing on the optimisation and adaptation of existing architectures. We hope this analysis contributes valuable perspectives for more informed and strategic development of future LLMs in the field of NLG.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Hybrid Annotation Framework for Spanish Subjectivity Detection, Marco de anotación híbrido para la detección de subjetividad en español

  • Pérez Montero, Alba
  • Lloret, Elena
  • Moreda, Paloma
  • Pérez Montero, Alba|||/items/933a3a2a-82b5-4d6e-9337-2e478a6c3f42
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
Subjectivity Detection (SD) is a fundamental NLP task that distinguishes between factual content and opinion. Its analysis provides profound linguistic knowledge, useful for tasks such as disinformation detection. Our objective is to develop and validate a hybrid annotation framework for SD in Spanish. Our methodology includes: (1) a pilot study comparing human annotation against Machine Learning (ML) and Large Language Models (LLMs); (2) an error analysis to refine the framework; and (3) the application of the consolidated framework. Results show ML achieving higher precision, but overlooking complex structures (e.g., subjunctive). The consolidated hybrid methodology is tested in three annotation setups (human [A1], unrevised automatic [A2], consolidated semi-automatic [A3]). A3 achieves the best balance between quality and time consumption (only 19% of the manual annotation effort).
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Pragmatic Profiling for Disinformation Detection: An Exploratory Analysis of Stylistic Features in Spanish News

  • Pérez Montero, Alba
  • Miró Maestre, María
  • Lloret, Elena
  • Moreda, Paloma
  • Pérez Montero, Alba|||/items/933a3a2a-82b5-4d6e-9337-2e478a6c3f42
  • Miró Maestre, María|||/items/54fede9e-4116-446d-b668-9871db0ac7f3
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
The spread of misleading and fabricated information has made automatic disinformation detection a central challenge for Natural Language Processing. While most approaches have focused on lexical, syntactic, or semantic cues, deceptive discourse is also shaped by pragmatic choices that reflect how information is framed, qualified, and directed toward readers. This paper investigates whether pragmatic information can improve disinformation detection in Spanish by explicitly incorporating two annotation layers: communicative intentions and subjectivity markers. We compare the impact of these pragmatic features across three modeling paradigms: traditional classifiers, an encoder-based transformer (RoBERTa), and generative language models (GPT-oss and Mistral-small). Our results show that pragmatic augmentation consistently improves over text-only baselines, with subjectivity markers displaying stronger discriminative power than intention labels. Statistical testing further confirms that the observed gains are robust for the generative models evaluated. These findings support the view that authorial stance and communicative purpose provide useful complementary evidence for veracity classification.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Quality over Quantity: Ontology Dataset Selection for Efficient Triple Generation in LLMs, Calidad frente a cantidad: selecci´on de datasets ontol´ogicos para la generaci´on eficiente de triples en LLMs

  • Canal-Esteve, Miquel
  • Canal-Esteve, Miquel|||/items/f1b086bf-bce4-49ea-b765-73081f7a27f9
  • Abreu Salas, José Ignacio|||/items/99fd9ec6-0b97-4c02-a28e-98bc309cff48
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Muñoz, Rafael|||/items/d6ef1286-fc50-4e8b-9d97-bcbc30e3d1bc
The integration of structured semantic knowledge into Large Language Models (LLMs) is increasingly relevant for knowledge-intensive Natural Language Processing tasks. Ontologies play a central role in organizing this knowledge, yet their manual construction and maintenance become inefficient as digital information grows. While LLMs are increasingly used for ontology learning, their ability to generate coherent structural knowledge remains limited, particularly in small open-source models needed for efficient and sustainable deployment. This work investigates a controlled ontology-to-ontology generation setup to evaluate LLMs’ structural generalization abilities and introduces a data-centric continual pretraining methodology based on ontology quality. Two open-source models, LLaMA 3.2-1B and GEMMA 3-1B, are trained and evaluated using structural and formatting criteria. Results show that selecting only high-quality ontology data substantially improves triple generation while reducing training time by an average of 67% for 1 epoch.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

El lenguaje figurado en los LLM: Evaluación y análisis, Figurative Language in LLMs: Evaluation and Analysis

  • Ramírez Trives, Marta
  • Lloret, Elena
  • Bonet-Jover, Alba
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
Pese a los avances en Procesamiento del Lenguaje Natural (PLN), el lenguaje figurado sigue siendo un reto para los grandes modelos de lenguaje (LLM). En este estudio evaluamos y comparamos el rendimiento de los LLM ChatGPT-4o, DeepSeek- V3, Gemini 2.5 Pro Experimental y Grok 3 Preview en tareas de procesamiento del lenguaje figurado. Basándonos en la teoría del lenguaje figurativo convencional (CFLT) de Dobrovol’skij y Piirainen (2021), compilamos CLUE, un conjunto de datos inglés-español de metáforas, modismos, símiles y proverbios. A partir de él, diseñamos y llevamos a cabo pruebas de detección, interpretación y generación de lenguaje figurado. Los modelos ofrecieron resultados excelentes en detección (0,94) e interpretación (0,91) en ambas lenguas. Sin embargo, exceptuando a Gemini, su rendimiento bajó notablemente en la prueba de generación (0,70), especialmente en español. Concluimos que los LLM son eficaces en tareas de comprensión del lenguaje figurado, pero su capacidad para producirlo es más limitada.