Pasar al contenido principal

Resultados relacionados

Resultados totales (Incluyendo duplicados): 28
Encontrada(s) 1 página(s)

RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Annotating reliability to enhance disinformation detection: annotation scheme, resource and evaluation, Anotando la confiabilidad para mejorar la tarea de detección de desinformación: esquema de anotación, recurso y evaluación

  • Bonet-Jover, Alba
  • Sepúlveda-Torres, Robiert
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
Disinformation is a critical problem in our society. The COVID-19 pandemic and the Russia-Ukraine war have been key events for the spreading of fake news. Assuming that fake news mixes reliable and unreliable information, we propose RUN-AS (Reliable and Unreliable Annotation Scheme), a fine-grained annotation scheme that labels the structural parts and essential content elements of a news item to enable their classification into Reliable and Unreliable. This type of annotation will be used for training systems to automatically classify the reliability of a news item. To this end, RUN dataset in Spanish was built and annotated with RUN-AS. A set of experiments were conducted to validate the annotation scheme. The experiments evidence the validity of the annotation scheme proposed, obtaining the best F1m, i.e., 0.948.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Reliability and Toxicity Detection Tool in Digital Media

  • Sepúlveda-Torres, Robiert
  • Bonet-Jover, Alba
  • Espinosa Zaragoza, Sergio
  • Mamchur, Kateryna
  • Cabrera-de Castro, Isabel
  • Mármol-Romero, Alba María
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Martín Valdivia, María Teresa
  • Ureña López, Luis Alfonso
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Espinosa Zaragoza, Sergio|||/items/0d7f5059-158d-4ff0-933f-8ebc0b102b06
The accelerated spread of information, the constant demand for user interaction, and the overabundance of online content has amplified disinformation and toxicity in digital media. This article presents a tool designed to detect the degree of reliability and toxicity in digital news articles and comments published on digital newspapers. It is the result of a proof of concept focused on developing a tool that, trained with language models and Artificial Intelligence (AI) agents, can generate an expert report capable of providing users with a detailed analysis of the potential presence of reliability or toxicity patterns in digital content. A study was carried out to assess both the usability and accessibility of the tool showing that more than half of the users (67.3%) were satisfied with the tool. This result shows that the tool presented contributes to creating a healthier digital environment and represents a step forward in the detection of disinformation and toxic language.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

OntoLM: Integrating Knowledge Bases and Language Models for classification in the medical domain, OntoLM: Integrando bases de conocimiento y modelos de lenguaje para clasificación en dominio médico

  • Yáñez Romero, Fabio
  • Montoyo, Andres
  • Muñoz, Rafael
  • Gutiérrez, Yoan
  • Suárez Cueto, Armando
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Montoyo, Andres|||/items/a2b7158a-7032-423a-a7b5-0f7b92902b72
  • Muñoz, Rafael|||/items/d6ef1286-fc50-4e8b-9d97-bcbc30e3d1bc
  • Suárez Cueto, Armando|||/items/63f12a3d-4bd9-4c83-b056-383e1645a62d
  • Yáñez Romero, Fabio|||/items/792a2bc4-9249-45bf-8389-7a63e1b74671
Large language models have shown impressive performance in Natural Language Processing tasks, but their black box characteristics render the explainability of the model’s decision difficult to achieve and the integration of semantic knowledge. There has been a growing interest in combining external knowledge sources with language models to address these drawbacks. This paper, OntoLM, proposes a novel architecture combining an ontology with a pre-trained language model to classify biomedical entities in text. This approach involves constructing and processing graphs from ontologies and then using a graph neural network to contextualize each entity. Next, the language model and the graph neural network output are combined into a final classifier. Results show that OntoLM improves the classification of entities in medical texts using a set of categories obtained from the Unified Medical Language System. We can create more traceable natural language processing architectures using ontology graphs and graph neural networks.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

RUN-AS: a novel approach to annotate news reliability for disinformation detection

  • Bonet-Jover, Alba
  • Sepúlveda-Torres, Robiert
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Nieto Pérez, Mario
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
The development of the internet and digital technologies has inadvertently facilitated the huge disinformation problem that faces society nowadays. This phenomenon impacts ideologies, politics and public health. The 2016 US presidential elections, the Brexit referendum, the COVID-19 pandemic and the Russia-Ukraine war have been ideal scenarios for the spreading of fake news and hoaxes, due to the massive dissemination of information. Assuming that fake news mixes reliable and unreliable information, we propose RUN-AS (Reliable and Unreliable Annotation Scheme), a fine-grained annotation scheme that enables the labelling of the structural parts and essential content elements of a news item and their classification into Reliable and Unreliable. This annotation proposal aims to detect disinformation patterns in text and to classify the global reliability of news. To this end, a dataset in Spanish was built and manually annotated with RUN-AS and several experiments using this dataset were conducted to validate the annotation scheme by using Machine Learning (ML) and Deep Learning (DL) algorithms. The experiments evidence the validity of the annotation scheme proposed, obtaining the best F1m, 0.948, with the Decision Tree algorithm.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Balancing the Scales: Addressing Gender Bias in Social Media Toxicity Detection

  • Botella-Gil, Beatriz
  • Consuegra-Ayala, Juan Pablo
  • Bonet-Jover, Alba
  • Moreda, Paloma
  • Botella-Gil, Beatriz|||/items/a03c3d62-efa7-4c50-8870-103ca1d81d37
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
The detection of toxic content in social media has become a critical task in Natural Language Processing (NLP), particularly given its intersection with complex issues like subjectivity, implicit language, and cultural context. Among these challenges, bias in training data remains a central concern—especially as language models risk reproducing and amplifying societal inequalities. This paper investigates the interplay between toxicity and gender bias on Twitter/X by introducing a novel dataset of violent and non-violent Spanish tweets, annotated not only for violence but also for gender. We conduct an exploratory analysis of how biased data can distort toxicity classification and present algorithms to mitigate these effects through dataset balancing and debiasing. Our contributions include four new dataset splits—two balanced and two debiased—that aim to support the development of fairer and more inclusive NLP models. By foregrounding the importance of equity in data curation, this work lays the groundwork for more ethical approaches to automated violence detection and gender annotation.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Confiabilidad en los estudios sobre fake news: datasets y métricas, Reliability in fake news studies: datasets and metrics

  • Castellanos-Trujillo, Vianny Geraldine
  • Hidalgo-Marí, Tatiana
  • Palomares-Sánchez, Patricia
  • Rodríguez-Ferrándiz, Raúl
  • Hidalgo-Marí, Tatiana|||/items/92a20efc-9b11-43cd-97e9-4a5e609c1ae2
  • Palomares-Sánchez, Patricia|||/items/e8582ceb-cc14-4662-a75d-146b3a03514a
  • Rodríguez-Ferrándiz, Raúl|||/items/394f3621-8267-41df-9ee4-903977b014d3
Gran cantidad de estudios empíricos sobre fake news emplean como datasets repertorios de noticias falsas y de noticias auténticas, al objeto de compararlos. Dichos estudios apelan a menudo a la confiabilidad como factor para caracterizar y evaluar el mensaje, el medio, la fuente y la percepción de la audiencia. A partir de los 50 artículos de metodología empírica más citados en WoS y Scopus (2017-2022) sobre fake news y confiabilidad proponemos una metainvestigación donde analizamos los criterios, índices, métricas y bases de datos que declaran los investigadores para justificar su selección tanto de noticias auténticas como falsas.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Detecting Misleading Headlines Through the Automatic Recognition of Contradiction in Spanish

  • Sepúlveda-Torres, Robiert
  • Bonet-Jover, Alba
  • Saquete Boró, Estela
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
Misleading headlines are part of the disinformation problem. Headlines should give a concise summary of the news story helping the reader to decide whether to read the body text of the article, which is why headline accuracy is a crucial element of a news story. This work focuses on detecting misleading headlines through the automatic identification of contradiction between the headline and body text of a news item. When the contradiction is detected, the reader is alerted to the lack of precision or trustworthiness of the headline in relation to the body text. To facilitate the automatic detection of misleading headlines, a new Spanish dataset is created (ES_Headline_Contradiction) for the purpose of identifying contradictory information between a headline and its body text. This dataset annotates the semantic relationship between headlines and body text by categorising the relation between texts as compatible , contradictory and unrelated . Furthermore, another novel aspect of this dataset is that it distinguishes between different types of contradictions, thereby enabling a more fine-grain identification of them. The dataset was built via a novel semi-automatic methodology, which resulted in a more cost-efficient development process. The results of the experiments show that pre-trained language models can be fine-tuned with this dataset, producing very encouraging results for detecting incongruency or non-relation between headline and body text.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Las Tecnologías del Lenguaje Humano como herramienta de mitigación de la violencia en redes sociales

  • Botella-Gil, Beatriz
  • Botella-Gil, Beatriz|||/items/a03c3d62-efa7-4c50-8870-103ca1d81d37
La irrupción de Internet ha transformado radicalmente la forma en que nos relacionamos y comunicamos. Esta revolución ha trascendido las barreras físicas y temporales, permitiéndonos conectar con personas de todo el mundo sin importar la distancia o las diferencias horarias. Las redes sociales, en particular, han forjado un espacio virtual que replica gran parte de nuestras actividades cotidianas, dando forma a un mundo digital que ha impactado incluso en el ámbito laboral. El fenómeno de las redes sociales ha creado un paralelismo entre nuestra vida real y la virtual. La facilidad con la que podemos acceder a este universo virtual ha redefinido la naturaleza misma de nuestras relaciones interpersonales. Estas plataformas de comunicación representan un avance significativo para las relaciones personales; sin embargo, nos enfrentamos a un problema que aún necesitamos gestionar. La publicación de mensajes violentos son manifestaciones perjudiciales que, en muchos casos, encuentran su origen en la relativa impunidad que ofrece el anonimato digital. Este fenómeno plantea desafíos significativos para la sociedad y requiere respuestas efectivas a nivel individual, comunitario y legislativo. El anonimato en línea otorga a los individuos una máscara virtual detrás de la cual pueden ocultarse mientras participan en comportamientos violentos. Esta falta de responsabilidad personal puede exacerbar la agresividad en las interacciones, ya que las consecuencias directas parecen menos tangibles. La ausencia de empatía, a menudo atribuida a la despersonalización facilitada por las pantallas, contribuye al aumento de comportamientos irrespetuosos y violentos. La impunidad de los actos en el entorno virtual presenta un desafío adicional. La dificultad para rastrear y atribuir responsabilidad a los perpetradores de actos violentos en línea puede disuadir la acción disciplinaria. Esto crea un ambiente donde los límites éticos y sociales pueden traspasarse sin consecuencias visibles. El control de la violencia en línea requiere una respuesta colectiva y multidimensional. Educación, concienciación, políticas efectivas y tecnologías avanzadas son herramientas fundamentales para abordar este desafío y construir un entorno digital que fomente la empatía, el respeto y la seguridad. El Procesamiento del Lenguaje Natural (PLN) emerge como un pilar esencial en la lucha contra la violencia en línea. En un entorno digital saturado de información, el PLN permite analizar y comprender el lenguaje humano de manera automatizada, desempeñando un papel fundamental en la detección y prevención de comportamientos violentos. La creación de recursos específicos, como lexicones que contienen términos relacionados con la violencia, se convierte en una herramienta valiosa. Estos recursos actúan como indicadores para los algoritmos, permitiéndoles identificar patrones lingüísticos asociados con mensajes agresivos o dañinos. Además, contar con guías de anotación para la creación de corpus que proporcionen ejemplos específicos, sirve como base para el entrenamiento de los sistemas, mejorando su capacidad para reconocer contextos y matices. La capacidad del PLN para procesar grandes volúmenes de datos de texto de manera rápida y eficiente permite una detección temprana de la violencia en línea. Los algoritmos entrenados pueden analizar conversaciones en tiempo real, identificando posibles amenazas y comportamientos problemáticos antes de que escalen. Además, la adaptabilidad del PLN lo convierte en una herramienta crucial para abordar la evolución constante de las formas de violencia en línea. A medida que las tácticas y los patrones de comportamiento cambian, los sistemas de PLN pueden ajustarse y aprender de nuevas manifestaciones de violencia, manteniéndose relevantes y efectivos. Para contribuir con la detección de mensajes violentos en redes sociales, esta investigación presenta un recurso para la obtención de insultos y expresiones negativas (Fiero) resultando en un lexicón (SHARE), una guía de anotación (VIL) detallada para la elaboración de un corpus y un corpus con 6211 tuits (VILLANOS). Además, se desarrolla la propuesta de una metodología de anotación semiautomática (HITL) que agiliza la tarea del experto anotador reduciendo el tiempo empleado y se expone la evaluación extrínseca de nuestras suposiciones fundamentales. Esta validación se materializó a través de una serie de experimentos que se detallan en este trabajo. El trabajo realizado presenta valiosas aportaciones para enfrentar el desafío de la detección de mensajes violentos en redes sociales, utilizando técnicas de PLN desde una perspectiva multidisciplinaria. Este enfoque implica la integración de conocimientos y metodologías provenientes de diferentes campos, como la psicología, la sociología, la lingüística y la informática. Esta sinergia de perspectivas enriquece la comprensión del fenómeno de la violencia en redes sociales, considerando no sólo los aspectos lingüísticos sino también los sociales, psicológicos y culturales que influyen en su manifestación.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

The risky news sharing quotient (RNSQ): A research instrument for exploring news-sharing behaviour that spreads fake news

  • Martin, Tania Josephine
  • Gutiérrez, Yoan
  • Sepúlveda-Torres, Robiert
  • Abreu Salas, José Ignacio
  • Abreu Salas, José Ignacio|||/items/99fd9ec6-0b97-4c02-a28e-98bc309cff48
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Martin, Tania Josephine|||/items/58bfb24e-52da-4c1b-a00c-21281177e278
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
The spread of fake news (FN) has attracted attention from disciplines ranging from social sciences to Artificial Intelligence. This work is novel because it explores the news-sharing behaviour of social-media users, focussing on those that spread FN, rather than the psychological motivations behind them. The 14-item Risky News-Sharing Quotient (RNSQ) was developed and Exploratory Factor Analysis discovered three relevant factors: (i) news-sharing behaviour that contributes to debunking FN; (ii) news-sharing frequency and attitudes to sharing; and (iii) news-sharing behaviour that contributes to the spread of FN. The study, conducted among university students, found that 75% reported risky news-sharing behaviour that spreads FN. No link was found between perceiving FN as a problem and debunking it. Moreover, 83% of survey participants were unable to identify a FN story. Overall, the findings suggest an inability to apply knowledge of the relevant FN detection strategies to debunk FN, but importantly an apparent lack of motivation to check the veracity of a news story. From these conclusions, better-informed educational intervention strategies can be implemented to address the FN problem in-situ, such as promoting the importance of responsible news-sharing by raising awareness of how the spread of FN can impede the proper functioning of societies.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

SocialFairness: Assessing Fairness in Digital Media

  • Ureña López, Luis Alfonso
  • Martín Valdivia, María Teresa
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
The proliferation of hoaxes on the Internet and toxic messages (with offensive or very negative content and high dissemination rates) constitute a current problem on the road to truthful and respectful information. Due to the enormous influence that social media have in the generation of opinion and as a channel of information for society, the efforts that various companies, organisations and institutions are making to detect and counteract the high volume of disinformation circulating on the networks are important. This project deals with the implementation of a proof of concept of a system for analysing the fairness of messages published through social media, built on the basis of various methods and algorithms from human language technologies. These methods and algorithms are the result of research that the participating groups have been working on for the last few years and are promising solutions for the determination of different levels of quality of publications in two fundamental aspects: their veracity and their toxicity. To address the proof of concept, activities aimed at the definition and integration of these technologies and their evaluation by stakeholders are proposed. This will make it possible to establish the responsiveness of these technologies to the needs of society and industry, as well as their viability to work towards higher levels of technological maturity.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Desinformación y memética: réplica y mutación del argumentario antivacunas en contenidos informativos, Disinformation and memetics: replication and mutation of antivaccine arguments in informative content

  • Sánchez-Olmos, Candelaria
  • Rodríguez-Ferrándiz, Raúl
  • Hidalgo-Marí, Tatiana
  • Hidalgo-Marí, Tatiana|||/items/92a20efc-9b11-43cd-97e9-4a5e609c1ae2
  • Rodríguez-Ferrándiz, Raúl|||/items/394f3621-8267-41df-9ee4-903977b014d3
  • Sánchez-Olmos, Candelaria|||/items/1f03dd70-b679-4568-9e37-5af2bf60e9cf
La desinformación sobre la vacunación es tan antigua como el origen de las vacunas que surgieron a finales del siglo XVIII, su alcance es transnacional y ha supuesto un reto no solo para el orden informativo, sino también para la salud pública, especialmente durante la pandemia de la Covid-19. A pesar de que las fake news difundidas por los antivacunas fueron desmentidas durante epidemias previas, las antiguas ideas contra la vacunación resucitaron en un ecosistema digital hipermedia que multiplicó la réplica de la desinformación, especialmente durante la pandemia. Se persigue conocer si existen características meméticas en la desinformación difundida por los antivacunas contemporáneos en una muestra de contenidos de desinformación tanto del siglo XIX como de la actualidad. Primeramente, se documenta el origen del movimiento antivacunas. Seguidamente se describen formatos y medios de difusión de desinformación desde el origen hasta la Covid-19. Finalmente, se extraen argumentos antivacunas del siglo XIX y se comparan con los actuales aplicando la teoría memética de Dawkins. Se concluye que las ideas antivacunas actuales contienen características meméticas de los argumentos del XIX que se han replicado en fake news, bulos, redes sociales y vallas publicitarias resucitando una desinformación que ha erosionado la credibilidad de la vacunación. Concretamente, el argumentario antivacunas es longevo, porque persiste con ideas similares en la actualidad, especialmente fecundo, por la capacidad de réplica que ofrece los medios digitales interactivos, pero menos fidedigno, porque las ideas antivacunas han mutado adaptándose al contexto social actual.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Violencia Identificada en el Lenguaje (VIL). Creación de recurso para mensajes violentos, Violence Identified in Language (VIL). Creation of a resource for the detection of violent messages

  • Botella, Beatriz
  • Sepúlveda-Torres, Robiert
  • Martínez-Barco, Patricio
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
La sociedad avanza cargada de conocimientos nuevos y muy accesibles, que se publican en el mundo virtual. Es una realidad que las Tecnologías de la Información y la Comunicación (TIC) han traído muchos beneficios a nuestras vidas pero también vemos como año tras año aumenta el uso de violencia en plataformas digitales. Nuestro trabajo se enfoca en la creación de recursos que permitan la detección de mensajes violentos en la red social Twitter. Se parte de la creación de una guía de anotación de grano fino para anotar un corpus de mensajes violentos (VIL) con el fin de utilizar herramientas de aprendizaje automático que nos ayuden a detectar automáticamente el problema. Con este corpus se entrenan dos modelos de lenguaje (BETO y RoBERTa base) con los que se alcanza un valor en la métrica F1m de 97.03% y 96.51% clasificando si un tuit es o no violento.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Generación y pesado de skipgrams y su aplicación al análisis de sentimientos, Skipgrams Generation and Weighting and its Application to Sentiment Analysis

  • Fernández Martínez, Javier
  • Gutiérrez, Yoan
  • Martínez-Barco, Patricio
  • Fernández Martínez, Javier|||/items/f9b0416b-2411-47be-a586-11f90957e00f
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
El modelado de skipgrams es una técnica para la generación de términos multi-palabra que conserva parte de la secuencialidad y flexibilidad del lenguaje. Sin embargo, en algunos casos el número de skipgrams generados puede ser excesivo a medida que se aumenta la distancia entre palabras. Además, esta distancia no suele ser tenida en cuenta a la hora de valorar los términos que se generan. En este trabajo proponemos una técnica para la generación y filtrado eficientes de skipgrams y un esquema de pesado que tiene en cuenta la distancia entre los términos, dando más importancia a aquellos más cercanos. Aplicaremos y evaluaremos estas propuestas en la tarea de análisis de sentimientos.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Semi-Automatic Dataset Annotation Applied to Automatic Violent Message Detection

  • Botella-Gil, Beatriz
  • Sepúlveda-Torres, Robiert
  • Bonet-Jover, Alba
  • Martínez-Barco, Patricio
  • Saquete Boró, Estela
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
  • Botella-Gil, Beatriz|||/items/a03c3d62-efa7-4c50-8870-103ca1d81d37
Annotated corpora are indispensable tools to train computational models in Artificial Intelligence and Natural Language Processing. However, manual annotation is a costly, arduous, and time-consuming task, especially when the annotation is semantically complex. To address the problem, this work applies a methodology for semi-automatic annotation of datasets based on the Human-in-the-Loop paradigm. The methodology supports the building a resource, that benefits from a fine-grained annotation, to aid in the detection of Spanish violent messages sourced from social media (Twitter/X). After implementing the proposed methodology for semi-automatic violence annotation, a high quality resource was obtained (hereafter referred to as VILLANOS). The methodology consists of annotating the dataset incrementally, which delivers an increase in annotator efficiency, thereby validating the suitability of the proposal. Annotation time was reduced by 52% compared to manual annotation and performance, by training a model with the VILLANOS dataset, obtains an F 1 of 85.2%. These results demonstrate the efficiency and effectiveness of the methodology, evidencing its validity.
RUA. Repositorio Institucional de la Universidad de Alicante
Datos de investigación Set de datos (Dataset)

Dataset del Artículo Publicidad programática y desinformación en España

  • Castellanos-Trujillo, Vianny Geraldine
  • Rodríguez-Ferrándiz, Raúl
  • Rodríguez-Ferrándiz, Raúl|||/items/394f3621-8267-41df-9ee4-903977b014d3
Tabla resumen en Excel que incluye los anunciantes detectados en los ocho pseudo-medios monitorizados durante el periodo de la muestra, así como los proveedores de servicio de publicidad programática.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Overview of FLARES at IberLEF 2024: Fine-grained Language-based Reliability Detection in Spanish News, Resumen de FLARES en IberLEF 2024: Detección detallada de la confiabilidad en el lenguaje de noticias en español

  • Sepúlveda-Torres, Robiert
  • Bonet-Jover, Alba
  • Diab, Isam
  • Guillén-Pacho, Ibai
  • Cabrera-de Castro, Isabel
  • Badenes-Olmedo, Carlos
  • Saquete Boró, Estela
  • Martín Valdivia, María Teresa
  • Martínez-Barco, Patricio
  • Ureña López, Luis Alfonso
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
This paper presents FLARES, a shared task organised in the framework of the evaluation campaign of Natural Language Processing systems in Spanish and other Iberian languages, IberLEF 2024. FLARES aims to detect patterns of reliability in the language used in news that will allow the development of effective techniques for the future detection of misleading information. To this end, the 5W1H journalistic technique for detecting the relevant content of a news item is proposed as a basis, as well as an annotation guideline designed to detect linguistic reliability. Two subtasks are proposed: the first focusing on the identification of the 5W1H elements and the second focusing on the detection of reliability. A total of 7 participants registered in the shared task, of which 3 participated in the first subtask and 4 in the second. The teams proposed various approaches, especially based on fine-tuning of encoding models and adjustment of instructions in decoding models.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Applying Human-in-the-Loop to construct a dataset for determining content reliability to combat fake news

  • Bonet-Jover, Alba
  • Sepúlveda-Torres, Robiert
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Piad-Morffis, Alejandro
  • Estévez-Velarde, Suilan
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
Annotated corpora are indispensable tools to train computational models in Natural Language Processing. However, in the case of more complex semantic annotation processes, it is a costly, arduous, and time-consuming task, resulting in a shortage of resources to train Machine Learning and Deep Learning algorithms. In consideration, this work proposes a methodology, based on the human-in-the-loop paradigm, for semi-automatic annotation of complex tasks. This methodology is applied in the construction of a reliability dataset of Spanish news so as to combat disinformation and fake news. We obtain a high quality resource by implementing the proposed methodology for semi-automatic annotation, increasing annotator efficacy and speed, with fewer examples. The methodology consists of three incremental phases and results in the construction of the RUN dataset. The annotation quality of the resource was evaluated through time-reduction (annotation time reduction of almost 64% with respect to the fully manual annotation), annotation quality (measuring consistency of annotation and inter-annotator agreement), and performance by training a model with RUN semi-automatic dataset (Accuracy 95% F1 95%), validating the suitability of the proposal.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

A multifaceted approach to detect gender biases in Natural Language Generation

  • Consuegra-Ayala, Juan Pablo
  • Martínez-Murillo, Iván
  • Lloret, Elena
  • Moreda, Paloma
  • Palomar, Manuel
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Martínez-Murillo, Iván|||/items/10185dd6-7baf-4c77-9241-9ca9c38f31a1
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
  • Palomar, Manuel|||/items/71e8f2d8-8d56-4c8e-89df-d6ce2497d967
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
Recent advances in generative models have skyrocketed the popularity of conversational chatbots and have revolutionized the way we interact with artificial intelligence. At the same time, research has shown that machine learning models can unconsciously reflect and amplify human biases. This is particularly dangerous for generative models given the huge popularity of such technologies. Specifically, a fundamental source of bias of such technologies is the resources on which the models are trained. To address this issue, this paper proposes a methodology to analyze intrinsic gender bias in Natural Language Generation (NLG). Some works already propose metrics and approaches to measure bias in the Natural Language processing field. However, there is a lack of standard methodology to measure gender bias in NLG. Therefore, adapting the Bias Score approach, our proposal involves three sequential stages applied to individual texts to detect intrinsic gender bias on NLG effectively. Those steps are as follows: (i) word scoring; (ii) word filtering; and (iii) generative-word analysis. This methodology is applied to recent datasets and pre-trained models widely used for the generation of text with common sense. In particular, this paper analyzes the potential gender bias in CommonGen and C2 Gen datasets and the SimpleNLG and T5 models. The results show the ability of the proposed methodology to detect gender bias in word distributions, presenting a strong correlation with the words typically associated with a specific gender. Results indicate that both tested datasets are intrinsically gender-biased, and therefore, tested models fine-tuned with those datasets also are.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Beyond detection and correction: Fake news’ news-ness and shareworthiness as alternative ways to tackle disinformation

  • Rodríguez-Ferrándiz, Raúl
  • Rodríguez-Ferrándiz, Raúl|||/items/394f3621-8267-41df-9ee4-903977b014d3
Fake news is a concern for present-day society. A lot of quality research efforts have focused on how fake news can be detected, and to what extent general warnings, accuracy prompts and fact-checking labels can correct people’s misconceptions. In this work we problematize critically the research questions formulated on fakeness detection and specifically we address two significant alternative (though complementary) approaches: 1) What formal traits and news values do fake news best imitate, which sheds light on what “news” means (irrespective of falsity) since the rise of social media as news source (news-ness assessment), and 2) what factors explain fake news sharing (shareworthiness prediction), which explains why it is shared with a higher intensity than real news, even in the case of awareness that a falsity is being shared. Intertwined with these approaches, two theories compete to best explain fake news’ social pervasiveness and virality: the ignorance theory (aptitudes: be mistaken, confused or careless about assessing news accuracy, resulting in sharing falsehoods unintentionally) and the partisan theory (attitudes: motivated reasoning and political bias which encourages people to knowingly share fake news consistent with their view). The aim is twofold: to identify, compare and challenge the scholars’ underlying assumptions and practical implications, and to draw a coherent narrative that encompasses the motivation to deceive, the social media affordances that make this deception plausible and shareable, and the polarization, intergroup hostility, and the greater exposure to extreme political views that may boost disinformation.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Enhancing Clarity: An Evaluation of the Simple.Text Tool for Numerical Expression Simplification, Mejorando la claridad: Una evaluación del sistema Simple.Text para la simplificación de expresiones numéricas

  • Espinosa-Zaragoza, Isabel
  • Moreda, Paloma
  • Palomar, Manuel
  • Espinosa-Zaragoza, Isabel|||/items/b9b30d7e-4b6b-4a40-b4c6-214bb9ba331f
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
  • Palomar, Manuel|||/items/71e8f2d8-8d56-4c8e-89df-d6ce2497d967
Numerical information in written texts impacts their readability and is considered complex for people with cognitive disabilities by the Easy-to-Read guidelines. This paper presents Simple.Text, a rule-based system designed to automatically simplify all numerical expressions deemed complex, with a focus on Rules 19-25 from Section 6.2 of the Easy-to-Read guidelines. The results from the evaluation indicate a high precision and accuracy in numerical phenomena detection and transformation, although with some limitations. This system proves to be an efficient and cost-effective tool for the simplification of numerical expressions.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Leading and non-leading prompts: Quantifying gender bias in Large Language Models through BiasBloom corpus

  • Muñoz García, Victoria
  • Consuegra-Ayala, Juan Pablo
  • Moreda, Paloma
  • Moreda, Paloma|||/items/aeb186ed-9034-4fdf-96fc-88941be830e7
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
  • Muñoz García, Victoria|||/items/8c62b8e1-712b-4343-b99e-aa8b0e7d4fe6
The increasing use of Artificial Intelligence by non-experts underscores the need to address biases in its outputs, particularly in gendered languages like Spanish, where linguistic features reflect gender. This paper proposes a validated methodology to quantify gender bias in text generated by Large Language Models (LLMs) in Spanish. The approach involves creating gendered seed-word lists, building a Spanish-specific corpus using curated prompts, and analyzing gender polarity and co-occurrences within the generated text. Validated using five state-of-the-art LLMs—GPT-3.5, GPT-4o, Llama 3, Gemini 1.5, and Mixtral8x7b—this study provides a systematic framework for bias detection in Spanish and highlights differences in model performance. By addressing the challenges of bias in gendered languages, this research aims to contribute to the development of equitable AI systems and advances methodologies for bias quantification. The findings highlight gender disparities in LLMs, with masculine and feminine biases shifting depending on the discourse structure. Specifically, the analysis reveals a prevalence of masculine biases in non-leading prompts and feminine biases in leading prompts, underscoring the nuanced ways in which prompt positioning can influence gender representation in model outputs.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

XAutoLM: Efficient Fine-Tuning of Language Models via Meta-Learning and AutoML

  • Estevanell-Valladares, Ernesto L.
  • Estévez-Velarde, Suilan
  • Gutiérrez, Yoan
  • Montoyo, Andres
  • Mitkov, Ruslan
  • Estevanell-Valladares, Ernesto L.|||/items/d8b1af9a-112f-48de-813f-b4d8f1df8bd1
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Montoyo, Andres|||/items/a2b7158a-7032-423a-a7b5-0f7b92902b72
  • Mitkov, Ruslan|||/items/30b15727-6f78-421c-ba49-df42c02f0e96
Experts in machine learning leverage domain knowledge to navigate decisions in model selection, hyperparameter optimization, and resource allocation. This is particularly critical for fine-tuning language models (LMs), where repeated trials incur substantial computational overhead and environmental impact. However, no existing automated framework simultaneously tackles the entire model selection and hyperparameter optimization (HPO) task for resource-efficient LM fine-tuning. We introduce XAutoLM, a meta-learning-augmented AutoML framework that reuses past experiences to optimize discriminative and generative LM fine-tuning pipelines efficiently. XAutoLM learns from stored successes and failures by extracting task- and system-level meta-features to bias its sampling toward valuable configurations and away from costly dead ends. On four text classification and two question-answering benchmarks, XAutoLM surpasses zero-shot optimizer’s peak F1 on five of six tasks, cuts mean evaluation time of pipelines by up to 4.5x, reduces search error ratios by up to sevenfold, and uncovers up to 50% more pipelines above the zero-shot Pareto front. In contrast, simpler memory-based baselines suffer negative transfer. We release XAutoLM and our experience store to catalyze resource-efficient, Green AI fine-tuning in the NLP community.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Automatic annotation of protected attributes to support fairness optimization

  • Consuegra-Ayala, Juan Pablo
  • Gutiérrez, Yoan
  • Almeida-Cruz, Yudivian
  • Palomar, Manuel
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Palomar, Manuel|||/items/71e8f2d8-8d56-4c8e-89df-d6ce2497d967
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
Recent research has shown that the unaware automation of high-risk decision-making tasks can result in unfair decisions being made. The most common approaches to address this problem adopt definitions of fairness based on protected attributes. Precise annotation of protected attributes enables the application of bias mitigation techniques to commonly unlabeled kinds of data (e.g., images, text, etc.). This paper proposes a framework to automatically annotate protected attributes in data collections. The framework focuses on providing a single interface to annotate protected attributes of different types (e.g., gender, race, etc.) and from different kinds of data. Internally, the framework coordinates multiple sensors to produce the final annotation. Several sensors for textual data are proposed. An optimization search technique is designed to tune the framework to specific domains. Additionally, a small dataset of movie reviews —annotated with gender and sentiment— was created. The evaluation in datasets of texts from diverse domains shows the quality of the annotations and their effectiveness to be used as a proxy to estimate fairness in datasets and machine learning models. The source code is available online for the research community.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

A semi-automatic annotation methodology that combines Summarization and Human-In-The-Loop to create disinformation detection resources

  • Bonet-Jover, Alba
  • Sepúlveda-Torres, Robiert
  • Saquete Boró, Estela
  • Martínez-Barco, Patricio
  • Bonet-Jover, Alba|||/items/6bd6e7a1-46a7-415c-bdde-2a1e56f97a2f
  • Martínez-Barco, Patricio|||/items/f9630270-fe31-44c8-b611-dfaf9c109a4d
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
Early detection of disinformation is one of the most challenging big-scale problems facing present day society. This is why the application of technologies such as Artificial Intelligence and Natural Language Processing is necessary. The vast majority of Artificial Intelligence approaches require annotated data, and generating these resources is very expensive. This proposal aims to improve the efficiency of the annotation process with a two-level semi-automatic annotation methodology. The first level extracts relevant information through summarization techniques. The second applies a Human-in-the-Loop strategy whereby the labels are pre-annotated by the machine, corrected by the human and reused by the machine to retrain the automatic annotator. After evaluating the system, the average annotation time per news item is reduced by 50%. In addition, a set of experiments on the semi-automatically annotated dataset that is generated are performed so as to demonstrate the effectiveness of the proposal. Although the dataset is annotated in terms of unreliable content, it is applied to the veracity detection task with very promising results (0.95 accuracy in reliability detection and 0.78 in veracity detection).
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Bias mitigation for fair automation of classification tasks

  • Consuegra-Ayala, Juan Pablo
  • Gutiérrez, Yoan
  • Almeida-Cruz, Yudivian
  • Palomar, Manuel
  • Gutiérrez, Yoan|||/items/8f7f89db-a015-4ed6-85b9-75bd041ee8bd
  • Palomar, Manuel|||/items/71e8f2d8-8d56-4c8e-89df-d6ce2497d967
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
The incorporation of machine learning algorithms into high-risk decision-making tasks has raised some alarms in the scientific community. Research shows that machine learning-based technologies can contain biases that cause unfair decisions for certain population groups. The fundamental danger of ignoring this problem is that machine learning methods can not only reflect the biases present in our society but could also amplify them. This article presents the design and validation of a technology to assist the fair automation of classification problems. In essence, the proposal is based on taking advantage of the intermediate solutions generated during the resolution of classification problems through using Auto-ML tools, in particular, AutoGOAL, to create unbiased/fair classifiers. The technology employs a multi-objective optimization search to find the collection of models with the best trade-offs between performance and fairness. To solve the optimization problem, we introduce a combination of Probabilistic Grammatical Evolution Search and NSGA-II. The technology was evaluated using the Adult dataset from the UCI repository, a common benchmark in related research. Results were compared with other published results in scenarios with single and multiple fairness definitions. Our experiments demonstrate the technology's ability to automate classification tasks while incorporating fairness constraints. Additionally, our method achieves competitive results against other bias mitigation techniques. A notable advantage of our approach is its minimal requirement for machine learning expertise, thanks to its Auto-ML foundation. This makes the technology accessible and valuable for advancing fairness in machine learning applications. The source code is available online for the research community.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Análisis de sentimientos supervisado utilizando skipgrams y su aplicación a medios sociales

  • Fernández Martínez, Javier
  • Fernández Martínez, Javier|||/items/f9b0416b-2411-47be-a586-11f90957e00f
Las redes sociales han revolucionado la creación y difusión de contenido, permitiendo a los usuarios no solo consumir sino también producir y compartir información a una escala sin precedentes. Esto ha resultado en una enorme cantidad de datos disponibles en la web, que incluyen no solo hechos y datos objetivos, sino también opiniones, emociones y valoraciones personales. Esta información subjetiva es de gran valor, pero su aprovechamiento efectivo no es sencillo debido a la escala y diversidad de los datos generados en las redes sociales, lo que hace prácticamente imposible un análisis manual. En este contexto, surge la necesidad de utilizar herramientas automatizadas para la monitorización, extracción, procesamiento y análisis de información subjetiva a gran escala en tiempo real. Este es el objetivo del análisis de sentimientos, un área dentro del procesamiento del lenguaje natural (PLN) que se enfoca en identificar y clasificar opiniones expresadas en textos de forma automática. Sin embargo, el trabajo con información subjetiva en redes sociales a gran escala presenta varios desafíos que subrayan la importancia de investigar y desarrollar nuevas metodologías que sean eficientes en el uso de recursos computacionales, para hacer el análisis de sentimientos más accesible y democratizado. Los objetivos de investigación de este trabajo se centran en dos aspectos principales. El primero consiste en diseñar y evaluar una metodología de análisis de sentimientos que sea eficaz y al mismo tiempo no consuma excesivos recursos computacionales. Se busca determinar si es posible obtener una efectividad aceptable con una utilización reducida de recursos y evaluar en qué contextos es más eficaz. Para ello se propone una propuesta que utiliza aprendizaje automático supervisado donde las unidades de información son skipgrams, términos de más de una palabra que no aparecen adyacentes explícitamente en los textos. La innovación de la propuesta reside en el método de generación controlada del vocabulario y un sistema de pesado que tiene en cuenta la distancia entre las palabras. Esta propuesta consigue unos resultados aceptables con un uso reducido de recursos. El segundo consiste en aplicar esta metodología a diferentes problemas reales en el contexto de los medios sociales, utilizando la información subjetiva para generar valor, ayudando a comprender el pasado, analizar el presente y tomar decisiones mejor informadas para el futuro. A través de una aplicación desarrollada durante el transcurso de la tesis, se aplica el análisis de sentimientos a diferentes contextos en medios sociales, como la detección de temas e incidentes, predicciones electorales o descubrimiento de factores que aumentan viralidad o compromiso entre los usuarios.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

To Write or Not to Write as a Machine? That’s the Question

  • Sepúlveda-Torres, Robiert
  • Martínez-Murillo, Iván
  • Saquete Boró, Estela
  • Lloret, Elena
  • Palomar, Manuel
  • Lloret, Elena|||/items/4593ef69-8308-49d3-8f0f-17e6ee078be5
  • Martínez-Murillo, Iván|||/items/10185dd6-7baf-4c77-9241-9ca9c38f31a1
  • Palomar, Manuel|||/items/71e8f2d8-8d56-4c8e-89df-d6ce2497d967
  • Saquete Boró, Estela|||/items/452393f2-fb8d-4840-b797-4b65a4bc9a87
  • Sepúlveda-Torres, Robiert|||/items/60f24ee2-fe45-4b5c-a70c-c025ed1b5e4a
Considering the potential of tools such as ChatGPT or Gemini to generate texts in a similar way to a human would do, having reliable detectors of AI –AI-generated content (AIGC) is vital to combat the misuse and the surrounding negative consequences of those tools. Most research on AIGC detection has focused on the English language, often overlooking other languages that also have tools capable of generating human-like texts, such is the case of the Spanish language. This paper proposes a novel multilingual and multi-task approach for detecting machine vs. human-generated text. The first task classifies whether a text is written by a machine or by a human, which is the research objective of this paper. The second task consists in detect the language of the text. To evaluate the results of our approach, this study has framed the scope of the AuTexTification shared task and also we have collected a different dataset in Spanish. The experiments carried out in Spanish and English show that our approach is very competitive concerning the state of the art, as well as it can generalize better, thus being able to detect an AI-generated text in multiple domains.
RUA. Repositorio Institucional de la Universidad de Alicante
Publicación Otros (Other)

Mitigación de Sesgos para la Automatización Justa de Tareas de Clasificación

  • Consuegra-Ayala, Juan Pablo
  • Consuegra-Ayala, Juan Pablo|||/items/5a98e4ca-607f-4aa0-91c2-a5d929bab52c
Los modelos de aprendizaje automático están siendo ampliamente utilizados en múltiples áreas de la vida humana. Tradicionalmente, se han aplicado en reconocimiento de voz, detección de rostros, clasificación de imágenes, sistemas de recomendación, etc. Con la reciente revolución de los modelos generativos, la popularidad de los chatbots conversacionales se ha disparado. Esto ha dado lugar a que los modelos de aprendizaje automático se utilicen cada vez más para abordar tareas para las que no estaban específicamente capacitados. El prompt engineering ha permitido que personas no expertas en aprendizaje automático (que comúnmente tampoco están familiarizadas con los problemas subyacentes al uso de modelos de aprendizaje automático para hacer predicciones) automaticen ciertas tareas. La incorporación de algoritmos de aprendizaje automático en tareas de toma de decisiones de alto riesgo ha levantado algunas alertas en la comunidad científica. Las tareas de toma de decisiones de alto riesgo denotan aquellas tareas que pueden tener un gran impacto en las vidas de las personas sobre quienes se toman las decisiones. Por ejemplo, se han utilizado modelos para decidir si una persona es contratada o no, si se le concede un préstamo, si se acepta una solicitud de cobertura ampliada de seguridad sanitaria y para predecir la probabilidad de reincidencia en un delito. Estudios han demostrado que la automatización inconsciente de este tipo de tareas contiene sesgos, lo cual provoca que decisiones injustas sean tomadas sobre determinados grupos de población. El peligro fundamental de ignorar este problema es que los métodos de aprendizaje automático podrían no sólo reflejar los sesgos presentes en nuestra sociedad, sino que también amplificarlos. Esta tesis presenta el diseño y validación de una tecnología para asistir la automatización justa de problemas de clasificación. En esencia, la propuesta se basa en diseñar una tecnología que saque provecho de las soluciones intermedias generadas durante la resolución de problemas de clasificación mediante el uso de herramientas de Auto-ML, en particular, AutoGOAL, con el propósito de crear clasificadores imparciales y justos. Cuatro componentes fundamentales conforman la propuesta: (I) una componente de Auto-ML, encargada de generar colecciones de modelos con hipótesis diferentes entre sí, cada uno debiendo ser capaz de transformar los datos de entrada a los de salida; (II) una componente de ensemble, responsable de combinar múltiples soluciones para producir una más robusta, exacta y justa, según criterios definidos por funciones de pérdida; (III) una componente de cuantificación de sesgos, encargada de medir la calidad de un modelo según varias definiciones de sesgo y equidad; y (IV) una componente de anotación automática de atributos protegidos, para permitir estimar los sesgos en situaciones donde normalmente no sería posible. Los resultados discutidos en este documento prueban la capacidad de la tecnología propuesta para automatizar tareas de clasificación a la par que se controla su equidad. Además, la experimentación muestra la competitividad de la propuesta respecto a otras alternativas para controlar los sesgos en el modelo de aprendizaje automático y colecciones de datos. La propuesta tiene la ventaja adicional de requerir poco o ningún conocimiento sobre arquitecturas de aprendizaje automático dada las componentes de Auto-ML que incorpora. Todo esto lo convierte en una tecnología valiosa y conveniente de explotar. Más allá de los resultados obtenidos sobre la línea principal de investigación, se obtuvieron algunos resultados secundarios de gran valor. Por un lado, se pudo demostrar que ciertas componentes de la tecnología pueden utilizarse para extender, de forma más robusta, corpus de texto con entidades y relaciones anotadas, asumiendo que se cuente con varias versiones de anotación que se quieran combinar; esta condición suele ser viable dada la existencia de competencias internacionales donde varios participantes compiten por generar la mejor solución. Muy ligado a esto, otro resultado secundario es la generación del eHealth-KD 2019 ensembled corpus a partir de ensamblar las soluciones participantes de la competencia eHealth-KD 2019. Otro resultado secundario se tiene en la componente de anotación automática de atributos protegidos, la cual puede funcionar independiente del flujo end-to-end de automatización justa, y por tanto puede utilizarse como fase de preprocesamiento para otros sistemas de cuantificación o mitigación de sesgos. En ese sentido, se publicó también el corpus Reviews' Gender} diseñado para auxiliar el entrenamiento y evaluación de modelos de anotación de atributos protegidos con el fin de usar sus predicciones como estimadores de equidad. Todos los recursos desarrollados en esta investigación están a disposición pública de la comunidad científica.