Skip to main content

FAIRTRANSNLP-STEREOTYPES: IDENTIFICACION DE ESTEREOTIPOS Y PREJUICIOS Y DESARROLLO DE SISTEMAS EQUITATIVOS

PID2021-124361OB-C31

•
Funding agency name Agencia Estatal de Investigación
Funding agency acronym AEI
Program Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia
Subprogram Subprograma Estatal de Generación de Conocimiento
Call Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Call year 2021
State Plan 2021-2023 Plan Estatal de Investigación Científica y Técnica y de Innovación
Beneficiary centre UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Resultados relacionados

Resultados totales (Incluyendo duplicados): 3
Encontrada(s) 1 página(s)

RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Tesis doctoral (DoctoralThesis)

On the Multi-lingual and Multi-epidemic Detection of Misinformation in Health

  • Baris Schlicht, Ipek
[ES] El acceso a información en línea sobre la atención sanitaria es una fuente primaria para muchas personas. Además de esto, los modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés) han comenzado a utilizarse como proveedores de información. Sin embargo, las fuentes de información en línea agravan los desafíos existentes relacionados con la desinformación, particularmente en contextos multilingües donde la disponibilidad y la calidad de los datos varían significativamente. La falta de una regulación consistente entre plataformas contribuye aún más a la difusión de información inexacta o sesgada. Asimismo, se sabe que los LLMs pueden generar "alucinaciones" y pueden presentar sesgos ocultos en distintos dominios y culturas. Esta tesis examina la desinformación en salud desde una perspectiva computacional, clasificándola en desinformación causada por humanos y desinformación causada por LLMs. Las epidemias representan un contexto especialmente crítico para el estudio de la desinformación causada por humanos, ya que dan lugar a "infodemias", caracterizadas por la rápida propagación de información excesiva y, a menudo, poco fiable entre comunidades. Durante una infodemia, resulta difícil encontrar información creíble. Por esta razón, la tesis se centra en contextos multilingües y en múltiples epidemias. Aborda desafíos relacionados con el multilingüismo, la escasez de datos y las limitaciones de recursos. Propone enfoques eficientes en el uso de recursos basados en el aprendizaje por transferencia, como métodos basados en adaptadores y el uso de LLMs para anotaciones. Los resultados experimentales muestran que los métodos basados en adaptadores pueden ser eficaces para la tarea de detección multilingüe de verificabilidad, y a menudo superan a los principales enfoques multilingües. Los LLMs y los modelos transformadores entrenados con conjuntos de datos etiquetados por LLMs muestran un rendimiento comparable al de aquellos entrenados con etiquetas de expertos. En cuanto a la desinformación en salud causada por LLMs, la tesis investiga las disparidades interlingüísticas en Wikipedia y en las respuestas de los LLMs para preguntas y respuestas multilingües. Los hallazgos muestran que las respuestas generadas por los LLMs a menudo omiten algunos aspectos de la información, como detalles de un estudio mencionado o directrices clínicas, en comparación con las respuestas en inglés a las mismas preguntas. Además, la tesis examina cómo las diferencias en las fuentes de datos de preentrenamiento pueden contribuir a estas disparidades. Con este fin, se utilizan páginas de Wikipedia sobre atención sanitaria como un sustituto de las fuentes de preentrenamiento. Los resultados muestran disparidades sustanciales en términos de coincidencia de hechos, referencias y estructura de la información. Adicionalmente, las respuestas de los LLMs son más similares a las páginas correspondientes de Wikipedia en inglés que a las páginas de Wikipedia en otros idiomas, incluso cuando las preguntas se formulan en idiomas distintos del inglés. Por último, las contribuciones de esta tesis incluyen el desarrollo de nuevos conjuntos de datos y marcos de evaluación, así como métodos eficientes en el uso de recursos para entornos con pocos recursos. La tesis consiste en una recopilación de artículos publicados en conferencias y revistas de primer nivel., The work of IBS and LF was supported by DynSoDA (funded by BMBF) and the Lamarr Institute for Machine Learning and Artificial Intelligence. The work of PR was supported by the MARTINI project on Malicious Actors Profiling and Detection in Online Social Networks Through Artificial Intelligence funded by MCIN/AEI/ 10.13039/501100011033 and by EU NextGenerationEU/PRTR. Views and opinions expressed are however those of the author(s) only and do not reflect those of the funding organizations, EU or HaDEA. We also thank Benedetta Togni for the annotations. The work of IBS and LF was supported by DynSoDA (funded by BMBF) and the Lamarr Institute for Machine Learning and Artificial Intelligence. The work of PR was supported by MCIN/AEI and by ERDF/EU (Grant No. PID2021-124361OB-C31). BS acknowledges support from the Horizon Europe project TANGO (Grant Agreement no. 101120763). Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not reflect those of the funding organizations, EU or HaDEA.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Tesis doctoral (DoctoralThesis)

New Avenues in Computational Irony Detection in Social Media

  • Ortega Bueno, Reynier
[ES] La presente tesis doctoral, presentada como compendio de artículos científicos, aborda el complejo problema de la detección de ironía. Esta figura del lenguaje es un fenómeno figurativo y pragmático que elude el análisis lingüístico del significado literal debido a su dependencia del contexto y la intencionalidad. La dificultad del problema se intensifica en contextos de redes sociales, donde la ironía se manifiesta en dimensiones multilingües y multimodales, complicando su modelación computacional. En este sentido, esta investigación está motivada en dos direcciones: primero, las aplicaciones potenciales de la detección de ironía más allá del análisis de sentimientos, especialmente en la mitigación de problemas de comunicación y desinformación; segundo, las limitaciones existentes de los métodos automáticos para la detección eficaz de la ironía. Esta tesis explora tres direcciones principales. Inicialmente, se analiza la ironía y la sátira a través de variantes del español, introduciendo un nuevo método que integra conocimiento lingüístico y representaciones profundas dentro de un modelo recurrente neuronal dotado con mecanismos de atención, superando el rendimiento del estado del arte. Posteriormente, se extiende la investigación al escenario multimodal, proponiendo una nueva arquitectura que combina transformers textuales con transformers visuales, mejorando la precisión en la detección de ironía en contenidos de redes sociales basados en texto e imagen. Finalmente, se investiga el sesgo temático en corpus de ironía y su impacto en la generalización de modelos, adoptando dos estrategias: la identificación y la mitigación del sesgo. El análisis realizado revela que los corpus de ironía exhiben sesgos que tienen un impacto negativo en la generalización de los modelos. Consecuentemente, la mitigación de dicho sesgo en los datos de entrenamiento produce mejoras de rendimiento en diversos dominios e idiomas. Además, el estudio examina la sensibilidad de los modelos al sesgo temático, cuando este es modificado mediante variaciones lingüísticas en los datos de evaluación, confirmando una significativa vulnerabilidad de los modelos analizados. Experimentos complementarios exploran las implicaciones sociales de la ironía y el humor, subrayando sus efectos negativos cuando se utilizan indebidamente para atacar a grupos minoritarios o individuos. Al abordar dimensiones computacionales, lingüísticas y sociales, esta tesis avanza en la detección computacional de la ironía y su implicación en la comunicación digital., [CA] La present tesi doctoral, presentada com a compendi d'articles científics, aborda el complex problema de la detecció de la ironia. Aquesta figura del llenguatge és un fenomen figuratiu i pragmàtic que eludeix l'anàlisi lingüística del significat literal a causa de la seua dependència del context i la intencionalitat. La dificultat del problema s'intensifica en contextos de xarxes socials, on la ironia es manifesta en dimensions multilingües i multimodals, complicant la seua modelització computacional. En aquest sentit, aquesta investigació està motivada en dues direccions: primer, les aplicacions potencials de la detecció de la ironia més enllà de l'anàlisi de sentiments, especialment en la mitigació de problemes de comunicació i desinformació; segon, les limitacions existents dels mètodes automàtics per a la detecció eficaç de la ironia. Aquesta tesi explora tres direccions principals. Inicialment, s'analitza la ironia i la sàtira a través de variants de l'espanyol, introduint un nou mètode que integra coneixement lingüístic i representacions profundes dins d'un model neuronal recurrent dotat amb mecanismes d'atenció, superant el rendiment de l'estat de l'art. Posteriorment, s'estén la investigació a l'escenari multimodal, proposant una nova arquitectura que combina transformers textuals amb transformers visuals, millorant la precisió en la detecció de la ironia en continguts de xarxes socials basats en text i imatge. Finalment, s'investiga el biaix temàtic en corpus d'ironia i el seu impacte en la generalització dels models, adoptant dues estratègies: la identificació i la mitigació del biaix. L'anàlisi realitzada revela que els corpus d'ironia exhibeixen biaixos que tenen un impacte negatiu en la generalització dels models. Conseqüentment, la mitigació d'aquest biaix en les dades d'entrenament produeix millores de rendiment en diversos dominis i idiomes. A més, l'estudi examina la sensibilitat dels models al biaix temàtic, quan aquest és modificat mitjançant variacions lingüístiques en les dades d'avaluació, confirmant una significativa vulnerabilitat dels models analitzats. Experiments complementaris exploren les implicacions socials de la ironia i l'humor, subratllant els seus efectes negatius quan s'utilitzen indegudament per a atacar grups minoritaris o individus. En abordar dimensions computacionals, lingüístiques i socials, aquesta tesi avança en la detecció computacional de la ironia i la seua implicació en la comunicació digital., [EN] This doctoral thesis, presented as a compendium of articles, addresses the complex challenge of irony detection. Irony is a figurative and pragmatic phenomenon that eludes straightforward linguistic analysis due to its reliance on context and intent. The difficulty intensifies in social media contexts, where irony manifests itself in multilingual and multimodal dimensions, complicating computational modelling. The motivation of this research is twofold: first, the potential applications of irony detection beyond sentiment analysis, notably in mitigating miscommunication and misinformation; second, the persistent computational gap in accurately identifying irony. The thesis explores three main directions. Initially, it analyses irony and satire across Spanish variants, introducing a novel method that integrates linguistic features and deep representations within an attentive LSTM model, surpassing state-of-the-art performance in irony and satire detection. Subsequently, it extends the investigation to multimodal scenarios, proposing an end-to-end architecture that fuses textual transformers with visual transformers, enhancing accuracy in detecting irony across text- and image-based social media content. Finally, it investigates topic bias in irony corpora and its impact on model generalisation, considering two perspectives: bias identification and mitigation. Analysis reveals that irony corpora exhibit bias, which impairs model generalisation; mitigating this bias in training data yields performance improvements across domains and languages. Furthermore, the study examines the model sensitivity to bias altered by linguistic perturbations in the evaluation data, confirming a significant vulnerability. Complementary experiments explore the social implications of irony and humour, underscoring their negative effects when misused to target minorities or individuals. By addressing linguistic, computational, and social dimensions, this thesis advances computational irony detection and its broader implications in digital communication., The work of the first two authors was in the framework of the research project MISMIS-FAKEnHATE on MISinformation and MIScommunication in social media: FAKE news and HATE speech (PGC2018-096212-B-C31), funded by Spanish Ministry of Science and Innovation, and DeepPattern (PROMETEO/2019/121), funded by the Generalitat Valenciana. The work of Paolo Rosso was in the framework of the research project on Fairness and Transparency for equitable NLP applications in social media (grant PID2021-124361OB-C31 funded by MCIN/AEI/10.13039/501100011033 and by ERDF/EU)
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Tesis doctoral (DoctoralThesis)

On the Keyword Extraction and Bias Analysis, Graph-based Exploration and Data Augmentation for Abusive Language Detection in Low-Resource Settings

  • Peña Sarracén, Gretel Liz de la
[ES] La detección del lenguaje abusivo es una tarea que se ha vuelto cada vez más importante en la era digital moderna, donde la comunicación se produce a través de diversas plataformas en línea. El aumento de las interacciones en estas plataformas ha provocado un aumento de la aparición del lenguaje abusivo. Abordar dicho contenido es crucial para mantener un entorno en línea seguro e inclusivo. Sin embargo, esta tarea enfrenta varios desafíos que la convierten en un área compleja y que demanda de continua investigación y desarrollo. En particular, detectar lenguaje abusivo en entornos con escasez de datos presenta desafíos adicionales debido a que el desarrollo de sistemas automáticos precisos a menudo requiere de grandes conjuntos de datos anotados. En esta tesis investigamos diferentes aspectos de la detección del lenguaje abusivo, prestando especial atención a entornos con datos limitados. Primero, estudiamos el sesgo hacia palabras clave abusivas en modelos entrenados para la detección del lenguaje abusivo. Con este propósito, proponemos dos métodos para extraer palabras clave potencialmente abusivas de colecciones de textos. Luego evaluamos el sesgo hacia las palabras clave extraídas y cómo se puede modificar este sesgo para influir en el rendimiento de la detección del lenguaje abusivo. El análisis y las conclusiones de este trabajo revelan evidencia de que es posible mitigar el sesgo y que dicha reducción puede afectar positivamente el desempeño de los modelos. Sin embargo, notamos que no es posible establecer una correspondencia similar entre la variación del sesgo y el desempeño de los modelos cuando hay escasez datos con las técnicas de reducción del sesgo estudiadas. En segundo lugar, investigamos el uso de redes neuronales basadas en grafos para detectar lenguaje abusivo. Por un lado, proponemos una estrategia de representación de textos diseñada con el objetivo de obtener un espacio de representación en el que los textos abusivos puedan distinguirse fácilmente de otros textos. Por otro lado, evaluamos la capacidad de redes neuronales convolucionales basadas en grafos para clasificar textos abusivos. La siguiente parte de nuestra investigación se centra en analizar cómo el aumento de datos puede influir en el rendimiento de la detección del lenguaje abusivo. Para ello, investigamos dos técnicas bien conocidas basadas en el principio de minimización del riesgo en la vecindad de instancias originales y proponemos una variante para una de ellas. Además, evaluamos técnicas simples basadas en el reemplazo de sinónimos, inserción aleatoria, intercambio aleatorio y eliminación aleatoria de palabras. Las contribuciones de esta tesis ponen de manifiesto el potencial de las redes neuronales basadas en grafos y de las técnicas de aumento de datos para mejorar la detección del lenguaje abusivo, especialmente cuando hay limitación de datos. Estas contribuciones han sido publicadas en conferencias y revistas internacionales., [CA] La detecció del llenguatge abusiu és una tasca que s'ha tornat cada vegada més important en l'era digital moderna, on la comunicació es produïx a través de diverses plataformes en línia. L'augment de les interaccions en estes plataformes ha provocat un augment de l'aparició de llenguatge abusiu. Abordar este contingut és crucial per a mantindre un entorn en línia segur i inclusiu. No obstant això, esta tasca enfronta diversos desafiaments que la convertixen en una àrea complexa i contínua de recerca i desenvolupament. En particular, detectar llenguatge abusiu en entorns amb escassetat de dades presenta desafiaments addicionals pel fet que el desenvolupament de sistemes automàtics precisos sovint requerix de grans conjunts de dades anotades. En esta tesi investiguem diferents aspectes de la detecció del llenguatge abusiu, prestant especial atenció a entorns amb dades limitades. Primer, estudiem el biaix cap a paraules clau abusives en models entrenats per a la detecció de llenguatge abusiu. Amb este propòsit, proposem dos mètodes per a extraure paraules clau potencialment abusives de col·leccions de textos. Després avaluem el biaix cap a les paraules clau extretes i com es pot modificar este biaix per a influir en el rendiment de la detecció de llenguatge abusiu. L'anàlisi i les conclusions d'este treball revelen evidència que és possible mitigar el biaix i que esta reducció pot afectar positivament l'acompliment dels models. No obstant això, notem que no és possible establir una correspondència similar entre la variació del biaix i l'acompliment dels models quan hi ha escassetat dades amb les tècniques de reducció del biaix estudiades. En segon lloc, investiguem l'ús de xarxes neuronals basades en grafs per a detectar llenguatge abusiu. D'una banda, proposem una estratègia de representació textual dissenyada amb l'objectiu d'obtindre un espai de representació en el qual els textos abusius puguen distingir-se fàcilment d'altres textos. D'altra banda, avaluem la capacitat de models basats en xarxes neuronals convolucionals basades en grafs per a classificar textos abusius. La següent part de la nostra investigació se centra en analitzar com l'augment de dades pot influir en el rendiment de la detecció del llenguatge abusiu. Per a això, investiguem dues tècniques ben conegudes basades en el principi de minimització del risc en el veïnatge d'instàncies originals i proposem una variant per a una d'elles. A més, avaluem tècniques simples basades en el reemplaçament de sinònims, inserció aleatòria, intercanvi aleatori i eliminació aleatòria de paraules. Les contribucions d'esta tesi destaquen el potencial de les xarxes neuronals basades en grafs i de les tècniques d'augment de dades per a millorar la detecció del llenguatge abusiu, especialment quan hi ha limitació de dades. Estes contribucions han sigut publicades en revistes i conferències internacionals., [EN] Abusive language detection is a task that has become increasingly important in the modern digital age, where communication takes place via various online platforms. The increase in online interactions has led to an increase in the occurrence of abusive language. Addressing such content is crucial to maintaining a safe and inclusive online environment. However, this task faces several challenges that make it a complex and ongoing area of research and development. In particular, detecting abusive language in environments with sparse data poses an additional challenge, since the development of accurate automated systems often requires large annotated datasets. In this thesis we investigate different aspects of abusive language detection, paying particular attention to environments with limited data. First, we study the bias toward abusive keywords in models trained for abusive language detection. To this end, we propose two methods for extracting potentially abusive keywords from datasets. We then evaluate the bias toward the extracted keywords and how this bias can be modified in order to influence abusive language detection performance. The analysis and conclusions of this work reveal evidence that it is possible to mitigate the bias and that such a reduction can positively affect the performance of the models. However, we notice that it is not possible to establish a similar correspondence between bias mitigation and model performance in low-resource settings with the studied bias mitigation techniques. Second, we investigate the use of models based on graph neural networks to detect abusive language. On the one hand, we propose a text representation framework designed with the aim of obtaining a representation space in which abusive texts can be easily distinguished from other texts. On the other hand, we evaluate the ability of models based on convolutional graph neural networks to classify abusive texts. The next part of our research focuses on analyzing how data augmentation can influence the performance of abusive language detection. To this end, we investigate two well-known techniques based on the principle of vicinal risk minimization and propose a variant for one of them. In addition, we evaluate simple techniques based on the operations of synonym replacement, random insertion, random swap, and random deletion. The contributions of this thesis highlight the potential of models based on graph neural networks and data augmentation techniques to improve abusive language detection, especially in low-resource settings. These contributions have been published in several international conferences and journals., This research work was partially funded by the Spanish Ministry of Science and Innovation under the research project MISMIS-FAKEnHATE on Misinformation and Miscommunication in social media: FAKE news and HATE speech (PGC2018-096212-B-C31). The authors thank also the EU-FEDER Comunitat Valenciana 2014-2020 grant IDIFEDER/2018/025. This work was done in the framework of the research project on Fairness and Transparency for equitable NLP applications in social media, funded by MCIN/AEI/10.13039/501100011033 and by ERDF, EU A way of making EuropePI. FairTransNLP research project (PID2021-124361OB-C31) funded by MCIN/AEI/10.13039/501100011033 and by ERDF, EU A way of making Europe. Part of the work presented in this article was performed during the first author’s research visit to the University of Mannheim, supported through a Contact Fellowship awarded by the DAAD scholarship program “STIBET Doktoranden”.