RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication
Artículo científico (JournalArticle)
Overview of DETESTS-Dis at IberLEF 2024:DETEction and classification of racial STereotypes inSpanish - Learning with Disagreement
[ES] Este artículo presenta un resumen de la tarea DETESTS como parte
del workshop IberLEF 2024, dentro del congreso SEPLN 2024. Propusimos dos
subtareas jerárquicas: En la subtarea 1, los participantes tuvieron que determinar
la presencia de estereotipos raciales en oraciones. En la subtarea 2, de las oraciones
etiquetadas con estereotipo, los participantes tuvieron que decidir si este era implícito. El dataset DETESTS-Dis contiene 12.111 oraciones de comentarios y tuits
respondiendo a artículos de periódicos y bulos raciales sobre inmigración en español.
15 equipos se registraron para participar, de los cuales 6 enviaron predicciones de
sistemas y 3 de ellos enviaron artículos. En este artículo presentamos información
sobre los datasets de entrenamiento y de prueba, los sistemas utilizados por los participantes, las métricas de evaluación y sus resultados., [EN] This paper presents an overview of the DETESTS-Dis shared task aspart of the IberLEF 2024 Workshop on Iberian Languages Evaluation Forum, withinthe framework of the SEPLN 2024 conference. We proposed two hierarchical sub-tasks: In subtask 1, participants had to determine the presence of stereotypes in thetexts. For subtask 2, participants had to decide which texts labeled with stereotypeswere implicit stereotypes. The DETESTS-Dis dataset contains 12,111 comment sen-tences and tweets in response to newspaper articles and verified racial hoaxes involv-ing immigration in Spanish. 15 teams signed up to participate, 6 of which sent runs,and 3 of them sent their working notes. In this paper, we provide information aboutthe training and test datasets, the systems used by the participants, the evaluationmetrics of the systems and their results, This work was supported by the interna-tional project STERHEOTYPES: STudyingEuropean Racial Hoaxes and sterEOTYPESfunded by the Compagnia di San Paolo andVolksWagen Stiftung under the Challengesfor Europe call (CUP: B99C20000640007) ;the SGR CLiC project (2021 SGR 00313) funded by the Generalitat de Catalunya,and the FairTransNLP-Language project (PID2021-124361OB-C33) funded by MI-CIU/AEI/10.13039/501100011033/and byFEDER, UE.