RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación
Tesis de maestría (MasterThesis)
Análisis de la privacidad del usuario de las IA basadas en LLM. Posibles barreras y soluciones alternativas, User privacy analytics of LLM-based AIs. Potential barriers and workarounds, Anàlisi de la privadesa del usuari en les IA basades en LLM. Possibles barreres i solucions alternatives
[ES] La privacidad del usuario en el contexto de la interacción con modelos de lenguaje de gran tamaño (LLM) plantea múltiples desafíos que requieren atención urgente, especialmente dada la creciente integración de estas tecnologías en herramientas de uso cotidiano como asistentes virtuales y plataformas conversacionales. El volumen de datos generados en este tipo de interacciones, junto con el riesgo de divulgación no intencionada de información personal, hacen necesario el desarrollo de sistemas que permitan detectar y advertir sobre posibles exposiciones de datos sensibles.
Este Trabajo de Fin de Máster (TFM) tiene como objetivo principal evaluar el potencial de recopilación y tratamiento de información personal por parte de modelos de lenguaje grandes en escenarios conversacionales, como los ofrecidos por sistemas tipo ChatBOT (por ejemplo, ChatGPT, Gemini, Mistral, entre otros). Para ello, se analiza el comportamiento de diferentes LLM en tareas de detección de datos sensibles y se compara su rendimiento con soluciones tradicionales basadas en reglas, como Microsoft Presidio. La evaluación incluye tanto aspectos de rendimiento (precisión, exhaustividad, F1-score) como consideraciones de eficiencia y escalabilidad.
A partir de este análisis, se desarrolla y propone una arquitectura híbrida basada en la combinación de soluciones preexistentes. Esta arquitectura está diseñada para detectar de forma automática si el contenido introducido por el usuario contiene información susceptible de identificación personal (PII), y advertir de ello en tiempo real, funcionando como un sistema de mitigación activo. La solución permite combinar el alto recall de sistemas basados en reglas con la capacidad contextual de los LLM, minimizando así los errores asociados a cada enfoque de forma individual.
Este trabajo contribuye a la protección de la privacidad digital desde una perspectiva técnica y aplicada, ofreciendo una solución flexible y adaptable que puede integrarse en aplicaciones reales con requerimientos de protección de datos personales., [EN] User privacy in the context of interaction with large language models (LLMs) presents several critical challenges, particularly due to the increasing integration of these technologies into everyday tools such as virtual assistants and conversational agents. The volume and sensitivity of the data generated in these interactions, along with the risk of unintentionally disclosing personal information, highlight the need for systems capable of detecting and alerting users when such exposure occurs.
This Master s Thesis aims to assess the potential of various LLMs to collect and process personal data in conversational scenarios, such as those involving ChatBOT applications (e.g., ChatGPT, Gemini, Mistral). The study includes a comparative evaluation of several LLMs in the task of detecting sensitive information, alongside rule-based approaches such as Microsoft Presidio. Performance metrics such as precision, recall, and F1-score are analyzed, along with considerations related to computational efficiency and real-world applicability.
Based on this evaluation, an adaptive and hybrid detection architecture is proposed. This system is capable of automatically identifying content that may contain personally identifiable information (PII) and issuing warnings to users in real time. The architecture combines the high recall of rule-based systems with the contextual awareness of LLMs, thereby mitigating the limitations of each individual approach.
The resulting contribution offers a technically grounded and practically oriented solution for enhancing digital privacy. It is designed to be adaptable and integrable into real-world applications where the protection of personal data is a regulatory or ethical requirement, contributing to safer, more transparent conversational systems., [CA] La privacitat de l’usuari en el context de la interacció amb models de llenguatge de grans dimensions (LLM) planteja diversos reptes rellevants, especialment davant de la creixent integració d’aquestes tecnologies en eines d’ús quotidià com ara assistents virtuals i sistemes conversacionals. El volum i la sensibilitat de les dades generades en aquestes interaccions, juntament amb el risc de revelar informació personal de manera involuntària, fan necessari el desenvolupament de sistemes capaços de detectar i advertir l’usuari quan es produeix aquesta exposició.
Aquest Treball de Fi de Màster té com a objectiu principal avaluar el potencial de diferents LLM per recopilar i tractar dades personals en escenaris conversacionals, com els que proporcionen aplicacions tipus ChatBOT (per exemple, ChatGPT, Gemini, Mistral, entre altres). L’estudi inclou una comparativa del rendiment de diversos models en la detecció d’informació sensible, així com de solucions basades en regles, com ara Microsoft Presidio. Es consideren mètriques com la precisió, el record i la puntuació F1, a més d’aspectes d’eficiència computacional i aplicabilitat pràctica.
A partir d’aquesta anàlisi, es proposa una arquitectura híbrida adaptativa capaç d’identificar automàticament contingut que continga informació personal identificable (PII) i d’advertir-ne a l’usuari en temps real. Aquesta solució combina l’alt record dels sistemes basats en regles amb la capacitat contextual dels LLM, minimitzant així les limitacions de cada enfocament per separat.
La contribució d’aquest treball se centra en reforçar la privacitat digital des d’una perspectiva tècnica i aplicada, proposant una solució flexible i integrable en entorns reals amb requisits de protecció de dades personals., Este trabajo ha sido parcialmente financiado y apoyado por el proyecto PID2023-151536OB-I00 del gobierno español y por la estrategia C063/23 del proyecto SPRINT (Seguridad y Privacidad en Sistemas con Inteligencia Artificial) del INCIBE con fondos EU-NextGenerationEU a través del plan de Recuperación, Transformación y Resiliencia del gobierno español.