Pasar al contenido principal

LECTURA DE LABIOS EN ESPAÑOL EN ESCENARIOS REALISTAS

PID2021-124719OB-I00

•
Nombre agencia financiadora Agencia Estatal de Investigación
Acrónimo agencia financiadora AEI
Programa Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia
Subprograma Subprograma Estatal de Generación de Conocimiento
Convocatoria Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Año convocatoria 2021
Plan Estatal 2021-2023 Plan Estatal de Investigación Científica y Técnica y de Innovación
Centro beneficiario UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Resultados relacionados

Resultados totales (Incluyendo duplicados): 8
Encontrada(s) 1 página(s)

RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Continuous lipreading based on acoustic temporal alignments

  • Gimeno-Gómez, David|||0000-0002-7375-9515
  • Martínez-Hinarejos, Carlos-D.|||0000-0002-6139-2891
[EN] Visual speech recognition (VSR) is a challenging task that has received increasing interest during the last few decades. Current state of the art employs powerful end-to-end architectures based on deep learning which depend on large amounts of data and high computational resources for their estimation. We address the task of VSR for data scarcity scenarios with limited computational resources by using traditional approaches based on hidden Markov models. We present a novel learning strategy that employs information obtained from previous acoustic temporal alignments to improve the visual system performance. Furthermore, we studied multiple visual speech representations and how image resolution or frame rate affect its performance. All these experiments were conducted on the limited data VLRF corpus, a database which offers an audio-visual support to address continuous speech recognition in Spanish. The results show that our approach significantly outperforms the best results achieved on the task to date., This work was partially supported by Grant CIACIF/2021/295 funded by Generalitat Valenciana and by Grant PID2021-124719OB-I00 under project LLEER (PID2021-124719OB-100) funded by MCIN/AEI/10.13039/501100011033/ and by ERDF, EU A way of making Europe.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Unveiling Interpretability in Self-Supervised Speech Representations for Parkinson&apos, s Diagnosis

  • Gimeno-Gómez, David|||0000-0002-7375-9515
  • Martínez-Hinarejos, Carlos-D.|||0000-0002-6139-2891
  • Botelho, Catarina
  • Pompili, Anna
  • Abad, Alberto
[EN] Recent works in pathological speech analysis have increasingly relied on powerful self-supervised speech representations, leading to promising results. However, the complex, black-box nature of these embeddings and the limited research on their interpretability significantly restrict their adoption for clinical diagnosis. To address this gap, we propose a novel, interpretable framework specifically designed to support Parkinson's Disease (PD) diagnosis. Through the design of simple yet effective cross-attention mechanisms for both embedding- and temporal-level analysis, the proposed framework offers interpretability from two distinct but complementary perspectives. Experimental findings across five well-established speech benchmarks for PD detection demonstrate the framework's capability to identify meaningful speech patterns within self-supervised representations for a wide range of assessment tasks. Fine-grained temporal analyses further underscore its potential to enhance the interpretability of deep-learning pathological speech models, paving the way for the development of more transparent, trustworthy, and clinically applicable computer-assisted diagnosis systems in this domain. Moreover, in terms of classification accuracy, our method achieves results competitive with state-of-the-art approaches, while also demonstrating robustness in cross-lingual scenarios when applied to spontaneous speech production., The work of David Gimeno-Gómez and Carlos-D. Martínez-Hinarejos was supported in part by GVA under Grant CIACIF/2021/295 and Grant CIBEFP/2023/167, and in part by MCIN/AEI and ERDF, EU A way of making Europe through Project LLEER under Grant PID2021-124719OB-I00. The work of Catarina Botelho, Anna Pompili, and Albetro Abad was supported in part by Portuguese National funds through Fundação para a Ciência e a Tecnologia, with reference DOI: 10.54499/UIDB/50021/2020, and in part by Portuguese Recovery and Resilience Plan and NextGenerationEU European Union Funds under Project C644865762-00000008 (Accelerat.AI). This work was supported by CRUE-Universitat Politècnica de València.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Evaluation of End-to-End Continuous Spanish Lipreading in Different Data Conditions

  • Gimeno-Gómez, David|||0000-0002-7375-9515
  • Martínez-Hinarejos, Carlos-D.|||0000-0002-6139-2891
[EN] Visual speech recognition remains an open research problem where different challenges must be considered by dispensing with the auditory sense, such as visual ambiguities, the inter-personal variability among speakers, and the complex modeling of silence. Nonetheless, recent remarkable results have been achieved in the field thanks to the availability of large-scale databases and the use of powerful attention mechanisms. Besides, multiple languages apart from English are nowadays a focus of interest. This paper presents noticeable advances in automatic continuous lipreading for Spanish. First, an end-to-end system based on the hybrid CTC/Attention architecture is presented. Experiments are conducted on two corpora of disparate nature, reaching state-of-the-art results that significantly improve the best performance obtained to date for both databases. In addition, a thorough ablation study is carried out, where it is studied how the different components that form the architecture influence the quality of speech recognition. Then, a rigorous error analysis is carried out to investigate the different factors that could affect the learning of the automatic system. Finally, a new Spanish lipreading benchmark is consolidated., This work was partially supported by Grant CIACIF/2021/295 funded by Generalitat Valenciana and by Grant PID2021-124719OB-I00 under project LLEER (PID2021-124719OB-100) funded by MCIN/AEI/10.13039/501100011033/ and by ERDF, EU A way of making Europe.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Comparing Speaker Adaptation Methods for Visual Speech Recognition for Continuous Spanish

  • Gimeno-Gómez, David|||0000-0002-7375-9515
  • Martínez-Hinarejos, Carlos-D.|||0000-0002-6139-2891
[EN] Visual speech recognition (VSR) is a challenging task that aims to interpret speech based solely on lip movements. However, although remarkable results have recently been reached in the field, this task remains an open research problem due to different challenges, such as visual ambiguities, the intra-personal variability among speakers, and the complex modeling of silence. Nonetheless, these challenges can be alleviated when the task is approached from a speaker-dependent perspective. Our work focuses on the adaptation of end-to-end VSR systems to a specific speaker. Hence, we propose two different adaptation methods based on the conventional fine-tuning technique or the so-called Adapters. We conduct a comparative study in terms of performance while considering different deployment aspects such as training time and storage cost. Results on the Spanish LIP-RTVE database show that both methods are able to obtain recognition rates comparable to the state of the art, even when only a limited amount of training data is available. Although it incurs a deterioration in performance, the Adapters-based method presents a more scalable and efficient solution, significantly reducing the training time and storage cost by up to 80%., This work was partially supported by the Grant CIACIF/2021/295 funded by Generalitat Valenciana and by the Grant PID2021-124719OB-I00 under the LLEER (PID2021-124719OB-100) project funded by MCIN/AEI/10.13039/501100011033/ and by ERDF EU, A way of making Europe .
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Tailored design of Audio-Visual Speech Recognition models using Branchformers

  • Gimeno-Gómez, David|||0000-0002-7375-9515
  • Martínez-Hinarejos, Carlos-D.|||0000-0002-6139-2891
[EN] Recent advances in Audio¿Visual Speech Recognition (AVSR) have led to unprecedented achievements in the field, improving the robustness of this type of system in adverse, noisy environments. In most cases, this task has been addressed through the design of models composed of two independent encoders, each dedicated to a specific modality. However, while recent works have explored unified audio¿visual encoders, determining the optimal cross-modal architecture remains an ongoing challenge. Furthermore, such approaches often rely on models comprising vast amounts of parameters and high computational cost training processes. In this paper, we aim to bridge this research gap by introducing a novel audio¿visual framework. Our proposed method constitutes, to the best of our knowledge, the first attempt to harness the flexibility and interpretability offered by encoder architectures, such as the Branchformer, in the design of parameter-efficient AVSR systems. To be more precise, the proposed framework consists of two steps: first, estimating audio- and video-only systems, and then designing a tailored audio¿visual unified encoder based on the layer-level branch scores provided by the modality-specific models. Extensive experiments on English and Spanish AVSR benchmarks covering multiple data conditions and scenarios demonstrated the effectiveness of our proposed method. Even when trained on a moderate scale of data, our models achieve competitive word error rates (WER) of approximately 2.5% for English and surpass existing approaches for Spanish, establishing a new benchmark with an average WER of around 9.1%. These results reflect how our tailored AVSR system is able to reach state-of-the-art recognition rates while significantly reducing the model complexity w.r.t. the prevalent approach in the field., This work was partially supported by Generalitat Valenciana, Spain through Grant CIACIF/2021/295 and Conselleria de Educacion, Universidades y Empleo under project LightVED, funded by the PROMETEO 2024 program (CIPROM/2023/17) . It was also supported by Grant PID2021-124719OB-I00 under project LLEER, funded by MCIN/AEI and ERDF, EU "A way of making Europe".
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Artículo científico (JournalArticle)

Using LoRA and Reinforcement Learning in Interactive Machine Translation

  • Navarro-Martínez, Ángel|||0000-0002-5957-8152
  • Casacuberta Nolla, Francisco|||0000-0002-8497-5598
[EN] The use of large language models (LLMs) is rapidly expanding due to their impressive performance across various tasks . However, as newer versions continue to improve results, their increasing size poses challenges for maintaining multiple domain-specialized versions. The Low-Rank Adaptation (LoRA) method offers a solution to this limitation by enabling fine-tuning modifications to be stored in a file of just a few megabytes, significantly reducing storage requirements. In Machine Translation (MT), models are often specialized for specific domains or language pairs. In our case, we apply these models within Interactive Machine Translation (IMT), where generating high-quality translations and adapting effectively to user modifications are crucial. We have integrated Reinforcement Learning (RL) techniques, optimizing the model using various evaluation metrics. Our results demonstrate that these methods effectively improve translation quality; however, in some cases, this improvement comes at the cost of a slight reduction in generalization capability., This paper is part of the project I+D+i PID2023-148259NB-I00 (LeMUR), funded by Ministerio de Ciencia e Innovación. The second author is supported by grant ACIF/2021/356 from the Programa I+D+i de la Generalitat Valenciana .
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Tesis doctoral (DoctoralThesis)

Effort Reduction through Interactive Machine Translation and Quality Estimation

  • Navarro-Martínez, Ángel|||0000-0002-5957-8152
[ES] El lenguaje humano posibilita la cooperación social, la transmisión del conocimiento y la diversidad cultural; sin embargo, hoy conviven más de 7.000 lenguas y gran parte de la información del mundo sigue concentrada en unas pocas lenguas dominantes. La Traducción Automática (MT) y, en un sentido más amplio, el Procesamiento del Lenguaje Natural (NLP) ofrecen una vía escalable para salvar estas brechas si garantizamos una calidad de nivel profesional y mantenemos el esfuerzo humano en niveles aceptables dentro de flujos de trabajo reales. En la industria de la traducción, esto se ha perseguido tradicionalmente mediante la posedición y otras herramientas de Traducción Asistida por Ordenador (CAT), en las que los humanos corrigen salidas estáticas de MT. La Traducción Automática Interactiva (IMT) propone un paradigma distinto: en lugar de editar una hipótesis fija, el humano y el sistema entablan un bucle estrecho en el que las correcciones parciales y las validaciones se explotan de inmediato para generar nuevas sugerencias. Esta tesis afronta el reto de hacer la IMT eficiente y desplegable a escala reforzando sus protocolos de interacción, sus mecanismos de aprendizaje y sus arquitecturas de modelo. En primer lugar, mejoramos el entorno de IMT mediante mejora del feedback: nuevas formas de aprovechar las señales que el traductor ya proporciona durante su trabajo rutinario, sin requerir anotaciones adicionales. Formalizamos y simulamos acciones de ratón -tanto no explícitas como explícitas- para que el sistema pueda inferir correcciones probables o proponer alternativas antes de que el usuario teclee. Introducimos métricas para cuantificar la efectividad de las acciones y demostramos que un pequeño número de interacciones explícitas en posiciones erróneas reduce sustancialmente el esfuerzo humano. Estos protocolos operan a nivel de palabra y de carácter y se extienden de forma natural a la IMT basada en segmentos, donde se preservan los tramos validados mientras el sistema regenera solo las partes inciertas. En segundo lugar, perseguimos la interacción activa reduciendo el esfuerzo cognitivo al dirigir la atención del usuario. Desarrollamos estrategias de estimación de calidad (QE) a nivel de palabra y de oración y las integramos en IMT para filtrar la atención. En simulación, la confianza a nivel de oración produce reducciones de esfuerzo de forma más consistente, mientras que las señales a nivel de palabra son más heterogéneas. El resultado es un bucle de IMT que invita a intervenir solo cuando la confianza es baja, optimizando la atención y evitando ediciones innecesarias. En tercer lugar, motivados por el rápido avance de los Modelos Grandes de Lenguaje (LLMs), integramos modelos multilingües preentrenados y exploramos la adaptación eficiente en parámetros dentro del entorno de IMT mejorado. En IMT basada en prefijo, los LLM ajustados suelen reducir el esfuerzo de tecleo frente a una línea base de NMT; sin embargo, en escenarios basados en segmentos pueden tener dificultades para generalizar interactivamente a través de los tramos validados, lo que revela una brecha entre una alta calidad estática y un comportamiento realmente sensible al feedback. También investigamos el uso de objetivos de aprendizaje por refuerzo (RL) que recompensan explícitamente la reducción del esfuerzo humano y una mejor alineación con el feedback del usuario, ajustando aún más el comportamiento del modelo al entorno interactivo. Al mejorar la forma en que la IMT incorpora el feedback del usuario, dirigir la atención con señales de confianza fiables e integrar LLMs mediante estrategias de adaptación prácticas, esta tesis cierra brechas clave entre los prototipos de investigación y las necesidades de producción. El resultado es un flujo de trabajo de IMT que requiere menos tecleo, afina el foco de intervención y es más fácil de personalizar, beneficiando de manera concreta a traductores profesionales y agencias de traducción., [EN] Human language enables social cooperation, knowledge transmission, and cultural diversity; today, however, more than 7,000 living languages coexist, and much of the world's information remains concentrated in a few dominant tongues. Machine Translation (MT) and, more broadly, Natural Language Processing (NLP) offer a scalable path to bridge these divides if we can ensure professional-grade quality and keep human effort acceptable in real-world workflows. In the translation industry, this has traditionally been pursued through post-editing and other Computer-Assisted Translation (CAT) tools, where humans correct static MT outputs. Interactive Machine Translation (IMT) offers a different paradigm: instead of editing a fixed hypothesis, the human and the system engage in a tight loop in which partial corrections and validation are immediately exploited to generate updated suggestions. This thesis addresses the challenge of making IMT both efficient and deployable at scale by strengthening its interaction protocols, learning mechanisms, and model architectures. First, we enhance the IMT environment through feedback improvement: new ways to capitalize on signals the translator already provides during routine work, without requiring extra annotations. We formalize and simulate mouse-action signals -both non-explicit and interactive-explicit- so the system can infer likely corrections or propose alternatives before the user types. We introduce utility-aware metrics to quantify the effectiveness of actions, and demonstrate that allowing a small number of interactive-explicit requests at error positions substantially reduces keystrokes while preserving control. These protocols operate at the word and character level and naturally extend to segment-based IMT, where validated spans are preserved while the system regenerates only the uncertain parts. Second, we pursue active interaction by reducing cognitive effort by directing the user's attention. We develop quality-estimation strategies at the word and sentence levels and integrate them into IMT to gate attention. In simulation, sentence-level confidence yields consistent effort reductions, while word-level signals are more heterogeneous. The result is an IMT loop that invites intervention only when confidence is low, streamlining attention and avoiding unnecessary edits. Third, motivated by the rapid progress of Large Language Models (LLMs), we integrate multilingual pre-trained models and explore parameter-efficient adaptation within the improved IMT environment. In prefix-based IMT, fine-tuned LLMs often reduce keyboard effort compared to an NMT baseline; yet in segment-based scenarios, they can struggle to generalize interactively across validated spans, revealing a gap between strong static quality and responsive, feedback-aware behavior. We also investigate the use of Reinforcement Learning (RL) objectives that explicitly reward reductions in human effort and better alignment with user feedback, further tailoring model behavior to the interactive setting. By improving how IMT consumes user feedback, directing attention with reliable confidence signals, and integrating LLMs through practical adaptation strategies, this thesis closes key gaps between research prototypes and production needs. The result is an IMT workflow that is lighter on the keyboard, sharper in its focus, and easier to personalize¿concretely benefiting professional translators and translation agencies., [CA] El llenguatge humà fa possible la cooperació social, la transmissió del coneixement i la diversitat cultural; tanmateix, hui conviuen més de 7.000 llengües i bona part de la informació del món continua concentrada en unes poques llengües dominants. La Traducció Automàtica (MT) i, en un sentit més ampli, el Processament del Llenguatge Natural (NLP) ofereixen una via escalable per a salvar aquestes bretxes si garantim una qualitat de nivell professional i mantenim l'esforç humà en nivells acceptables dins de fluxos de treball reals. En la indústria de la traducció, això s'ha perseguit tradicionalment mitjançant la posedició i altres eines de Traducció Assistida per Ordinador (CAT), en les quals els humans corregixen eixides estàtiques de MT. La Traducció Automàtica Interactiva (IMT) proposa un paradigma distint: en lloc d'editar una hipòtesi fixa, l'humà i el sistema entren en un bucle estret en què les correccions parcials i les validacions s'exploten de seguida per a generar noves suggerències. Esta tesi afronta el repte de fer la IMT eficient i desplegable a escala reforçant els seus protocols d'interacció, els seus mecanismes d'aprenentatge i les seues arquitectures de model. En primer lloc, millorem l'entorn d'IMT mitjançant la millora del feedback: noves maneres d'aprofitar els senyals que el traductor ja aporta durant el seu treball rutinari, sense requerir anotacions addicionals. Formalitzem i simulem accions de ratolí -tant no explícites com explícites- perquè el sistema puga inferir correccions probables o proposar alternatives abans que l'usuari teclege. Introduïm mètriques per a quantificar l'efectivitat de les accions i demostrem que un nombre reduït d'interaccions explícites en posicions amb errors disminuïx substancialment l'esforç humà. Estos protocols operen a nivell de paraula i de caràcter i s'estenen de manera natural a la IMT basada en segments, on es conserven els trams validats mentre el sistema només torna a generar les parts incertes. En segon lloc, perseguim la interacció activa reduint l'esforç cognitiu en dirigir l'atenció de l'usuari. Desenvolupem estratègies d'estimació de qualitat (QE) a nivell de paraula i d'oració i les integrem en IMT per a filtrar l'atenció. En un entorn de simulació, la confiança a nivell d'oració produïx reduccions d'esforç de manera més consistent, mentre que els senyals a nivell de paraula són més heterogenis. El resultat és un bucle d'IMT que convida a intervenir només quan la confiança és baixa, optimitzant l'atenció i evitant edicions innecessàries. En tercer lloc, motivats pel ràpid avanç dels Grans Models de Llenguatge (LLMs), integrem models multilingües preentrenats i explorem l'adaptació eficient en paràmetres dins de l'entorn d'IMT millorat. En IMT basada en prefix, els LLM ajustats solen reduir l'esforç de tecleig enfront d'una línia de base de NMT; no obstant això, en escenaris basats en segments poden tindre dificultats per a generalitzar de manera interactiva a través dels trams validats, cosa que revela una bretxa entre una alta qualitat estàtica i un comportament realment sensible al feedback. També investiguem l'ús d'objectius d'aprenentatge per reforç (RL) que recompensen explícitament la reducció de l'esforç humà i una millor alineació amb el feedback de l'usuari, ajustant encara més el comportament del model a l'entorn interactiu. En millorar la manera com la IMT incorpora el feedback de l'usuari, dirigir l'atenció amb senyals de confiança fiables i integrar LLM mitjançant estratègies d'adaptació pràctiques, esta tesi tanca bretxes clau entre els prototips d'investigació i les necessitats de producció. El resultat és un flux de treball d'IMT que requerix menys tecleig, afina el focus d'intervenció i és més fàcil de personalitzar, i que beneficia de manera concreta els traductors professionals i les agències de traducció., This doctoral project has received nancial support from multiple sources, including a predoctoral grant from the Generalitat Valenciana (CIACIF/2021/292) co-funded by the Fondo Social Europeo (FSE), and funding and research support from ValgrAI (Valencian Graduate School and Research for Arti cial Intelligence). Additional support was provided by the Generalitat Valenciana under the ALMAMATER project (PROMETEOII/2014/030), and by the European Union through the Comunitat Valenciana Programa Operativo del Fondo Europeo de Desarrollo Regional (FEDER) 20142020 under the project Sistemas de fabricación inteligentes para la indústria 4.0 (ID-IFEDER/2018/025). This work was also funded by a grant PID2021-124719OB-I00 nanced by MCIN/AEI/10.13039/501100011033 and, as appropriate, by ERDF A way of making Europe, by the European Union.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publicación Tesis doctoral (DoctoralThesis)

Contributions to Automatic Lipreading for Spanish

  • Gimeno-Gómez, David|||0000-0002-7375-9515
[ES] Inspirados por la naturaleza multisensorial de la percepción del habla humana, ha habido un creciente interés en el desarrollo de sistemas automáticos de lectura de labios. Esta desafiante tarea tiene como objetivo interpretar el habla analizando únicamente los movimientos labiales del hablante sin depender de señales acústicas. Entre la amplia variedad de aplicaciones ofrecidas por esta tecnología, destacamos su prometedor papel en el avance de las interfaces de habla silenciosas a través del diseño de soluciones no invasivas que den soporte a la comunicación de personas que han perdido su capacidad de hablar. La eficacia de esta tecnología, sin embargo, se ve comprometida por numerosos factores, entre los que se incluyen las ambigüedades visuales a la hora de intentar distinguir entre sonidos distintos pero visualmente similares, y la dificultad a la que se enfrentan los modelos multi-hablantes para generalizar y abordar las variaciones inter-personales entre hablantes. Aparte de estos desafíos inherentes a la lectura de labios en sí misma, existen cuestiones más técnicas, como son la escasez de datos audiovisuales para el habla continua y natural en idiomas distintos del inglés y la actual dependencia de modelos de alta complejidad para lograr un rendimiento sólido. En relación con el desarrollo de interfaces de habla silenciosa, también observamos que la investigación sobre enfoques dependientes del hablante se ha limitado en su mayoría a entornos controlados y protocolos experimentales restringidos, pasando por alto la impor\-tancia de explorar este tipo de estudios dependientes del hablante en condiciones más naturalistas, en particular con habla continua. Esta tesis no sólo aborda esta brecha de investigación en la dependencia del hablante, sino que también investiga el diseño de sistemas automáticos de lectura labial y su integración con señales acústicas del habla para el español continuo natural. Nuestro enfoque integral ofrece una perspectiva holística del problema, comprendiendo la recopilación y el procesamiento de datos audiovisuales, la transición de los métodos tradicionales basados en modelos ocultos de Markov a arquitecturas profundas de extremo a extremo de última generación, y la integración de señales del habla audiovisuales para el reconocimiento robusto de la voz. Más específicamente, proponemos estrategias de entrenamiento intermodal en el contexto de decodificadores tradicionales, evaluamos y analizamos la eficacia de las arquitecturas de extremo a extremo actuales y su adaptación a hablantes específicos, realizamos estudios comparativos sistemáticos entre estos dos distintos paradigmas de decodificación en diversas condiciones de entrenamiento, y exploramos las contribuciones de las señales visuales cuando se integran con señales acústicas para el reconocimiento de voz audiovisual bajo una perspectiva de eficiencia. Como resultado, nuestra investigación establece un punto de referencia de lectura labial en español, con el objetivo de garantizar que las tecnologías de lectura labial se puedan estudiar de manera efectiva para este idioma en diversas condiciones de datos. Un factor común en todas estas contribuciones es nuestro particular énfasis en la eficiencia de esta tecnología y su aplicación en situaciones del mundo real. Al abordar la heterogeneidad y la falta ocasional de datos que sufren la mayoría de los idiomas en el contexto de las tecnologías de habla audiovisual, creemos firmemente que nuestro trabajo promueve una mayor investigación en idiomas subrepresentados y entornos de bajos recursos., [CA] Inspirats per la naturalesa multisensorial de la percepció de la parla humana, hi ha hagut un interès creixent en el desenvolupament de sistemes automàtics de lectura de llavis. Aquesta desafiant tasca té com a objectiu interpretar el parlar analitzant únicament els moviments labials del parlant sense dependre de senyals acústics. Entre l'àmplia varietat d'aplicacions ofertes per aquesta tecnologia, en destaquem el paper prometedor en l'avenç de les interfícies de parla silencioses a través del disseny de solucions no invasives que donen suport a la comunicació de persones que han perdut la capacitat de parlar. L'eficàcia d'aquesta tecnologia, però, es veu compromesa per nombrosos factors, entre els quals s'inclouen les ambigüitats visuals a l'hora d'intentar distingir entre sons diferents però visualment similars, i la dificultat a què s'enfronten els models multiparlants per generalitzar i abordar les variacions interpersonals entre parlants. A banda d'aquests desafiaments inherents a la lectura de llavis en si mateixa, hi ha qüestions més tècniques, com són l'escassetat de dades audiovisuals per a la parla continua i natural en idiomes diferents de l'anglès i l'actual dependència en models d'alta complexitat per aconseguir un rendiment sòlid. En relació amb el desenvolupament d'interfícies de parla silenciosa, observem que la investigació sobre enfocaments dependents del parlant s'ha limitat majoritàriament a entorns controlats i protocols experimentals restringits, passant per alt la importància d'explorar aquest tipus d'estudis dependents del parlant en condicions més naturalistes, com ara la parla contínua. Aquesta tesi no sols aborda aquesta bretxa de recerca en la dependència del parlant, sinó que també investiga el disseny de sistemes automàtics de lectura labial i la seva integració amb senyals acústics de la parla per a l'espanyol continu natural. El nostre enfocament integral ofereix una perspectiva holística del problema, comprenent la recopilació i el processament de dades audiovisuals, la transició dels mètodes tradicionals basats en models ocults de Markov a arquitectures profundes d'extrem a extrem d'última generació, i la integració de senyals de la parla audiovisuals per al reconeixement robust de la veu. Més específicament, proposem estratègies d'entrenament intermodal en el context de descodificadors tradicionals, avaluem i analitzem l'eficàcia de les arquitectures d'extrem a extrem actuals i la seua adaptació a parlants específics, realitzem estudis comparatius sistemàtics entre aquests dos diferents paradigmes de descodificació en diverses condicions de entrenament, i explorem les contribucions dels senyals visuals quan s'integren amb senyals acústics per al reconeixement de veu audiovisual sota una perspectiva d'eficiència. Com a resultat, la nostra investigació estableix un punt de referència de lectura labial en espanyol, per tal de garantir que les tecnologies de lectura labial es puguen estudiar de manera efectiva per a aquest idioma en diverses condicions de dades. Un factor comú en totes aquestes contribucions és el nostre èmfasi particular en l'eficiència d'aquesta tecnologia i la seua aplicació en situacions del món real. En abordar l'heterogeneïtat i la manca ocasional de dades que pateixen la majoria dels idiomes en el context de les tecnologies de parla audiovisual, creiem fermament que el nostre treball promou una major investigació en idiomes subrepresentats i entorns de baixos recursos., [EN] Inspired by the multi-sensory nature of human speech perception, there has been a growing interest in developing automatic lipreading systems. This challenging task aims to interpret speech solely by analyzing the speaker's lip movements, without relying on acoustic cues. Among the wide variety of applications offered by this lipreading technology, we highlight its promising role in advancing silent speech interfaces through the design of non-invasive solutions that support communication for individuals who have lost the ability to speak. The efficacy of this technology, however, is compromised by numerous factors, including visual ambiguities when attempting to distinguish between distinct but visually similar sounds, and the difficulty multi-speaker models face in generalizing and handling interpersonal variations across speakers. In addition to these challenges inherent to lipreading itself, more technical issues --- such as the scarcity of available audio-visual data for continuous and natural speech in languages other than English, and the current reliance on model complexity for achieving strong performance --- also hinder progress. Regarding the development of silent speech interfaces, we also noted that research on speaker-dependent approaches was mostly limited to indoor controlled settings and constrained experimental protocols, overlooking the importance of exploring this type of speaker-dependent studies under more naturalistic conditions, particularly with continuous speech. This thesis not only addresses this research gap in speaker dependency, but also investigates the design of automatic lipreading systems and their integration with acoustic speech cues for natural continuous Spanish. Our comprehensive approach offers a holistic perspective on the problem, encompassing the collection and processing of audio-visual data, the transition from traditional Hidden Markov Model (HMM)-based methods to state-of-the-art deep end-to-end architectures, and the integration of audio-visual speech cues for robust speech recognition. More specifically, we propose cross-modal training strategies in the context of traditional decoders, evaluate and analyze the efficacy of current end-to-end architectures and their adaptation to specific speakers, conduct systematic comparative studies between these two distinct decoding paradigms under diverse training conditions, and explore the contributions of visual cues when integrated with acoustic cues for audio-visual speech recognition from a parameter-efficient perspective. As a result, our research establishes a Spanish lipreading benchmark, aiming to ensure that lipreading technologies can be effectively studied for this language under diverse data conditions. A common theme throughout these contributions is our particular emphasis on the efficiency of this technology and its application to real-world scenarios. By addressing the heterogeneity and occasional significant lack of data that most languages suffer from in the context of audiovisual speech technologies, we strongly believe our work promotes further research in underrepresented languages and low-resource settings., The research leading to the results of this thesis was partially supported by Generalitat Valenciana under project DeepPattern (PROMETEO/2019/121), by Ministerio de Ciencia under project MIRANDA-DocTIUM (RTI2018-095645-B-C22), by the Grant CIACIF/2021/295 funded by Generalitat Valenciana, and by the Grant PID2021-124719OB-I00 under project LLEER (PID2021-124719OB-100) funded by MCIN/AEI/10.13039/501100011033/ and by ERDF, EU A way of making Europe. The mobility for the 3-month research stay at INESC-ID (Lisbon, Portugal) supervised by Dr. Alberto Abad was supported by Generalitat Valenciana under reference CIBEFP/2023/167. We extend our special thanks to RTVE and Cátedra RTVE-UZ for providing us with access to audio-visual data materials.