- Ruescas Nicolau, Ana Virginia
[ES] Esta tesis explora la integración de datos del cuerpo completo en movimiento obtenidos con el escáner Move4D en sistemas de seguimiento basados en imágenes RGB para mejorar la estimación de pose 3D sin marcadores. Aunque los métodos tradicionales de captura de movimiento con marcadores son precisos, requieren mucho tiempo y solo funcionan en entornos controlados. Las técnicas sin marcadores, basadas en imágenes RGB y Deep Learning, ofrecen mayor flexibilidad, pero aún carecen de la precisión necesaria para aplicaciones en biomecánica e investigación clínica. El objetivo principal es evaluar si los datos del escáner Move4D pueden mejorar la estimación de pose basada en imágenes RGB, permitiendo así un sistema de captura de movimiento sin marcadores más preciso y accesible.
La investigación incluyó tres estudios experimentales y la creación de una base de datos de a partir de los movimientos escaneados:
Estudio 1: Se evaluó la precisión espacial del escáner Move4D en el análisis de la marcha, comparando sus resultados con los obtenidos mediante estereofotogrametría con marcadores. Los errores de posicionamiento estático y dinámico, así como las discrepancias en ángulos articulares (especialmente en cadera y rodilla), se mantuvieron dentro de rangos aceptables, confirmando la fiabilidad del escáner.
Estudio 2: Se analizó la consistencia en la identificación de puntos anatómicos usando la topología de malla homóloga del escáner. Utilizando el conjunto de datos CAESAR, se asignaron 53 puntos anatómicos a vértices fijos en 3.165 escaneos corporales 3D. Los errores de posicionamiento fueron comparables a los obtenidos mediante técnicas de palpación manual, validando la topología de malla para la detección automática. No obstante, imponer la simetría en la identificación de puntos anatómicos aumentó los errores, evidenciando una controversia entre fidelidad anatómica y las restricciones de diseño.
Estudio 3: Se investigó si los datos del Move4D podían entrenar redes neuronales para mejorar la estimación de pose sin marcadores basada en imagen RGB. Se creó una base de datos con 51.051 poses de 71 participantes, etiquetada con 53 puntos anatómicos y 33 puntos clave de Mediapipe. Se entrenaron tres modelos: un perceptrón multicapa, una red LSTM y un Transformer. Todos lograron precisiones dentro del rango de variabilidad intra-examinados para poses estáticas, destacando el modelo Transformer en la estimación de ángulos articulares y puntos anatómicos durante movimientos de traslación del cuerpo. El análisis de errores mostró que la precisión variaba según la región corporal: mayores errores en la pelvis y menores en los tobillos. Actividades como correr generaban más errores, mientras que las sentadillas y los saltos permitían estimaciones más precisas. Un análisis con modelos lineales mixtos indicó que el tipo de movimiento, el eje articular y la arquitectura de red influían más en la variabilidad del error que la forma corporal, lo que sugiere una buena capacidad de generalización de los modelos.
En conclusión, los datos del escáner Move4D mejoran significativamente la precisión de la estimación de pose 3D sin marcadores basada en imágenes RGB. Gracias a su precisión y su malla topológicamente consistente, es posible generar bases de datos de alta calidad para entrenar modelos. Este trabajo ofrece un enfoque sólido y accesible para la estimación de pose, representando un avance clave para el análisis del movimiento fuera del entorno de laboratorio., [CA] Aquesta tesi explora la integració de dades del cos complet en moviment obtinguts amb l'escàner Move4D en sistemes de seguiment basats en imatges RGB per a millorar l'estimació de posa 3D sense marcadors. Encara que els mètodes tradicionals de captura de moviment amb marcadors són precisos, requereixen molt temps i només funcionen en entorns controlats. Les tècniques sense marcadors, basades en imatges RGB i Deep Learning, ofereixen major flexibilitat, però encara manquen de la precisió necessària per a aplicacions en biomecànica i recerca clínica. L'objectiu principal és avaluar si les dades de l'escàner Move4D poden millorar l'estimació de posa basada en imatges RGB, permetent així un sistema de captura de moviment sense marcadors més precís i accessible.
La recerca va incloure tres estudis experimentals i la creació d'una base de dades d'a partir dels moviments escanejats:
Estudi 1: Es va avaluar la precisió espacial de l'escàner Move4D en l'anàlisi de la marxa, comparant els seus resultats amb els obtinguts mitjançant estereofotogrametría amb marcadors. Els errors de posicionament estàtic i dinàmic, així com les discrepàncies en angles articulars (especialment en maluc i genoll), es van mantenir dins de rangs acceptables, confirmant la fiabilitat de l'escàner.
Estudi 2: Es va analitzar la consistència en la identificació de punts anatòmics usant la topologia de malla homòloga de l'escàner. Utilitzant el conjunt de dades CAESAR, es van assignar 53 punts anatòmics a vèrtexs fixos en 3.165 escanejos corporals 3D. Els errors de posicionament van ser comparables als obtinguts mitjançant tècniques de palpació manual, validant la topologia de malla per a la detecció automàtica. No obstant això, imposar la simetria en la identificació de punts anatòmics va augmentar els errors, evidenciant una controvèrsia entre fidelitat anatòmica i les restriccions de disseny.
Estudi 3: Es va investigar si les dades del Move4D podien entrenar xarxes neuronals per a millorar l'estimació de posa sense marcadors basada en imatge RGB. Es va crear una base de dades amb 51.051 poses de 71 participants, etiquetada amb 53 punts anatòmics i 33 punts clau de Mediapipe. Es van entrenar tres models: un perceptrón multicapa, una xarxa LSTM i un Transformer. Tots van aconseguir precisions dins del rang de variabilitat intra-examinadors per a poses estàtiques, destacant el model Transformer en l'estimació d'angles articulars i punts anatòmics durant moviments de translació del cos. L'anàlisi d'errors va mostrar que la precisió variava segons la regió corporal: majors errors en la pelvis i menors en els turmells. Activitats com córrer generaven més errors, mentre que els esquats i els salts permetien estimacions més precises. Una anàlisi amb models lineals mixtos va indicar que el tipus de moviment, l'eix articular i l'arquitectura de xarxa influïen més en la variabilitat de l'error que la forma corporal, la qual cosa suggereix una bona capacitat de generalització dels models.
En conclusió, les dades de l'escàner Move4D milloren significativament la precisió de l'estimació de posa 3D sense marcadors basada en imatges RGB. Gràcies a la seva precisió i la seva malla topològicament consistent, és possible generar bases de dades d'alta qualitat per a entrenar models. Aquest treball ofereix un enfocament sòlid i accessible per a l'estimació de posa, representant un avanç clau per a l'anàlisi del moviment fora de l'entorn de laboratori., [EN] This thesis investigates the integration of real human motion data from the Move4D scanner with RGB-based motion tracking systems to improve the accuracy of markerless 3D pose estimation. Traditional motion capture methods, though precise, rely on marker-based systems that are time-consuming and limited to controlled environments. While deep learning-based, markerless techniques using RGB images offer more flexibility, they still lack the precision required for applications in biomechanics and clinical research. The core aim of this work is to determine whether Move4D scanner data can improve RGB-based pose estimation, ultimately enabling a more accessible and accurate markerless motion capture system.
To this end, the research comprised three experimental studies and the creation of a large, labelled motion dataset. Each study contributed to validating different aspects of the proposed method:
Study 1 evaluated the spatial accuracy of the Move4D scanner in dynamic gait analysis. It compared motion data from the scanner with results from traditional marker-based stereophotogrammetry. Findings showed that both static and dynamic positioning errors, as well as joint angle discrepancies (especially at the hip and knee), were within acceptable ranges. This affirmed the Move4D scanner's reliability for capturing motion data.
Study 2 focused on the consistency and precision of anatomical landmark identification using the scanner's homologous mesh topology. Using the CAESAR dataset, 53 anatomical landmarks were assigned to fixed vertices across 3,165 3D body scans. The positional errors were found to be comparable to those from manual palpation techniques, validating the mesh structure's suitability for automated landmark detection. However, enforcing symmetry in the mesh topology introduced greater errors, indicating a trade-off between anatomical fidelity and design constraints.
Study 3 explored whether Move4D data could train neural networks to improve RGB-based markerless pose estimation. A new dataset was developed, comprising 51,051 poses from 71 participants, each annotated with 53 anatomical landmarks and 33 Mediapipe keypoints. Three deep learning models were trained and tested: a multilayer perceptron, a long short-term memory network, and a Transformer model. All models achieved accuracy within the range of intra-examiner variability in static poses. Among them, the Transformer model delivered the best performance, particularly in estimating joint angles and anatomical landmarks during movements involving forward and backwards body translation. The error analysis showed that landmark prediction varied by body region, with the pelvis yielding the highest and ankles the lowest errors. Activities like running produced higher errors, while squats and jumps led to more accurate estimations. A linear mixed model analysis further revealed that error variance was primarily influenced by movement type, joint axis, and neural network architecture, while individual body shape had minimal effect, suggesting effective generalisation of the models across different body types.
In summary, this thesis demonstrates that Move4D scan data significantly enhances the accuracy of deep learning-based markerless pose estimation from RGB images. The scanner's precision and its topologically consistent mesh structure enable the creation of high-quality datasets that support the training of effective pose estimation models. The research successfully fulfils its goal of developing and validating a straightforward yet robust markerless 3D pose estimation approach, marking a meaningful step forward for practical applications in motion analysis outside of laboratory settings., Activity developed within the framework of the IBERUS project. Technological Network of Biomedical Engineering applied to degenerative pathologies of the neuromusculoskeletal system in clinical and outpatient settings (CER-20211003), CER-VERA Network financed by the Ministry of Science and Innovation through the Center for Industrial Technological Development (CDTI), charged to the General State Budgets 2021 and the Recovery, Transformation and Resilience Plan.
Activity developed within the framework of the "IBV 2023 Non-economic Activities Plan" (IMAMCA/2023/7), financed by the Nominative Line S8021000 distributed in favour of the technology centres of the Valencian Community, approved by the Budget Law of the Generalitat for 2023.
This work was supported by the project IMDEEA/2023/77 and by the Instituto Valenciano de Competitividad Empresarial (IVACE), 2023 Call for Proposals for Technology Centers of the Valencian Region, funded by European Union and the project CONV23/DGINN/14 funded by Conselleria de Innovación, Industria, Comercio y Turismo, Grants for Technology Centers for Innovation Projects in Collaboration with Companies, within the Smart Specialization Approach (S3)