SALTANDO A UN NUEVO PARADIGMA EN SISTEMAS CIBERFISICOS COOPERATIVOS HUMANO-ROBOT PARA BUSQUEDA Y RESCATE
PID2021-122944OB-I00
•
Nombre agencia financiadora Agencia Estatal de Investigación
Acrónimo agencia financiadora AEI
Programa Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia
Subprograma Subprograma Estatal de Generación de Conocimiento
Convocatoria Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Año convocatoria 2021
Unidad de gestión Plan Estatal de Investigación Científica y Técnica y de Innovación 2021-2023
Centro beneficiario UNIVERSIDAD DE MALAGA
Identificador persistente http://dx.doi.org/10.13039/501100011033
Resultados relacionados
Resultados totales (Incluyendo duplicados): 12Encontrada(s) 1 página(s)
Artículo científico (JournalArticle). 2025
The IoRT-in-Hand: Tele-Robotic Echography and Digital Twins on Mobile Devices.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Bravo-Arrabal, Juan
- Cheng, Zhuoqi
- Fernández-Lozano, Juan Jesús
- Gómez-Ruiz, José Antonio
- Schlette, Christian
- Savarimuthu, Thisius Rajeeth
- Mandow, Anthony
- García-Cerezo, Alfonso José
The integration of robotics and mobile networks (5G/6G) through the Internet of Robotic Things (IoRT) is revolutionizing telemedicine, enabling remote physician participation in scenarios where specialists are scarce, where there is a high risk to them, such as in conflicts or natural disasters, or where access to a medical facility is not possible. Nevertheless, touching a human safely with a robotic arm in non-engineered or even out-of-hospital environments presents substantial challenges. This article presents a novel IoRT approach for healthcare in or from remote areas, enabling interaction between a specialist’s hand and a robotic hand. We introduce the IoRT-in-hand: a smart, lightweight end-effector that extends the specialist’s hand, integrating a medical instrument, an RGB camera with servos, a force/torque sensor, and a mini-PC with Internet connectivity. Additionally, we propose an open-source Android app combining MQTT and ROS for real-time remote manipulation, alongside an Edge–Cloud architecture that links the physical robot with its Digital Twin (DT), enabling precise control and 3D visual feedback of the robot’s environment. A proof of concept is presented for the proposed tele-robotic system, using a 6-DOF manipulator with the IoRT-in-hand to perform an ultrasound scan. Teleoperation was conducted over 2300 km via a 5G NSA network on the operator side and a wired network in a laboratory on the robot side. Performance was assessed through human subject feedback, sensory data, and latency measurements, demonstrating the system’s potential for remote healthcare and emergency applications. The source code and CAD models of the IoRT-in-hand prototype are publicly available in an open-access repository to encourage reproducibility and facilitate further developments in robotic telemedicine.
Artículo científico (JournalArticle). 2023
Exploración dinámica de fronteras en entornos desconocidos basada en la entropía, Dynamic entropy-based method for exploring frontiers in unknown environments
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Godoy-Calvo, Jaime
- Lin-Yang, Da-hui
- Vázquez-Martín, Ricardo
- García-Cerezo, Alfonso José
La exploración en entornos de catástrofes proporciona información valiosa de alta fidelidad al personal de los dispositivos de rescate ante situaciones de desastre, ofreciendo la posibilidad de reducir el tiempo de búsqueda y recuperación de vı́ctimas. Este trabajo presenta un método de exploración que evalúa las fronteras del entorno conocido basado en la entropı́a mediante una función de expectativa, con el objetivo de maximizar la ganancia de información. De esta forma el método propuesto emplea esta métrica para planificar la exploración en base a la expectativa de ganancia de información futura, asegurando una estrategia que minimiza el tiempo de exploración al mismo tiempo que maximiza la incorporación de nueva información al mapa. Debido al enfoque empleado para resolver el problema se consigue evitar la dependencia del método de ganancia de información con los mapas de tamaño fijo, y se propone un modelo independiente del sensor utilizado en la exploración donde se considera la distribución de obstáculos en la cercanı́a de las fronteras. Para su evaluación, se presentan resultados en diferentes entornos con simulaciones que demuestran la mayor eficiencia en la planificación de la exploración de las zonas desconocidas hasta completar el conocimiento completo del entorno a explorar. El método propuesto está públicamente disponible.
Software (Software). 2022
Software exploración de entornos
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Godoy-Calvo, Jaime
- Lin-Yang, Da-hui
- Vázquez-Martín, Ricardo
- García-Cerezo, Alfonso José
Software del trabajo EXPLORACIÓN DE ENTORNOS DESCONOCIDOS MEDIANTE VEHÍCULOS TERRESTRES BASADA EN LA ENTROPÍA
Set de datos (Dataset). 2022
Forearm-tactile-kinesthetic-dataset
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Pastor-Martín, Francisco
- Lin-Yang, Da-hui
- Gómez-de-Gabriel, Jesús Manuel
- García-Cerezo, Alfonso José
El conjunto de datos se obtuvo utilizando una mano robótica de tres dedos: uno fijo con un sensor táctil de alta resolución y dos dedos subactuados con sensores propioceptivos., Conjunto de datos formados por información kinestesica y táctil obtenido de un agarre de antebrazo con una pinza.
Set de datos (Dataset). 2024
Trajectory Data from Crazyflie Experiments in Circle and Eight-Shaped Circuits.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Lin-Yang, Da-hui
- Pastor, Francisco
- García-Cerezo, Alfonso José
Crazyflie 2.1 en un entorno controlado dentro del laboratorio Robotics and Mechatronics Lab (IMECH.UMA), Universidad de Málaga (España).
Las trayectorias fueron diseñadas mediante un planificador basado en el Principio del Máximo de Pontryagin y un modelo de punto masa (PMM), que genera soluciones de mínimo tiempo en múltiples waypoints. Dichas trayectorias se aproximaron mediante polinomios de séptimo orden para ser seguidas por el dron. Posteriormente, los vuelos se llevaron a cabo y se registraron usando cámaras OptiTrack PrimeX 13, generando datos en formato CSV con marcas de tiempo, posiciones, velocidades y aceleraciones en los tres ejes., Este dataset contiene trayectorias experimentales de un dron Crazyflie 2.1 en entornos indoor, obtenidas mediante un sistema de captura de movimiento OptiTrack. Incluye trayectorias de referencia planificadas con un modelo de punto masa (PMM), aproximaciones polinómicas y registros reales de vuelo en circuitos con forma de círculo y de ocho. Los datos permiten analizar y comparar la planificación y el seguimiento de trayectorias en experimentos de vuelo autónomo.
Las trayectorias fueron diseñadas mediante un planificador basado en el Principio del Máximo de Pontryagin y un modelo de punto masa (PMM), que genera soluciones de mínimo tiempo en múltiples waypoints. Dichas trayectorias se aproximaron mediante polinomios de séptimo orden para ser seguidas por el dron. Posteriormente, los vuelos se llevaron a cabo y se registraron usando cámaras OptiTrack PrimeX 13, generando datos en formato CSV con marcas de tiempo, posiciones, velocidades y aceleraciones en los tres ejes., Este dataset contiene trayectorias experimentales de un dron Crazyflie 2.1 en entornos indoor, obtenidas mediante un sistema de captura de movimiento OptiTrack. Incluye trayectorias de referencia planificadas con un modelo de punto masa (PMM), aproximaciones polinómicas y registros reales de vuelo en circuitos con forma de círculo y de ocho. Los datos permiten analizar y comparar la planificación y el seguimiento de trayectorias en experimentos de vuelo autónomo.
Software (Software). 2025
IoRT-in-hand software.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Bravo-Arrabal, Juan
- Cheng, Zhuoqi
- Fernández-Lozano, Juan Jesús
- Gómez-Ruiz, José Antonio
- Schlette, Christian
- Savarimuthu, Thisius Rajeeth
- Mandow, Anthony
- García-Cerezo, Alfonso José
The integration of robotics and mobile networks (5G/6G) through the Internet of Robotic Things (IoRT) is revolutionizing telemedicine, enabling remote physician participation in scenarios where specialists are scarce, where there is a high risk to them, such as in conflicts or natural disasters, or where access to a medical facility is not possible. Nevertheless, touching a human safely with a robotic arm in non-engineered or even out-of-hospital environments presents substantial challenges. This article presents a novel IoRT approach for healthcare in or from remote areas, enabling interaction between a specialist’s hand and a robotic hand. We introduce the IoRT-in-hand: a smart, lightweight end-effector that extends the specialist’s hand, integrating a medical instrument, an RGB camera with servos, a force/torque sensor, and a mini-PC with Internet connectivity. Additionally, we propose an open-source Android app combining MQTT and ROS for real-time remote manipulation, alongside an Edge–Cloud architecture that links the physical robot with its Digital Twin (DT), enabling precise control and 3D visual feedback of the robot’s environment. A proof of concept is presented for the proposed tele-robotic system, using a 6-DOF manipulator with the IoRT-in-hand to perform an ultrasound scan. Teleoperation was conducted over 2300 km via a 5G NSA network on the operator side and a wired network in a laboratory on the robot side. Performance was assessed through human subject feedback, sensory data, and latency measurements, demonstrating the system’s potential for remote healthcare and emergency applications.
Contribución de congreso (ConferenceOutput). 2024
UR2A: comunicación bidireccional Android-ROS 2 para arquitecturas edge-cloud en sistemas robóticos conectados.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Córdoba Ramos, Manuel
- Bravo-Arrabal, Juan
- Fernández-Lozano, Juan Jesús
- Mandow, Anthony
- García-Cerezo, Alfonso José
Con el Internet de las Cosas Robóticas (IoRT) se hace referencia a cualquier parte de la carga útil de un robot que esté conectada a Internet. En el contexto de la robótica de campo, es cada vez más habitual utilizar smartphones como elementos IoRT, aprovechando sus ventajas: ligereza y reducido tamaño, calidad de imagen, alta capacidad de procesamiento, diversidad de sensores y excelente conectividad (5G/6G).
Un smartphone moderno puede embarcarse en cualquier tipo de robot para obtener más información sobre su estado y su entorno, ya que dispone de sensores internos y puede conectarse a otros externos. Se ha desarrollado una aplicación o app open-source para Android, denominada UMA-ROS2-Android (UR2A), capaz de alojar nodos de ROS 2 con el fin de transmitir la información sensorial del smartphone, como su posición y orientación en el espacio, o su porcentaje de batería disponible.
Además, se ha habilitado la transmisión de imágenes a distintas resoluciones, así como la capacidad de que el dispositivo reciba comandos remotamente, integrándose así en una arquitectura edge-cloud.
La app UR2A ha sido validada en un caso de posicionamiento, remoto y en tiempo real, de vehículos aéreos no tripulados (UAV). La app está disponible en un repositorio público:
https://github.com/Robotics-Mechatronics-UMA/UMA-ROS2-Android/
Un smartphone moderno puede embarcarse en cualquier tipo de robot para obtener más información sobre su estado y su entorno, ya que dispone de sensores internos y puede conectarse a otros externos. Se ha desarrollado una aplicación o app open-source para Android, denominada UMA-ROS2-Android (UR2A), capaz de alojar nodos de ROS 2 con el fin de transmitir la información sensorial del smartphone, como su posición y orientación en el espacio, o su porcentaje de batería disponible.
Además, se ha habilitado la transmisión de imágenes a distintas resoluciones, así como la capacidad de que el dispositivo reciba comandos remotamente, integrándose así en una arquitectura edge-cloud.
La app UR2A ha sido validada en un caso de posicionamiento, remoto y en tiempo real, de vehículos aéreos no tripulados (UAV). La app está disponible en un repositorio público:
https://github.com/Robotics-Mechatronics-UMA/UMA-ROS2-Android/
Contribución de congreso (ConferenceOutput). 2024
Diseño de robot móvil con tracción independiente para rescate, Design of mobile robot with independent traction for rescue tasks
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Padial-Allué, David
- Serón-Barba, Javier
- Vázquez-Martín, Ricardo
- García-Cerezo, Alfonso José
Este artículo describe el desarrollo de un vehículo autónomo diseñado para tareas de rescate en terrenos no estructurados, enfocado en maximizar las ventajas de los sistemas de locomoción Ackerman y deslizamiento utilizando un sistema de tracción independiente. El vehículo está concebido para ascender pendientes pronunciadas mientras soporta cargas pesadas.
Se ha realizado un diseño 3D del vehículo y un estudio de sus dimensiones y ángulos críticos para las labores de rescate.
Asimismo, también se han estudiado las necesidades de par para mover el vehículo por estas pendientes y se ha realizado una selección cuidadosa de componentes para cumplir con los requisitos de robustez y funcionalidad del vehículo. Aunque aún no se han realizado pruebas físicas, el diseño preliminar establece una base sólida para futuras etapas de desarrollo. Los próximos pasos incluyen completar el ensamblaje del vehículo, realizar el modelado matemático de su funcionamiento y, finalmente, llevar a cabo pruebas en campo para validar y optimizar su rendimiento.
Se ha realizado un diseño 3D del vehículo y un estudio de sus dimensiones y ángulos críticos para las labores de rescate.
Asimismo, también se han estudiado las necesidades de par para mover el vehículo por estas pendientes y se ha realizado una selección cuidadosa de componentes para cumplir con los requisitos de robustez y funcionalidad del vehículo. Aunque aún no se han realizado pruebas físicas, el diseño preliminar establece una base sólida para futuras etapas de desarrollo. Los próximos pasos incluyen completar el ensamblaje del vehículo, realizar el modelado matemático de su funcionamiento y, finalmente, llevar a cabo pruebas en campo para validar y optimizar su rendimiento.
Set de datos (Dataset). 2023
Dataset: DEM-AIA Inclination-aware path planning data and MATLAB tools for off-road UGVs.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Toscano-Moreno, Manuel
- Mandow, Anthony
- Martínez-Sánchez, María Alcázar
- García-Cerezo, Alfonso José
This package provides the DEM-AIA (Digital Elevation Map – Any-Angle Inclination-Aware) trajectory planner for unmanned ground vehicles (UGVs). The planner computes feasible and efficient trajectories over digital elevation models (DEMs), explicitly considering: - Terrain slopes (pitch and roll). - Vehicle dynamic and geometric constraints (speed, center of gravity, length, width, slope tolerance). - Any-angle variant of the A* algorithm for more realistic and shorter paths. - Optional heuristic search and node re-expansion. The distribution includes both synthetic and real DEMs, MATLAB source code, precompiled MEX binaries, and a test script., Metadata:
- Application domain: Off-road robotics, terrain-aware trajectory planning.
- Data type: Digital Elevation Models (DEMs).
- Format: MATLAB .mat.
- Spatial resolution: depends on the selected DEM.
- Units: meters (altitude and coordinates).
- Restrictions: Distributed MEX files only run on MATLAB R2021b (Windows x64).
Recompilation is required for other versions or platforms., Planning safe and effective trajectories for off-road unmanned ground vehicles (UGV) is a critical Artificial Intelligence (AI) challenge that can benefit from recent advances in digital elevation models (DEM) for readily capturing accurate terrain geometry. Considering path slopes is crucial to preserve stability and assess terrain traversability at feasible speeds to optimize travel time, which is highly dependent on direction (i.e., pitch and roll). In this article, we propose a new DEM-based asymmetric inclination-aware (DEM-AIA) trajectory planner for ground vehicles. The planner is an any-angle variant of the A algorithm that computes pitch and roll estimations for each segment crossing cell triangles in the line-of-sight. Furthermore, we define a non-linear velocity constraints function that integrates information about tip-over safety limitations, maximum uphill and downhill slopes for the vehicle, and asymmetric modulation of nominal flat-ground velocity for all pitch and roll combinations. The planner produces a time sub-optimal trajectory with feasible speed references for each segment crossing a cell triangle. Moreover, we provide an extensive experimental analysis of inclination-aware performance on simulated and real-world DEMs as well as a comparison with state-of-the-art path planners adapted to travel-time optimization. An executable version of the planner with parameterizable variations is publicly available.
- Application domain: Off-road robotics, terrain-aware trajectory planning.
- Data type: Digital Elevation Models (DEMs).
- Format: MATLAB .mat.
- Spatial resolution: depends on the selected DEM.
- Units: meters (altitude and coordinates).
- Restrictions: Distributed MEX files only run on MATLAB R2021b (Windows x64).
Recompilation is required for other versions or platforms., Planning safe and effective trajectories for off-road unmanned ground vehicles (UGV) is a critical Artificial Intelligence (AI) challenge that can benefit from recent advances in digital elevation models (DEM) for readily capturing accurate terrain geometry. Considering path slopes is crucial to preserve stability and assess terrain traversability at feasible speeds to optimize travel time, which is highly dependent on direction (i.e., pitch and roll). In this article, we propose a new DEM-based asymmetric inclination-aware (DEM-AIA) trajectory planner for ground vehicles. The planner is an any-angle variant of the A algorithm that computes pitch and roll estimations for each segment crossing cell triangles in the line-of-sight. Furthermore, we define a non-linear velocity constraints function that integrates information about tip-over safety limitations, maximum uphill and downhill slopes for the vehicle, and asymmetric modulation of nominal flat-ground velocity for all pitch and roll combinations. The planner produces a time sub-optimal trajectory with feasible speed references for each segment crossing a cell triangle. Moreover, we provide an extensive experimental analysis of inclination-aware performance on simulated and real-world DEMs as well as a comparison with state-of-the-art path planners adapted to travel-time optimization. An executable version of the planner with parameterizable variations is publicly available.
Contribución de congreso (ConferenceOutput). 2023
Diseñar lo inesperado: experiencias en la realización de experimentos de campo realistas en robótica para emergencias, Designing the unexpected: experiences in conducting realistic field experiments in emergency robotics
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Fernández-Lozano, Juan Jesús
- Mandow, Anthony
- Miranda-Páez, Jesús
- Trillo-Legaz, Javier
- Ravina Vergara, Juan Manuel
- García-Cerezo, Alfonso José
La experimentación en robótica de campo es necesaria para mejorar y validar los desarrollos, pero se encuentra con diversos retos, como la imprevisibilidad de los entornos, la falta de control sobre las condiciones de prueba y la dificultad para recopilar datos precisos. En el caso particular de la robótica aplicada a las emergencias, deben abordarse además desafíos adicionales, como la necesidad de trabajar en entornos peligrosos, la coordinación con rescatistas humanos y la adaptación a las condiciones específicas de cada emergencia.
Este artículo presenta la experiencia del Grupo de Investigación en Robótica y Mecatrónica y de la Universidad de Málaga en el diseño y desarrollo de experimentos realistas en robótica para emergencias. Junto con los medios disponibles, se describe la metodología de organización de ejercicios y se resumen varios experimentos característicos.
Este artículo presenta la experiencia del Grupo de Investigación en Robótica y Mecatrónica y de la Universidad de Málaga en el diseño y desarrollo de experimentos realistas en robótica para emergencias. Junto con los medios disponibles, se describe la metodología de organización de ejercicios y se resumen varios experimentos característicos.
Artículo científico (JournalArticle). 2025
Real-Time FTM-based Victim Positioning System Using Heterogeneous Robots in Remote and Outdoor Scenarios.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Bravo-Arrabal, Juan
- Álvarez-Merino, Carlos Simón
- Toscano-Moreno, Manuel
- Serón-Barba, Javier
- Fernández-Lozano, Juan Jesús
- Gómez-Ruiz, José Antonio
- Khatib, Emil Jatib
- Barco-Moreno, Raquel
- García-Cerezo, Alfonso José
Accurate victim localization in Remote, Outdoor, Unstructured, and Disaster (ROUD) scenarios remains a significant challenge due to limited infrastructure, complex terrains, and time constraints inherent in Search and Rescue (SAR) operations. This article introduces an innovative real-time positioning system that leverages Fine Time Measurement (FTM), a feature of the IEEE 802.11mc amendment, to detect WiFi-enabled devices typically carried by potential victims. The system integrates a Hybrid Wireless Sensor Network (H-WSN) composed of static and mobile anchors mounted on Uncrewed Ground and Aerial Vehicles (UGVs and UAVs), within a Robot Operating System (ROS)-based architecture. A centralized Feedback Information System (FIS) processes real-time RTT data from the field, executes a multilateration algorithm, and provides live geolocation updates to SAR coordinators. The system was validated during a large-scale SAR drill, successfully locating two types of victims—a semi-hidden surface victim and a buried victim—within a 2000m2 area in under 7 minutes, without any filtering or post-processing. The maximum positioning error was 22.87m for the buried victim and 17.14m for the surface one. The complete system, including source code, dataset, and a containerized environment, is openly available to support reproducibility and further research, highlighting the potential of robotic and wireless technologies to enhance disaster response through accurate, real-time localization in complex environments.
Software (Software). 2025
Software for Real-Time FTM-based Victim Positioning Using Heterogeneous Robots in Remote and Outdoor Scenarios.
RIUMA. Repositorio Institucional de la Universidad de Málaga
- Bravo-Arrabal, Juan
- Álvarez-Merino, Carlos Simón
- Toscano-Moreno, Manuel
- Serón-Barba, Javier
- Fernández-Lozano, Juan Jesús
- Gómez-Ruiz, José Antonio
- Khatib, Emil Jatib
- Barco-Moreno, Raquel
Accurate victim localization in Remote, Outdoor, Unstructured, and Disaster (ROUD) scenarios remains a significant challenge due to limited infrastructure, complex terrains, and time constraints inherent in Search and Rescue (SAR) operations. This article introduces an innovative real-time positioning system that leverages Fine Time Measurement (FTM), a feature of the IEEE 802.11mc amendment, to detect WiFi-enabled devices typically carried by potential victims. The system integrates a Hybrid Wireless Sensor Network (H-WSN) composed of static and mobile anchors mounted on Uncrewed Ground and Aerial Vehicles (UGVs and UAVs), within a Robot Operating System (ROS)-based architecture. A centralized Feedback Information System (FIS) processes real-time RTT data from the field, executes a multilateration algorithm, and provides live geolocation updates to SAR coordinators.