Skip to main content

Resultados relacionados

Resultados totales (Incluyendo duplicados): 7
Encontrada(s) 1 página(s)

DIGITAL.CSIC. Repositorio Institucional del CSIC
Publication Tesis doctoral (DoctoralThesis)

Mapping, planing and exploration with Pose SLAM

  • Valencia, Rafael
Tesis presentada por Rafael Valencia Carreño a través del programa de doctorado "Automatic Control, Robotics and Computer Vision" y realizada en el Institut de Robòtica i Informàtica Industrial, CSIC-UPC., This thesis reports research on mapping, path planning, and autonomous exploration. These are classical problems in robotics, typically studied independently, and here we link such problems by framing them within a common SLAM approach, adopting Pose SLAM as the basic state estimation machinery. The main contribution of this thesis is an approach that allows a mobile robot to plan a path using the map it builds with Pose SLAM and to select the appropriate actions to autonomously construct this map. Pose SLAM is the variant of SLAM where only the robot trajectory is estimated and where landmarks are only used to produce relative constraints between robot poses. In Pose SLAM, observations come in the form of relative-motion measurements between robot poses. With regards to extending the original Pose SLAM formulation, this thesis studies the computation of such measurements when they are obtained with stereo cameras and develops the appropriate noise propagation models for such case. Furthermore, the initial formulation of Pose SLAM assumes poses in SE(2) and in this thesis we extend this formulation to SE(3), parameterizing rotations either with Euler angles and quaternions. We also introduce a loop closure test that exploits the information from the filter using an independent measure of information content between poses. In the application domain, we present a technique to process the 3D volumetric maps obtained with this SLAM methodology, but with laser range scanning as the sensor modality, to derive traversability maps that were useful for the navigation of a heterogeneous fleet of mobile robots in the context of the EU project URUS., Aside from these extensions to Pose SLAM, the core contribution of the thesis is an approach for path planning that exploits the modeled uncertainties in Pose SLAM to search for the path in the pose graph with the lowest accumulated robot pose uncertainty, i.e., the path that allows the robot to navigate to a given goal with the least probability of becoming lost. An added advantage of the proposed path planning approach is that since Pose SLAM is agnostic with respect to the sensor modalities used, it can be used in different environments and with different robots, and since the original pose graph may come from a previous mapping session, the paths stored in the map already satisfy constraints not easy modeled in the robot controller, such as the existence of restricted regions, or the right of way along paths. The proposed path planning methodology has been extensively tested both in simulation and with a real outdoor robot. Our path planning approach is adequate for scenarios where a robot is initially guided during map construction, but autonomous during execution. For other scenarios in which more autonomy is required, the robot should be able to explore the environment without any supervision. The second core contribution of this thesis is an autonomous exploration method that complements the aforementioned path planning strategy. The method selects the appropriate actions to drive the robot so as to maximize coverage and at the same time minimize localization and map uncertainties. An occupancy grid is maintained for the sole purpose of guaranteeing coverage. A significant advantage of the method is that since the grid is only computed to hypothesize entropy reduction of candidate map posteriors, it can be computed at a very coarse resolution since it is not used to maintain neither the robot localization estimate, nor the structure of the environment. Our technique evaluates two types of actions: exploratory actions and place revisiting actions. Action decisions are made based on entropy reduction estimates. By maintaining a Pose SLAM estimate at run time, the technique allows to replan trajectories online should significant change in the Pose SLAM estimate be detected. The proposed exploration strategy was tested in a common publicly available dataset comparing favorably against frontier based exploration., I would like to acknowledge all sources of financial support that in one way or another contributed for the development of this thesis. These include, a PhD scholarship from the Mexican Council of Science and Technology (CONACYT), a Research Stay Grant from the Agència de Gestió d’Ajuts Universitaris i de Recerca of The Generalitat of Catalonia (2010 BE1 00967), the Consolidated Research Group VIS (SGR2009-2013), a Technology Transfer Contract with the Asociación de la Industria Navarra, the National Research Projects PAU and PAU+ (DPI2008-06022 and DPI2011-2751) funded by the Spanish Ministry of Economy and Competitiveness, and the European Integrated Project ARCAS (FP7-ICT-287617)., Peer Reviewed
DIGITAL.CSIC. Repositorio Institucional del CSIC
Publication Tesis doctoral (DoctoralThesis)

Enhancing low-level features with mid-level cues

  • Trulls, Eduard
Universitat Politècnica de Catalunya. Programa de Doctorat: Automàtica, Robòtica I Visió., [EN]: Local features have become an essential tool in visual recognition. Much of the progress in computer vision over the past decade has built on simple, local representations such as SIFT or HOG. SIFT in particular shifted the paradigm in feature representation. Subsequent works have often focused on improving either computational efficiency, or invariance properties. This thesis belongs to the latter group. Invariance is a particularly relevant aspect if we intend to work with dense features. The traditional approach to sparse matching is to rely on stable interest points, such as corners, where scale and orientation can be reliably estimated, enforcing invariance; dense features need to be computed on arbitrary points. Dense features have been shown to outperform sparse matching techniques in many recognition problems, and form the bulk of our work. In this thesis we present strategies to enhance low-level, local features with mid-level, global cues. We devise techniques to construct better features, and use them to handle complex ambiguities, occlusions and background changes. To deal with ambiguities, we explore the use of motion to enforce temporal consistency with optical flow priors. We also introduce a novel technique to exploit segmentation cues, and use it to extract features invariant to background variability. For this, we downplay image measurements most likely to belong to a region different from that where the descriptor is computed. In both cases we follow the same strategy: we incorporate mid-level, >big picture> information into the construction of local features, and proceed to use them in the same manner as we would the baseline features. We apply these techniques to different feature representations, including SIFT and HOG, and use them to address canonical vision problems such as stereo and object detection, demonstrating that the introduction of global cues yields consistent improvements. We prioritize solutions that are simple, general, and efficient. Our main contributions are as follows: (a) An approach to dense stereo reconstruction with spatiotemporal features, which unlike existing works remains applicable to wide baselines. (b) A technique to exploit segmentation cues to construct dense descriptors invariant to background variability, such as occlusions or background motion. (c) A technique to integrate bottom-up segmentation with recognition efficiently, amenable to sliding window detectors., [CA]: Les "features" locals s'han convertit en una eina fonamental en el camp del reconeixement visual. Gran part del progrés experimentat en el camp de la visió per computador al llarg de l'última decada es basa en representacions locals de baixa complexitat, com SIFT o HOG. SIFT, en concret, ha canviat el paradigma en representació de característiques visuals. Els treballs que l'han succeït s'acostumen a centrar o bé a millorar la seva eficiencia computacional, o bé propietats d'invariança. El treball presentat en aquesta tesi pertany al segon grup. L'invariança es un aspecte especialment rellevant quan volem treballab amb "features" denses, és a dir per a cada pixel. La manera tradicional d'atacar el problema amb "features" de baixa densitat consisteix en seleccionar punts d'interés estables, com per exemple cantonades, on l'escala i l'orientació poden ser estimades de manera robusta. Les "features" denses, per definició, han de ser calculades en punts arbitraris de la imatge. S'ha demostrat que les "features" denses obtenen millors resultats en tècniques de correspondència per a molts problemes en reconeixement, i formen la major part del nostre treball. En aquesta tesi presentem estratègies per a enriquir "features" locals de baix nivell amb "cues" o dades globals, de mitja complexitat. Dissenyem tècniques per a construïr millors "features", que usem per a atacar problemes tals com correspondències amb un grau elevat d'ambigüetat, oclusions, i canvis del fons de la imatge. Per a atacar ambigüetats, explorem l'ús del moviment per a imposar consistència espai-temporal mitjançant informació d'"optical flow". També presentem una tècnica per explotar dades de segmentació que fem servir per a extreure "features" invariants a canvis en el fons de la imatge. Aquest mètode consisteix en atenuar els components de la imatge (i per tant les "features") que probablement corresponguin a regions diferents a la del descriptor que estem calculant. En ambdós casos seguim la mateixa estratègia: la nostra voluntat és incorporar dades globals d'un nivell de complexitat mitja a la construcció de "features" locals, que procedim a utilitzar de la mateixa manera que les "features" originals. Aquestes tècniques són aplicades a diferents tipus de representacions, incloent SIFT i HOG, i mostrem com utilitzar-les per a atacar problemes fonamentals en visió per computador tals com l'estèreo i la detecció d'objectes. En aquest treball demostrem que introduïnt informació global en la construcció de "features" locals podem obtenir millores consistentment. Donem prioritat a solucions senzilles, generals i eficients. Aquestes són les principals contribucions de la tesi: (a) Una tècnica per a reconstrucció estèreo densa mitjançant "features" espai-temporals, amb l'avantatge respecte a treballs existents que podem aplicar-la a càmeres en qualsevol configuració geomètrica ("wide-baseline"). (b) Una tècnica per a explotar dades de segmentació dins la construcció de descriptors densos, fent-los invariants a canvis al fons de la imatge, i per tant a problemes com les oclusions en estèreo o objectes en moviment. (c) Una tècnica per a integrar segmentació de manera ascendent ("bottom-up") en problemes de reconeixement d'una manera eficient, dissenyada per a detectors de tipus "sliding window"., This work has been partly sponsored by the following: • A four-year PhD scholarship by Universitat Politècnica de Catalunya. • A three-month scholarship to visit the Center for Visual Computing in Paris in 2012, by the Ministerio de Educación y Ciencia of the Spanish Government (MHE2011). • A three-month scholarship to visit the Center for Visual Computing in Paris in 2013, by the Generalitat de Catalunya (BE-DGR 2012). • Projects Rob-TaskCoop (DPI2010-17112), PAU+ (DPI2011-27510), MIPRCV (Consolider-Ingenio 2010, CSD2007-00018), ARCAS (FP7-ICT-2011-287617), the ERA-net CHISTERA project VISEN (PCIN-2013-047), grant ANR-10-JCJC- 0205, MOBOT (FP7-ICT-2011-600796)., Peer Reviewed
DIGITAL.CSIC. Repositorio Institucional del CSIC
Publication Tesis doctoral (DoctoralThesis)

Social robot navigation in urban dynamic environments

  • Ferrer, Gonzalo
A thesis submitted to the Universitat Politècnica de Catalunya for the degree of Doctor of Philosophy, Doctoral Programme: Automatic Control, Robotics and Computer Vision This thesis has been completed at: Institut de Robòtica i Informàtica Industrial, CSIC-UPC., [EN]: Deploying mobile robots in social environments requires novel navigation algorithms which are capable of providing valid solutions in such challenging scenarios. The main objective of the present dissertation is to develop new robot navigation approaches able to solve in an intelligent way the navigation problem in urban settings while considering at the same time the interactions with pedestrians, similar to what people easily do with little attention. Before studying in depth navigation algorithms, this thesis focuses on prediction algorithms to provide a more detailed model of the scene. Understanding human motion in outdoor and indoor scenarios is an appealing requirement to characterize correctly urban settings. Urban environments consist essentially of static obstacles and people, which are treated as dynamic and highly uncertain obstacles. Accordingly, it is mandatory to calculate people's intentions in order to successfully build a human prediction model that generates the corresponding human trajectories and considers their interactions with the environment, such as other pedestrians, static obstacles or even robots. It is of great interest that service robots can navigate successfully in typical urban environments, which are dynamic and constrained. In addition, people's behavior should not be conditioned by the presence and the maneuvering of robots. To this end, the robot navigation should seek to minimize its impact on the environment, in our case, on people. This thesis proposes new robot navigation methods that contemplate the social interactions taking place in the scene. In order to procure more intelligence to the navigation algorithm, we propose to integrate seamlessly the human motion prediction information into a new robot planning approach. Real experimentation is essential for the validation of the navigation algorithms. As there are real people involved, we must validate the results in real settings since simulation environments have limitations. In this thesis, we have implemented all the prediction and navigation algorithms in our robotic platform and we have provided plenty of evaluations and testings of our algorithms in real settings., [ES]: Ubicar robots móviles en entornos sociales requiere novedosos algoritmos de navegación que sean capaces de aportar soluciones válidas en éstos exigentes escenarios. El prinicipal objetivo de la presente disertación es el de desarrollar nuevas soluciones para la navegación de robots que sean capaces de resolver, de una manera más inteligente, los problemas de navegación en emplazamientos urbanos, a la vez que se consideran las interacciones con los transeúntes de manera similar a lo que la gente hace fácilmente prestando poca atención. Antes de estudiar en profundidad los algoritmos de navegación, esta tesis se centra en los algoritmos de predicción para proporcionar un modelo más detallado de la escena. Entender el movimiento humando en entornos exteriores e interiores es un requerimiento deseable para caracterizar correctamente emplazamientos urbanos. Los entornos urbanos están consistituídos por muchos objetos dinámicos y altamente impredecibles, la gente. Por lo tanto, es obligatorio calcular las intenciones de la gente para constriur de manera exitosa un modelo de predicción humano que genere las correspondientes trayectorias humanas y considere sus interacciones con el entorno, como otros peatones, obstáculos estáticos o incluso robots. Es de gran interés que los robots de servicios puedan navegar correctamente en entornos típicamente urbanos, que son dinámicos y acotados, además de que el comportamiento de las personas no debería estar condicionado por la presencia y las maniobras de los robots. Con este fin, la navegación de robots debe buscar minimizar su impacto al entorno, en nuestro caso, a la gente. Esta tesis propone nuevos métodos para la navegación de robots que contemplen las interacciones sociales que suceden en la escena. Para proporcionar una navegación más inteligente, proponemos integrar de manera suave el algoritmo de predicción del movimiento humano con un nuevo enfoque de planificación de trayectorias. La experimentación real es esencial para la validación de los algoritmos de navegación. Ya que hay personas reales implicadas, debemos validar los resultados en emplazamientos reales porque el entorno de simulación tiene limitaciones. En esta tesis hemos implementado todos los algoritmos de predicción y de navegación en la plataforma robótica y hemos proporcionado multitud de evaluaciones y pruebas de nuestros algoritmos en entornos reales., This work has been supported by the research projects: - CSD2007-018 MIPRCV-Consolider: Multimodal, Patter Recognition, and Computer Vision. - DPI2010-17112 RobTaskCoop: Cooperación robots humanos en áreas urbanas - FP7-ICT-2011-7-287617 ARCAS: Aerial Robotics Cooperative Assembly System. - DPI2013-42458-P ROBOT-INT-COOP: Interacción, aprendizaje y cooperación robot-humano en áreas urbanas., Peer Reviewed
DIGITAL.CSIC. Repositorio Institucional del CSIC
Publication Tesis doctoral (DoctoralThesis)

Visual guidance of unmanned aerial manipulators

  • Santamaria-Navarro, Àngel
A thesis submitted to the Universitat Politècnica de Catalunya for the degree of Doctor of Philosophy. Doctoral Programme: Automatic Control, Robotics and Computer Vision. This thesis has been completed at: Institut de Robòtica i Informàtica Industrial, CSIC-UPC., [EN]: The ability to fly has greatly expanded the possibilities for robots to perform surveillance, inspection or map generation tasks. Yet it was only in recent years that research in aerial robotics was mature enough to allow active interactions with the environment. The robots responsible for these interactions are called aerial manipulators and usually combine a multirotor platform and one or more robotic arms. The main objective of this thesis is to formalize the concept of aerial manipulator and present guidance methods, using visual information, to provide them with autonomous functionalities. A key competence to control an aerial manipulator is the ability to localize it in the environment. Traditionally, this localization has required external infrastructure of sensors (e.g., GPS or IR cameras), restricting the real applications. Furthermore, localization methods with on-board sensors, exported from other robotics fields such as simultaneous localization and mapping (SLAM), require large computational units becoming a handicap in vehicles where size, load, and power consumption are important restrictions. In this regard, this thesis proposes a method to estimate the state of the vehicle (i.e., position, orientation, velocity and acceleration) by means of on-board, low-cost, light-weight and high-rate sensors. With the physical complexity of these robots, it is required to use advanced control techniques during navigation. Thanks to their redundancy on degrees-of-freedom, they offer the possibility to accomplish not only with mobility requirements but with other tasks simultaneously and hierarchically, prioritizing them depending on their impact to the overall mission success. In this work we present such control laws and define a number of these tasks to drive the vehicle using visual information, guarantee the robot integrity during flight, and improve the platform stability or increase arm operability. The main contributions of this research work are threefold: (1) Present a localization technique to allow autonomous navigation, this method is specifically designed for aerial platforms with size, load and computational burden restrictions. (2) Obtain control commands to drive the vehicle using visual information (visual servo). (3) Integrate the visual servo commands into a hierarchical control law by exploiting the redundancy of the robot to accomplish secondary tasks during flight. These tasks are specific for aerial manipulators and they are also provided. All the techniques presented in this document have been validated throughout extensive experimentation with real robotic platforms., [CA]: La capacitat de volar ha incrementat molt les possibilitats dels robots per a realitzar tasques de vigilància, inspecció o generació de mapes. Tot i això, no és fins fa pocs anys que la recerca en robòtica aèria ha estat prou madura com per començar a permetre interaccions amb l’entorn d’una manera activa. Els robots per a fer-ho s’anomenen manipuladors aeris i habitualment combinen una plataforma multirotor i un braç robòtic. L’objectiu d’aquesta tesi és formalitzar el concepte de manipulador aeri i presentar mètodes de guiatge, utilitzant informació visual, per dotar d’autonomia aquest tipus de vehicles. Una competència clau per controlar un manipulador aeri és la capacitat de localitzar-se en l’entorn. Tradicionalment aquesta localització ha requerit d’infraestructura sensorial externa (GPS, càmeres IR, etc.), limitant així les aplicacions reals. Pel contrari, sistemes de localització exportats d’altres camps de la robòtica basats en sensors a bord, com per exemple mètodes de localització i mapejat simultànis (SLAM), requereixen de gran capacitat de còmput, característica que penalitza molt en vehicles on la mida, pes i consum elèctric son grans restriccions. En aquest sentit, aquesta tesi proposa un mètode d’estimació d’estat del robot (posició, velocitat, orientació i acceleració) a partir de sensors instal·lats a bord, de baix cost, baix consum computacional i que proporcionen mesures a alta freqüència. Degut a la complexitat física d’aquests robots, és necessari l’ús de tècniques de control avançades. Gràcies a la seva redundància de graus de llibertat, aquests robots ens ofereixen la possibilitat de complir amb els requeriments de mobilitat i, simultàniament, realitzar tasques de manera jeràrquica, ordenant-les segons l’impacte en l’acompliment de la missió. En aquest treball es presenten aquestes lleis de control, juntament amb la descripció de tasques per tal de guiar visualment el vehicle, garantir la integritat del robot durant el vol, millorar de l’estabilitat del vehicle o augmentar la manipulabilitat del braç. Aquesta tesi es centra en tres aspectes fonamentals: (1) Presentar una tècnica de localització per dotar d’autonomia el robot. Aquest mètode està especialment dissenyat per a plataformes amb restriccions de capacitat computacional, mida i pes. (2) Obtenir les comandes de control necessàries per guiar el vehicle a partir d’informació visual. (3) Integrar aquestes accions dins una estructura de control jeràrquica utilitzant la redundància del robot per complir altres tasques durant el vol. Aquestes tasques son específiques per a manipuladors aeris i també es defineixen en aquest document. Totes les tècniques presentades en aquesta tesi han estat avaluades de manera experimental amb plataformes robòtiques reals., This work has been partially supported by an FPI-UPC grant (87-915) of the Universitat Politècnica de Catalunya under the EU project ARCAS (FP7-ICT-287617), and also funded from the EU project AEROARMS (H2020-ICT-2014-1-644271), Peer Reviewed
UPCommons. Portal del coneixement obert de la UPC
Publication Tesis doctoral (DoctoralThesis)

Visual guidance of unmanned aerial manipulators

  • Santamaria Navarro, Àngel|||0000-0002-6328-1423
Finalista del Georges Giralt PhD Award 2018, a la millor tesi europea sobre robòtica, The ability to fly has greatly expanded the possibilities for robots to perform surveillance, inspection or map generation tasks. Yet it was only in recent years that research in aerial robotics was mature enough to allow active interactions with the environment. The robots responsible for these interactions are called aerial manipulators and usually combine a multirotor platform and one or more robotic arms. The main objective of this thesis is to formalize the concept of aerial manipulator and present guidance methods, using visual information, to provide them with autonomous functionalities. A key competence to control an aerial manipulator is the ability to localize it in the environment. Traditionally, this localization has required external infrastructure of sensors (e.g., GPS or IR cameras), restricting the real applications. Furthermore, localization methods with on-board sensors, exported from other robotics fields such as simultaneous localization and mapping (SLAM), require large computational units becoming a handicap in vehicles where size, load, and power consumption are important restrictions. In this regard, this thesis proposes a method to estimate the state of the vehicle (i.e., position, orientation, velocity and acceleration) by means of on-board, low-cost, light-weight and high-rate sensors. With the physical complexity of these robots, it is required to use advanced control techniques during navigation. Thanks to their redundancy on degrees-of-freedom, they offer the possibility to accomplish not only with mobility requirements but with other tasks simultaneously and hierarchically, prioritizing them depending on their impact to the overall mission success. In this work we present such control laws and define a number of these tasks to drive the vehicle using visual information, guarantee the robot integrity during flight, and improve the platform stability or increase arm operability. The main contributions of this research work are threefold: (1) Present a localization technique to allow autonomous navigation, this method is specifically designed for aerial platforms with size, load and computational burden restrictions. (2) Obtain control commands to drive the vehicle using visual information (visual servo). (3) Integrate the visual servo commands into a hierarchical control law by exploiting the redundancy of the robot to accomplish secondary tasks during flight. These tasks are specific for aerial manipulators and they are also provided. All the techniques presented in this document have been validated throughout extensive experimentation with real robotic platforms., La capacitat de volar ha incrementat molt les possibilitats dels robots per a realitzar tasques de vigilància, inspecció o generació de mapes. Tot i això, no és fins fa pocs anys que la recerca en robòtica aèria ha estat prou madura com per començar a permetre interaccions amb l’entorn d’una manera activa. Els robots per a fer-ho s’anomenen manipuladors aeris i habitualment combinen una plataforma multirotor i un braç robòtic. L’objectiu d’aquesta tesi és formalitzar el concepte de manipulador aeri i presentar mètodes de guiatge, utilitzant informació visual, per dotar d’autonomia aquest tipus de vehicles. Una competència clau per controlar un manipulador aeri és la capacitat de localitzar-se en l’entorn. Tradicionalment aquesta localització ha requerit d’infraestructura sensorial externa (GPS, càmeres IR, etc.), limitant així les aplicacions reals. Pel contrari, sistemes de localització exportats d’altres camps de la robòtica basats en sensors a bord, com per exemple mètodes de localització i mapejat simultànis (SLAM), requereixen de gran capacitat de còmput, característica que penalitza molt en vehicles on la mida, pes i consum elèctric son grans restriccions. En aquest sentit, aquesta tesi proposa un mètode d’estimació d’estat del robot (posició, velocitat, orientació i acceleració) a partir de sensors instal·lats a bord, de baix cost, baix consum computacional i que proporcionen mesures a alta freqüència. Degut a la complexitat física d’aquests robots, és necessari l’ús de tècniques de control avançades. Gràcies a la seva redundància de graus de llibertat, aquests robots ens ofereixen la possibilitat de complir amb els requeriments de mobilitat i, simultàniament, realitzar tasques de manera jeràrquica, ordenant-les segons l’impacte en l’acompliment de la missió. En aquest treball es presenten aquestes lleis de control, juntament amb la descripció de tasques per tal de guiar visualment el vehicle, garantir la integritat del robot durant el vol, millorar de l’estabilitat del vehicle o augmentar la manipulabilitat del braç. Aquesta tesi es centra en tres aspectes fonamentals: (1) Presentar una tècnica de localització per dotar d’autonomia el robot. Aquest mètode està especialment dissenyat per a plataformes amb restriccions de capacitat computacional, mida i pes. (2) Obtenir les comandes de control necessàries per guiar el vehicle a partir d’informació visual. (3) Integrar aquestes accions dins una estructura de control jeràrquica utilitzant la redundància del robot per complir altres tasques durant el vol. Aquestes tasques son específiques per a manipuladors aeris i també es defineixen en aquest document. Totes les tècniques presentades en aquesta tesi han estat avaluades de manera experimental amb plataformes robòtiques reals, Award-winning
UPCommons. Portal del coneixement obert de la UPC
Publication Tesis doctoral (DoctoralThesis)

Enhancing low-level features with mid-level cues

  • Trulls Fortuny, Eduard
Local features have become an essential tool in visual recognition. Much of the progress in computer vision over the past decade has built on simple, local representations such as SIFT or HOG. SIFT in particular shifted the paradigm in feature representation. Subsequent works have often focused on improving either computational efficiency, or invariance properties. This thesis belongs to the latter group. Invariance is a particularly relevant aspect if we intend to work with dense features. The traditional approach to sparse matching is to rely on stable interest points, such as corners, where scale and orientation can be reliably estimated, enforcing invariance; dense features need to be computed on arbitrary points. Dense features have been shown to outperform sparse matching techniques in many recognition problems, and form the bulk of our work. In this thesis we present strategies to enhance low-level, local features with mid-level, global cues. We devise techniques to construct better features, and use them to handle complex ambiguities, occlusions and background changes. To deal with ambiguities, we explore the use of motion to enforce temporal consistency with optical flow priors. We also introduce a novel technique to exploit segmentation cues, and use it to extract features invariant to background variability. For this, we downplay image measurements most likely to belong to a region different from that where the descriptor is computed. In both cases we follow the same strategy: we incorporate mid-level, "big picture" information into the construction of local features, and proceed to use them in the same manner as we would the baseline features. We apply these techniques to different feature representations, including SIFT and HOG, and use them to address canonical vision problems such as stereo and object detection, demonstrating that the introduction of global cues yields consistent improvements. We prioritize solutions that are simple, general, and efficient. Our main contributions are as follows: (a) An approach to dense stereo reconstruction with spatiotemporal features, which unlike existing works remains applicable to wide baselines. (b) A technique to exploit segmentation cues to construct dense descriptors invariant to background variability, such as occlusions or background motion. (c) A technique to integrate bottom-up segmentation with recognition efficiently, amenable to sliding window detectors., Les "features" locals s'han convertit en una eina fonamental en el camp del reconeixement visual. Gran part del progrés experimentat en el camp de la visió per computador al llarg de l'última decada es basa en representacions locals de baixa complexitat, com SIFT o HOG. SIFT, en concret, ha canviat el paradigma en representació de característiques visuals. Els treballs que l'han succeït s'acostumen a centrar o bé a millorar la seva eficiencia computacional, o bé propietats d'invariança. El treball presentat en aquesta tesi pertany al segon grup. L'invariança es un aspecte especialment rellevant quan volem treballab amb "features" denses, és a dir per a cada pixel. La manera tradicional d'atacar el problema amb "features" de baixa densitat consisteix en seleccionar punts d'interés estables, com per exemple cantonades, on l'escala i l'orientació poden ser estimades de manera robusta. Les "features" denses, per definició, han de ser calculades en punts arbitraris de la imatge. S'ha demostrat que les "features" denses obtenen millors resultats en tècniques de correspondència per a molts problemes en reconeixement, i formen la major part del nostre treball. En aquesta tesi presentem estratègies per a enriquir "features" locals de baix nivell amb "cues" o dades globals, de mitja complexitat. Dissenyem tècniques per a construïr millors "features", que usem per a atacar problemes tals com correspondències amb un grau elevat d'ambigüetat, oclusions, i canvis del fons de la imatge. Per a atacar ambigüetats, explorem l'ús del moviment per a imposar consistència espai-temporal mitjançant informació d'"optical flow". També presentem una tècnica per explotar dades de segmentació que fem servir per a extreure "features" invariants a canvis en el fons de la imatge. Aquest mètode consisteix en atenuar els components de la imatge (i per tant les "features") que probablement corresponguin a regions diferents a la del descriptor que estem calculant. En ambdós casos seguim la mateixa estratègia: la nostra voluntat és incorporar dades globals d'un nivell de complexitat mitja a la construcció de "features" locals, que procedim a utilitzar de la mateixa manera que les "features" originals. Aquestes tècniques són aplicades a diferents tipus de representacions, incloent SIFT i HOG, i mostrem com utilitzar-les per a atacar problemes fonamentals en visió per computador tals com l'estèreo i la detecció d'objectes. En aquest treball demostrem que introduïnt informació global en la construcció de "features" locals podem obtenir millores consistentment. Donem prioritat a solucions senzilles, generals i eficients. Aquestes són les principals contribucions de la tesi: (a) Una tècnica per a reconstrucció estèreo densa mitjançant "features" espai-temporals, amb l'avantatge respecte a treballs existents que podem aplicar-la a càmeres en qualsevol configuració geomètrica ("wide-baseline"). (b) Una tècnica per a explotar dades de segmentació dins la construcció de descriptors densos, fent-los invariants a canvis al fons de la imatge, i per tant a problemes com les oclusions en estèreo o objectes en moviment. (c) Una tècnica per a integrar segmentació de manera ascendent ("bottom-up") en problemes de reconeixement d'una manera eficient, dissenyada per a detectors de tipus "sliding window".
UPCommons. Portal del coneixement obert de la UPC
Publication Tesis doctoral (DoctoralThesis)

Social robot navigation in urban dynamic environments

  • Ferrer Mínguez, Gonzalo
Finalista del Georges Giralt PhD Award 2016, Deploying mobile robots in social environments requires novel navigation algorithms which are capable of providing valid solutions in such challenging scenarios. The main objective of the present dissertation is to develop new robot navigation approaches able to solve in an intelligent way the navigation problem in urban settings while considering at the same time the interactions with pedestrians, similar to what people easily do with little attention. Before studying in depth navigation algorithms, this thesis focuses on prediction algorithms to provide a more detailed model of the scene. Understanding human motion in outdoor and indoor scenarios is an appealing requirement to characterize correctly urban settings. Urban environments consist essentially of static obstacles and people, which are treated as dynamic and highly uncertain obstacles. Accordingly, it is mandatory to calculate people's intentions in order to successfully build a human prediction model that generates the corresponding human trajectories and considers their interactions with the environment, such as other pedestrians, static obstacles or even robots. It is of great interest that service robots can navigate successfully in typical urban environments, which are dynamic and constrained. In addition, people's behavior should not be conditioned by the presence and the maneuvering of robots. To this end, the robot navigation should seek to minimize its impact on the environment, in our case, on people. This thesis proposes new robot navigation methods that contemplate the social interactions taking place in the scene. In order to procure more intelligence to the navigation algorithm, we propose to integrate seamlessly the human motion prediction information into a new robot planning approach. Real experimentation is essential for the validation of the navigation algorithms. As there are real people involved, we must validate the results in real settings since simulation environments have limitations. In this thesis, we have implemented all the prediction and navigation algorithms in our robotic platform and we have provided plenty of evaluations and testings of our algorithms in real settings., Ubicar robots móviles en entornos sociales requiere novedosos algoritmos de navegación que sean capaces de aportar soluciones válidas en éstos exigentes escenarios. El prinicipal objetivo de la presente disertación es el de desarrollar nuevas soluciones para la navegación de robots que sean capaces de resolver, de una manera más inteligente, los problemas de navegación en emplazamientos urbanos, a la vez que se consideran las interacciones con los transeúntes de manera similar a lo que la gente hace fácilmente prestando poca atención. Antes de estudiar en profundidad los algoritmos de navegación, esta tesis se centra en los algoritmos de predicción para proporcionar un modelo más detallado de la escena. Entender el movimiento humando en entornos exteriores e interiores es un requerimiento deseable para caracterizar correctamente emplazamientos urbanos. Los entornos urbanos están consistituídos por muchos objetos dinámicos y altamente impredecibles, la gente. Por lo tanto, es obligatorio calcular las intenciones de la gente para constriur de manera exitosa un modelo de predicción humano que genere las correspondientes trayectorias humanas y considere sus interacciones con el entorno, como otros peatones, obstáculos estáticos o incluso robots. Es de gran interés que los robots de servicios puedan navegar correctamente en entornos típicamente urbanos, que son dinámicos y acotados, además de que el comportamiento de las personas no debería estar condicionado por la presencia y las maniobras de los robots. Con este fin, la navegación de robots debe buscar minimizar su impacto al entorno, en nuestro caso, a la gente. Esta tesis propone nuevos métodos para la navegación de robots que contemplen las interacciones sociales que suceden en la escena. Para proporcionar una navegación más inteligente, proponemos integrar de manera suave el algoritmo de predicción del movimiento humano con un nuevo enfoque de planificación de trayectorias. La experimentación real es esencial para la validación de los algoritmos de navegación. Ya que hay personas reales implicadas, debemos validar los resultados en emplazamientos reales porque el entorno de simulación tiene limitaciones. En esta tesis hemos implementado todos los algoritmos de predicción y de navegación en la plataforma robótica y hemos proporcionado multitud de evaluaciones y pruebas de nuestros algoritmos en entornos reales., Award-winning