Soluciones de navegación inteligente para plataformas robóticas entrenadas en entornos virtuales

Abstract

La navegación visual es la capacidad que tiene un agente autónomo de encontrar su camino en un entorno amplio y complejo basado únicamente en información visual. De hecho, es un problema fundamental en la visión por computador y la robótica. En este proyecto se propone un modelo basado en deep reinforcement learning que es capaz de navegar en una escena para alcanzar un objetivo visual, pero anticipando las posibles colisiones dentro del entorno. Técnicamente, se propone un modelo de tipo map-less, que sigue un método de reinforcement learning conocido como actor-critic, en donde la función de recompensa ha sido diseñada para evitar colisiones. Se expone una evaluación exhaustiva del modelo para el entorno virtual AI2-THOR, donde los resultados muestran que el modelo propuesto: 1) mejora el estado del arte en términos de número de pasos y de colisiones; 2) es capaz de converger más rápido que un modelo que no tiene en cuenta las colisiones, buscando únicamente el camino más corto; y 3) ofrece una interesante capacidad de generalización para alcanzar objetivos visuales que no han sido nunca vistos durante el entrenamiento.

Visual navigation is the ability of an autonomous agent to find its way in a large and complex environment based on visual information. It is indeed a fundamental problem in computer vision and robotics. In this project, it is proposed a deep reinforcement learning approach which is able to learn to navigate a scene to reach a given visual target, but anticipating the possible collisions with the environment. Technically, it is proposed a map-less-based model, which follows an actor-critic reinforcement learning method where the reward function has been designed to be collision aware. It is offered a thorough experimental evaluation of our solution in the AI2-THOR virtual environment, where the results show that the proposed method: 1) improves the state of the art in terms of number of steps and collisions; 2) is able to converge faster than a model which does not care about the collisions, simply searching for the shortest paths; and 3) offers an interesting generalization capability to reach visual targets that have never been seen during training.