Sistema de ayuda a invidentes basado en cámaras de profundidad

Abstract

El presente proyecto final de grado tiene como objetivo el desarrollo de un sistema de ayuda para personas con discapacidad visual empleando técnicas de visión artificial. El algoritmo desarrollado tiene un funcionamiento en tiempo real y permite al usuario el aprendizaje de objetos y la detección de los mismos mediante un dispositivo RGB-D. Una vez detectados, su localización en el espacio será transmitida a la persona invidente por medio de una técnica de localización sonora llamada técnica binaural. El algoritmo ha sido desarrollado sobre el framework de ROS, a través del cual podemos obtener la información que nos proporciona el dispositivo RGB-D utilizado y realizar los diferentes aspectos de procesado de imagen que se han empleado, tales como: filtrado de los bordes de la imagen RGB-D, detección, reconocimiento y entrenamiento de objectos, suavizado temporal mediante el Filtro de Kalman y la obtención de las coordenadas cartesianas de los diferentes objetos. Para la realización de este trabajo se ha profundizado en el análisis de los diferentes sistemas y métodos para la detección y reconocimiento de objetos que existen en la actualidad, la mejora de estos mediante técnicas de visión artificial y, por último, el estudio y aplicación de las diferentes técnicas de localización mediante sonidos binaurales. Esto representa una oportunidad para la aplicación de dichos sistemas a la ayuda a personas invidentes.

The main objective of this BsC Thesis is to develop a system for helping visually impaired people using methods from computer vision. The proposed system works in real time and allows the user to detect previously learned objects with a RGB-D camera. Once an object is detected in the image, the system computes its 3D position from the user’s reference frame and sends this information to the user by means of an acoustic signal that is generated using a binaural localization model. The software has been developed using the ROS framework that provides access to the RGB-D device and the different image processing tasks: image edge filtering, object detection, recognition and learning, temporal smoothing with the Kalman Filter and the 3D localization of objects. To develop this work, existing methods for object detection and recognition from RGB cameras have been studied and their improvement using depth cameras. User interfaces based on acoustic signals have also been studied and tested in a group of real users. This BsC Thesis thus represents an opportunity to improve quality of life of visually impaired people by using state-of-the-art computer vision technologies.