Sistema de ayuda a invidentes basado en cámaras de profundidad
Authors
Asensio Vicente, AdriánDate
2016Keywords
Sistema para invidentes
RGB-D
ROS (Robot Operating System)
Device for blind people
Binaural technique
Kalman filter
Técnica binaural
Filtro de Kalman
Document type
info:eu-repo/semantics/bachelorThesis
Version
info:eu-repo/semantics/acceptedVersion
Rights
Atribución-NoComercial-SinDerivadas 3.0 España
Access rights
info:eu-repo/semantics/openAccess
Abstract
El presente proyecto final de grado tiene como objetivo el desarrollo de un sistema de ayuda para
personas con discapacidad visual empleando técnicas de visión artificial. El algoritmo desarrollado
tiene un funcionamiento en tiempo real y permite al usuario el aprendizaje de objetos y la detección
de los mismos mediante un dispositivo RGB-D. Una vez detectados, su localización en el espacio será
transmitida a la persona invidente por medio de una técnica de localización sonora llamada técnica
binaural.
El algoritmo ha sido desarrollado sobre el framework de ROS, a través del cual podemos obtener
la información que nos proporciona el dispositivo RGB-D utilizado y realizar los diferentes aspectos
de procesado de imagen que se han empleado, tales como: filtrado de los bordes de la imagen RGB-D,
detección, reconocimiento y entrenamiento de objectos, suavizado temporal mediante el Filtro de Kalman
y la obtención de las coordenadas cartesianas de los diferentes objetos.
Para la realización de este trabajo se ha profundizado en el análisis de los diferentes sistemas y
métodos para la detección y reconocimiento de objetos que existen en la actualidad, la mejora de estos
mediante técnicas de visión artificial y, por último, el estudio y aplicación de las diferentes técnicas de
localización mediante sonidos binaurales. Esto representa una oportunidad para la aplicación de dichos
sistemas a la ayuda a personas invidentes. The main objective of this BsC Thesis is to develop a system for helping visually impaired people using
methods from computer vision. The proposed system works in real time and allows the user to detect
previously learned objects with a RGB-D camera. Once an object is detected in the image, the system
computes its 3D position from the user’s reference frame and sends this information to the user by
means of an acoustic signal that is generated using a binaural localization model.
The software has been developed using the ROS framework that provides access to the RGB-D
device and the different image processing tasks: image edge filtering, object detection, recognition and
learning, temporal smoothing with the Kalman Filter and the 3D localization of objects.
To develop this work, existing methods for object detection and recognition from RGB cameras
have been studied and their improvement using depth cameras. User interfaces based on acoustic
signals have also been studied and tested in a group of real users. This BsC Thesis thus represents an
opportunity to improve quality of life of visually impaired people by using state-of-the-art computer
vision technologies.
Files in this item
Files | Size | Format |
|
---|---|---|---|
TFG Asensio Vicente 2016.pdf | 22.95Mb |
|
Files | Size | Format |
|
---|---|---|---|
TFG Asensio Vicente 2016.pdf | 22.95Mb |
|