Gestural Human-Machine-Interface (HMI) for an autonomous wheelchair for kids
Authors
Melino Carrero, AlessandroDirector
Marrón Romera, MartaDate
2022Affiliation
Universidad de AlcaláBibliographic citation
Melino Carrero, Alessandro. Gestural Human-Machine-Interface (HMI) for an autonomous wheelchair for kids. Trabajo Fin de Máster. Universidad de Alcalá, 2022.
Keywords
Tecnología de asistencia
Detección de personas
Interfaz humano-máquina
ROS
Reconocimiento de gestos
Assistive technology
People detection
Human-machine interface
Gesture recognition
Document type
info:eu-repo/semantics/masterThesis
Version
info:eu-repo/semantics/acceptedVersion
Rights
Attribution-NonCommercial-NoDerivatives 4.0 Internacional
Access rights
info:eu-repo/semantics/openAccess
Abstract
El Trabajo de Fin de Master (TFM) se desarrolla a partir de una plataforma de ayuda a la movilidad
destinada a niños. La arquitectura general de la plataforma se describe en anteriores trabajos. La
plataforma consta de distintos nodos para suplir todas las funciones, alimentación, electrónica de potencia, control y navegación, interacción con el entorno e interfaz humano-maquina. Este TFM se centra en el nodo PC, el cual se basa en un ordenador con sistema operativo Linux y caracterizado por el uso de Robot Operating System (ROS). Sobre esta base se asienta la interfaz humano máquina gestual que se desarrolla en este trabajo. Este integra en el sistema existente una cámara RGBD Intel Realsense D435, ya que esta aplicación necesita tanto imagen RGB como imagen en profundidad. La información que proporciona la cámara se utiliza por medio de los paquetes que ofrece el fabricante de la cámara en ROS. Posteriormente se realiza la detección de personas. Para ello se utiliza una red neuronal entrenada para la detección de objetos basada en Tensorflow. A partir de los resultados de detección de la red, se obtiene la posición de las personas detectadas, transformando la posición en el plano de la persona su localización en el entorno virtual de la aplicación. Además se aplican técnicas de filtrado y tracking para mejorar esta localización. Por último, se implementa un sistema de reconocimiento de gestos, mediante el cual se pueda seleccionar fácilmente que usuario que desea interactuar con la plataforma y ejecutar una aplicación determinada. En el caso de este trabajo, la aplicacion elegida se basa en una estrategia denominada Follow Me, en la que la plataforma interactúe con el usuario y navegue por el entorno siguiéndole. La aplicación se incluye dentro del entorno de ROS, compatibilizando de esta forma su actuación con el resto de funciones de la plataforma. The Master's thesis is based on a mobility support platform for children. The general architecture of
the platform is described in previous works. The platform consists of different nodes to provide all
functions, power supply, power electronics, control and navigation, interaction with the environment and
human-machine interface.
This Master's thesis focuses on the PC node, which is based on a computer with a Linux operating
system and characterised by the use of Robot Operating System (ROS).
This is the basis for the gestural human-machine interface developed in this work. An Intel Realsense
D435 RGBD camera is integrated into the existing system, as both RGB image and depth image are
required for this application. The information provided by the camera is used by means of the packages
offered by the camera manufacturer in ROS. Subsequently, the detection of persons is carried out. For this
purpose, a neural network trained for object detection based on Tensorflow is used. From the detection
results of the network, the position of the detected persons is obtained, transforming the position in the
plane of the person to the location in the virtual environment of the application. In addition, f ltering
and tracking techniques are applied to improve this localisation.
Finally, a gesture recognition system is implemented, by means of which the user can easily select
which user wants to interact with the platform and execute a given application. In the case of this work,
the chosen application is based on a navigation strategy called Follow Me, in which the platform follows
the user and navigates the environment in this way.
The application is merged within the ROS environment, thus making it compatible with the rest of
the platform's functions.
Files in this item
Files | Size | Format |
|
---|---|---|---|
TFM_Melino_Carrero_2022.pdf | 34.51Mb |
|
Files | Size | Format |
|
---|---|---|---|
TFM_Melino_Carrero_2022.pdf | 34.51Mb |
|