Reconstrucción de objetos deformables a partir de imágenes mediante técnicas de Deep Learning

Abstract

Este trabajo trata el problema de la reconstrucción y registro 3D de objetos deformables a partir de imágenes. En particular, aborda el problema de reconstrucción 3D y registro deformable conocido como Shape-from-Template (SfT). En SfT se obtiene la reconstrucción 3D de una superficie deformada a través de una imagen de la misma y un modelo tridimensional de referencia, conocido como template o plantilla. Esta tesis contribuye a SfT a través del estudio, propuesta y evaluación de soluciones basadas en una red neuronal profunda o Deep Neural Network (DNN), para la resolución de este problema asumiendo que el objeto se deforma siguiendo un modelo cuasi-isométrico. El modelo cuasi-isométrico impone que las distancias geodésicas de los puntos de la superficie no sean alteradas significativamente por la deformación sufrida por esta. El uso de este modelo garantiza que SfT tiene una solución única y, por tanto, es un problema apto para el uso de métodos de aprendizaje. A pesar de los esfuerzos recientes para encontrar una solución a SfT, éste sigue siendo un problema abierto a día de hoy para objetos y condiciones de imagen complejas y restricciones de tiempo real. El uso de DNNs es clave para resolver SfT bajo dichas condiciones, lo que permite el desarrollo de sistemas de SfT que funcionen en entornos realistas. En esta tesis se proponen dos soluciones de SfT basadas en DNNs: DeepSfT (Deep Shape-from-Template) y MDSFT (Multitexture Deep Shape-from-Template). A lo largo de este trabajo, se ha realizado una rigurosa evaluación experimental tanto de DeepSfT como de MDSFT, en la cual se muestra como las soluciones basadas en DNNs superan al estado del arte existente en términos de exactitud, velocidad, y en unas condiciones de imagen complejas.