Calibración de array cámaras ToF para reconstrucción volumétrica

Abstract

El Trabajo de Fin de Máster que se desarrolla a continuación se enmarca dentro del ámbito de la visión computacional y propone un sistema robusto de calibración de un sistema formado por cuatro cámaras de tiempo de vuelo (ToF – Time of Flight) de bajo coste, pero a la vez de muy baja resolución (120 x 160 píxeles). El objetivo es conseguir un sistema económico para reconstrucción volumétrica de una escena fija. Para la consecución de este objetivo es necesaria la búsqueda de un patrón cuyos puntos característicos sean fácilmente detectables en las imágenes, que además no son de escala de grises, sino que son obtenidas con el mismo sensor ToF, así como el diseño de un algoritmo de procesamiento de imagen que logre dicho objetivo con precisión por debajo del píxel para lograr resultados de calibración óptimos. Además, también se realiza una calibración estéreo para conocer la posición relativa de las cámaras entre sí y poder relacionar los datos de cada una de ellas. Como último objetivo, se ha realizado una reconstrucción tridimensional en la que se fusionen los datos de todas las cámaras pertenecientes al sistema, estudiando los errores que se producen, a qué se deben y cómo pueden corregirse. Para realizar estos objetivos se va a utilizar la herramienta software MATLAB®, partiendo de la toolbox de calibración de Yves-Bouguet (ampliamente utilizada en calibración de cámaras), estudiando su validez para cámaras de baja resolución de este tipo y desarrollando los algoritmos complementarios necesarios para poder concluir en unos resultados de calibración óptimos y la visualización interactiva de las superficies tridimensionales obtenidas. Pero dadas las características de los sensores utilizados, no todas las herramientas disponibles (en MATLAB u otros paquetes software) han permitido calibrar dichos sensores, por lo que existen partes del proceso de calibración para las que se han debido desarrollar herramientas propias, y en otros casos ha habido que estudiar cómo aportar los datos para usar únicamente parte de ellas.

The developed Master Thesis is related to the computational vision field and it aims to robustly calibrate a four low cost Time of Flight (ToF) camera system, marked by their low quality and very low resolution (120 x 160 pixels), trying to reach a final volumetric reconstruction of the viewed scene. In order to achieve this goal, it is required to search a desirable pattern (chessboard, dotted…) whose feature points are easily detected in the acquired images (which are not gray scale images, they are obtained from the ToF sensor itself). Moreover, it is essential to develop an algorithm able to detect control points with sub-pixel accuracy in low resolution images if optimal calibration data must be calculated. Moreover, a stereo calibration process it is also performed so as to get to know the fixed relative positions and orientations between the 4 cameras set and being able to relate data obtained from each of them. As an ultimate purpose, data from all the cameras belonging to the full system is related to the same coordinate system through stereo calibration results and also merged in one single mesh in order to perform and visualize a 3D reconstructed figure of the scene, analyzing the existing errors, why they are originated and how they could be corrected. In order to accomplish this targets, MATLAB® software is going to be used, and mainly the Yves-Bouguet calibration toolbox (widely accepted in general camera calibration applications), performing a study about its validity with this kind of low resolution cameras and also developing complementary algorithms required to finally conclude in optimal calibration results and visualize 3D meshes obtained