Técnicas de segmentación semántica aplicadas en imágenes de laparoscopia

Abstract

Este trabajo tiene como objetivo proponer un método de segmentación semántica en imágenes médicas capturadas por una cámara de laparoscopia. La segmentación semántica consiste en clasificar cada píxel de una imagen entre un conjunto de clases, tales como instrumental, órganos del cuerpo, fondo, etc. Los métodos de segmentación semántica son una herramienta de vital importancia para la mejora, mediante técnicas de realidad aumentada, de las técnicas de cirugía medicina mínimamente invasiva (MIS) o de laparoscopia. Para ello se requieren métodos robustos a cambios en la imagen y deformaciones de los objetos y que funcionen en tiempo real. Este trabajo desarrolla y estudia métodos de segmentación semántica de imágenes basados en el uso de redes neuronales profundas, conocidas como deep learning. En concreto se estudiarán las redes de tipo “fully convolutional” compuestas por capas convolucionales y se propondrá una arquitectura basada en una encoder-decoder y capas residuales. La red propuesta, que denominaremos MIS-Net se ha evaluado en dos bases de datos de acceso público para la detección de instrumental médico y órganos en operaciones de laparoscopia de riñón en cerdos. Además se ha realizado el etiquetado y evaluación del método propuesto en una base de datos de operaciones de laparoscopia de hígado. La red propuesta se ha comparado y evaluado mediante dichas bases de datos con dos redes convolucionales del estado del arte, obteniendo resultados competitivos y permitiendo su ejecución en tiempo real en un sistema comercial basado en unidades gráficas de proceso o GPU.

The aim of this work is to propose a semantic segmentation method in medical images captured by a laparoscopic camera. Semantic segmentation consists of classifying each pixel of an image among a set of classes, such as instruments, body organs, background, etc. Semantic segmentation methods are a vital tool for the improvement, through augmented reality techniques, of minimally invasive medical (MIS) or laparoscopic surgery techniques. This task requires robust methods against changes in the image conditions and deformations of objects. It also need methods that work in real time. This work develops and studies semantic image segmentation methods based on deep neural networks, known as deep learning. Specifically, “fully convolutional” networks composed of convolutional layers will be studied and an architecture based on an encoder-decoder and residual layers will be proposed. The proposed network, which we will call MIS-Net, has been evaluated in two publicly accessible databases for the detection of medical instruments and organs in kidney laparoscopy operations in pigs. In addition, the proposed method has been labelled and evaluated in a database of liver laparoscopy operations. The proposed network has been compared and evaluated using these databases with two state-of-the-art convolutional networks, obtaining competitive results and allowing its execution in real time in a commercial system based on process graphic units or GPUs.