Emotion analysis through biological signal processing

Abstract

En nuestra incesante necesidad de dotar a las máquinas de inteligencia, está surgiendo una tendencia de intentar hacerlas interactuar con los seres humanos, incluyendo tanto la toma de decisiones como el análisis de comportamiento emocional. La in- teligencia emocional está formada por varios componentes, los principales siendo la expresión de emociones y por supuesto la interpretación de las emociones percibidas. En esta tesis se pretende estudiar el diseño de sistemas automáticos capaces de inter- pretar y reconocer las emociones emitidas por personas. El ser humano exterioriza sus emociones de varias formas, tanto conscientemente como inconscientemente. En la voz encontramos diferentes marcadores que pueden orientarnos acerca de las emo- ciones experimentadas por el sujeto a la hora de hablar, pero las emociones afectan a prácticamente todas las señales fisiológicas generadas por el cuerpo humano. Cuando una persona experimenta un estado emocional, las pulsaciones, la respiración, el cere- bro y la piel responden en consecuencia, y estos cambios afectan a señales fisiológicas como el electrocardiograma, la impedancia torácica, o la actividad electrodermal. En la presente tesis, se ha tratado de investigar la extracción de la información más valiosa con respecto a la emoción y actividad del sujeto de múltiples señales biológicas. Para este propósito, se ha estudiado y analizado la voz, el electrocardiograma, la impedancia torácica y la actividad electrodermal medida tanto en la mano como en el brazo. Varios sistemas han sido propuestos, y se ha obtenido un sistema final basado en señales fisiológicas capturadas por un smartphone y con procesado en tiempo real. Para caracterizar cada una de las señales utilizadas, presentamos en esta tesis una im- portante revisión bibliográfica con aquellas características que contienen información acerca de la emoción, actividad y estrés. También se ha testeado e implementado cada una de ellas, tanto offline como en tiempo real, y se ha hecho un estudio comparativo de aquellas que contienen información más relevante. Para conocer la importancia de las características utilizadas se han propuesto técnicas de selección de características basadas en algoritmos evolutivos. En cuanto a los métodos de clasificación utiliza- dos para detectar emoción, actividad y estrés, hemos comparado el comportamiento de diversos clasificadores, con el objetivo de conocer que tipo de clasificador ofrece un rendimiento más significativo en nuestro propósito. Los clasificadores utilizados son los clasificadores lineales de mínimos cuadrados, los clasificadores cuadráticos de mínimos cuadrados, las máquinas de vectores de soporte y las redes neuronales de tipo perceptrón multicapa. A la hora de obtener información relativa a la emoción se han encontrado numerosos problemas y dificultades. Debido a la dificultad de capturar y obtener señales fi- siológicas en el momento que el sujeto siente realmente una emoción concreta, las bases de datos disponibles ellas están compuestas por un número de sujetos escaso, lo que provoca problemas de generalización. Para mitigar este problema nosotros proponemos varias soluciones referentes a la base de datos, una de ellas basada en aumentar el número de archivos que componen la base de datos con archivos creados de manera sintética, y otra basada en una forma novedosa de inicializar el aprendizaje de las redes neuronales. En esta tesis hemos demostrado qué características son más relevantes de cada una de las señales bajo estudio, así como el clasificador que ofrece un rendimiento más apropiado en cada caso. Los resultados demuestran la validez de las propuestas, ofreciendo un balance entre coste computacional y funcionamiento en términos de probabilidad de error.