Estimación de la veracidad de expresiones faciales utilizando aprendizaje profundo

• Autores: Fernández, Gonzalo Pablo
• Año de publicación: 2020
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Buemi, María Elena
• Materia: EXPRESIONES FACIALES; LANDMARKS; REDES NEURONALES RECURRENTES; FACIAL EXPRESSIONS; LANDMARKS; RECURRENT NEURAL NETWORKS
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

En este trabajo se estudian diferentes enfoques basados en aprendizaje automático (en particular, variantes de redes neuronales artificiales) para clasificar instancias de expresiones faciales en video según su veracidad. Este problema tiene la particularidad, en comparación a la mayoría de problemas que las computadoras aprendieron a resolver utilizando inteligencia artificial, de que es una tarea que no es trivial de resolver para los seres humanos. Con ello surge la dificultad de evaluar el rendimiento de los modelos desarrollados. Entre las mútiples aplicaciones que tiene este problema está mejorar la interacción humano-computadora, aumentar la efectividad de los robots asistentes, aportar en el tratamiento de desórdenes cognitivos crónicos, asistir investigaciones policiales, entre otros. También podría ser utilizado como herramienta para inferir qué tan bueno es un actor o para juzgar si un sospechoso dice la verdad. Se utiliza como base de entrenamiento la SASE-FE que fue diseña da específicamente pa ra resolver este problema en particular. Esta base contiene videos de sujetos realizando expresiones faciales, etiquetados según tipo de expresión y valor de verdad. El principal análisis se basa en comparar redes neuronales profundas (feed-forward) con redes neuronales recurrentes. Este tipo particular de redes se caracteriza por su capacidad de extraer información de una secuencia y almacenarla a través del tiempo. Así, un video puede ser clasificado utilizando no sólo los atributos obtenidos en cada cuadro sino también los de sus antecesores. Ante la escasez de datos para experimentar, se propone una nueva métrica para realizar un análisis más granular y la cual permite comparar con más detalle los resultados que arroja cada variante implementada. Los resultados sugieren que los rasgos determinantes que permiten distinguir entre una expresión sincera y una fingida están muy arraigados al sujeto que las ejecuta y, por lo tanto, desarrollar un clasificador universal (independiente del sujeto en cuestión) parece ser poco viable. En cuanto a la comparación entre los dos tipos de redes, si bien las recurrentes no mejoraron los valores obtenidos por las profundas, sí se destaca que obtuvieron resultados similares con menor cantidad de épocas de entrenamiento.
In this work we study many different machine learning based approaches (particulary, artificial neural networks variants) to classify instances of facial expressions on video according to it’s veracity. This problem has the peculiarity, comparing to most problems that computers learned to solve using artificial intelligence, that is a task not trivial to solve to human beings. With that comes the difficulty of evaluating the performance of the developed models. This problem has multiple aplications, like improving human-computer interaction, increa-sing assistant robots efectivity, helping in chronic cognitive disorders treatment, asisting policial investigations, among others. It also could be used as tool to infer an actor’s performance or to judge if a suspect is telling the truth. We use the SASE-FE dataset that was designed specifically to solve this particular problem. This dataset contains videos of subjects doing facial expresions, labeled with type of expresion and truth value. The main analysis is based on comparing deep feed-forward neural networks with recurrent neural networks. this particular type of network is known for being capable of extract information from a sequence and keep it through time. That way, a video can be clasified using not only it’s features but also the ones from it’s predecessors. Having so little data to experiment, we propose a new metric to make a more granular analysis and that allows compare with more detail the results that each implemented variant throws. Results suggest that determinants traits that allows distinguishing a genuine expresion and a faked one are too related to the subject that executes them and,then, developing an universal clasifier (independent of the subject) seems unfeasible. Regarding the comparison between the two types of networks, although the recurrent variants couldn’t overcome the values obtained by the deep variants, we can appreciate that they reach similar results but with a smaller amount of training epochs.
Fil: Fernández, Gonzalo Pablo. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.