Generación de imágenes con técnicas de aprendizaje automático : Aplicaciones en reconocimiento de lengua de señas

• Autores: Ríos, Gastón Gustavo
• Año de publicación: 2022
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Cs de la Computación; Aprendizaje automático; Redes neuronales; Sistemas inteligentes; Visión por computadora; Generacion de imagenes; Artificial inteligence; Artificial neural networks; Computer vision; Machine learning; Image generation
• Institución: Universidad Nacional de La Plata

El objetivo general de este plan de investigacion es el de crear modelos y técnicas de entrenamiento capaces de generar imágenes artificiales realistas y variadas en entornos con pocos datos etiquetados. Con estos modelos y técnicas de entrenamiento se facilitará el acceso a múltiples nuevas áreas de aplicación para modelos generativos. El énfasis estará puesto en la generación de imágenes de gestos de lengua de señas, permitiendo de esta forma entrenar modelos discriminadores precisos que utilicen aprendizaje profundo a partir de pocos datos etiquetados. Los objetivos son los siguientes: 1) Estudiar y analizar las bases de datos públicas sobre reconocimiento de gestos, incluyendo bases de datos específicas para lengua de señas, y de grandes bases de datos de diversos dominios para ser utilizadas en las técnicas de entrenamiento. Particularmente LSA16 y LSA64, bases de datos para la Lengua de Señas Argentina desarrollada en el III-LIDI. 2) Crear nuevos modelos de generación de imágenes que posean coherencia semántica. Particularmente se estudiarán los autoencoders y las Generative Adversarial Networks (GAN) ya que son los modelos más utilizados en el estado del arte. 3) Crear nuevas técnicas de entrenamiento que permitan el entrenamiento de modelos generadores utilizando una cantidad de datos limitada. En particular se estudiarán transfer learning, data augmentation y aprendizaje semi supervisado. 4) Analizar y comparar los resultados obtenidos utilizando los modelos generativos y técnicas de entrenamiento desarrollados. Se usarán métricas comúnmente utilizadas en este tipo de problemas como Frechet Inception Distance (FID) e Inception Score (IS). Adicionalmente se realizarán evaluaciones semánticas para comprobar la variabilidad y coherencia de las imágenes generadas. 5) Desarrollar modelos clasificadores de imágenes aplicado al reconocimiento de gestos de la lengua de señas. Particularmente, se estudiarán Redes Neuronales Convolucionales (CNN) específicas para problemas de clasificación de objetos en imágenes. Aplicación, análisis y comparación de los resultados obtenidos utilizando los nuevos datos generados. Con esta investigación se espera realizar un aporte significativo al estado del arte en cuanto a modelos generativos de imágenes artificiales y técnicas de entrenamiento. Particularmente se espera desarrollar modelos que permitan la generación de nuevas imágenes para gestos de la lengua de señas. Esto permitirá diversificar las bases de datos existentes, que suelen poseer pocos datos etiquetados. Esto podría ser aplicado en un futuro a otros dominios con datos etiquetados limitados.
Carrera: Doctorado en Ciencias Informáticas Tipo de beca: Beca Doctoral Año de inicio de beca: 2020 Año de finalización de beca: 2025 Organismo: UNLP Apellido, Nombre del Director/a/e: Ronchetti, Franco Apellido, Nombre del Codirector/a/e: Hasperué, Waldo Lugar de desarrollo: Instituto de Investigación en Informática (III-LIDI) Áreas de conocimiento: Informática Tipo de investigación: Básica
Facultad de Informática