Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas

• Autores: Ríos, Gastón Gustavo; Dal Bianco, Pedro Alejandro; Ronchetti, Franco; Quiroga, Facundo Manuel; Stanchi, Oscar; Hasperué, Waldo
• Año de publicación: 2023
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; Reconocimiento de señas; Lengua de señas; Red generativa antagónica; SPADE; ACGAN; Estimación de pose
• Institución: Universidad Nacional de La Plata

Obtener datos etiquetados para el entrenamiento de redes neuronales en tareas de reconocimiento de lengua de señas es un desafío difícil y costoso. En este artículo investigamos la factibilidad de generar datos utilizando Generative Adversarial Networks (GAN), para mejorar el entrenamiento de redes neuronales. Específicamente, generamos imágenes de manos condicionando los modelos GAN con información semántica de poses y etiquetas. Comparamos los modelos ReACGAN y SPADE en la generación de nuevas imágenes de alta calidad. Evaluamos la generación de señas en dos conjuntos de datos: RWTH y HaGRID. Se entrenaron modelos generativos utilizando subconjuntos de tamaño reducido para probar el efecto de la reducción de datos de entrenamiento. Medimos la calidad de los modelos resultantes utilizando métricas cuantitativas (FID, IS, cobertura y densidad) y cualitativas (encuestas). Como resultado obtuvimos modelos GAN capaces de generar señas con un buen nivel de realismo que luego podrán ser utilizados para aumentar conjuntos de datos de lengua de señas.
Red de Universidades con Carreras en Informática
Instituto de Investigación en Informática