Traducción de secuencias de la lengua de señas argentina mediante visión por computadora

• Autores: Bratti, Juan
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Alonso i Alemany, Laura
• Materia: Inteligencia artificial; Computing methodologies; Lengua de Señas Argentina; Traducción automática; Visión por computadora; Transformer; Signformer; Keypoints
• Institución: Universidad Nacional de Córdoba

Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Bratti, Juan. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Este trabajo estudia la traducción automática de la Lengua de Señas Argentina (LSA) mediante técnicas de visión por computadora, a partir de representaciones de pose (keypoints) extraídas de videos del conjunto de datos LSA-T. Se presenta una revisión teórica del problema y de los modelos de aprendizaje profundo utilizados. Se implementa un modelo Transformer como baseline adaptado a secuencias de keypoints. Además, se desarrolla una versión adaptada de Signformer, incorporando codificación posicional convolucional y mecanismos de atención adecuados a la dinámica temporal y espacial de la lengua de señas. Los resultados muestran que la adaptación de Signformer mejora las métricas BLEU respecto del baseline, estableciendo un nuevo punto de referencia para la traducción automática de LSA.
This work studies automatic translation of Argentine Sign Language (LSA) using computer vision techniques based on pose representations (keypoints) extracted from videos of the LSA-T dataset. A theoretical review of the problem and deep learning models applied to sign language translation is presented. A Transformer-based model adapted to keypoint sequences is implemented as a baseline. In addition, an adapted version of Signformer is developed, incorporating convolutional positional encoding and attention mechanisms suited to the temporal and spatial dynamics of sign language. The results show that the adapted Signformer improves BLEU scores compared to the baseline, establishing a new reference point for automatic LSA translation.
Fil: Bratti, Juan. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.