Información posicional y su importancia en modelos de Comprensión de Expresiones Referenciales

• Autores: Hörmann Manriquez, Nicolás
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Sánchez, Jorge
• Materia: Computing methodologies; Machine learning; Machine learning approaches; Neural networks; Comprensión de Expresiones Referenciales; Vision; Language; Transformers; Multimodal
• Institución: Universidad Nacional de Córdoba

Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Hörmann Manriquez, Nicolás. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Esta tesis analiza el papel de la información posicional en modelos de Comprensión de Expresiones Referenciales (REC). La tarea se sitúa en la intersección entre visión por computadora y procesamiento del lenguaje natural. Se estudian arquitecturas Transformer y el uso de codificaciones posicionales absolutas. Se evalúa cómo distintos tipos de expresiones (espaciales, ordinales, relacionales e intrínsecas) dependen de la información visual y posicional. Mediante experimentos de ablación, se mide el impacto de eliminar estas fuentes de información. Los resultados muestran que la información posicional mejora significativamente el desempeño del modelo. Su efecto es especialmente relevante en expresiones que requieren razonamiento espacial. Sin información visual, el rendimiento cae en promedio un 60%. Aun así, el modelo conserva ciertos patrones espaciales derivados del lenguaje. Estos hallazgos orientan nuevas líneas de investigación para equilibrar mejor la información visual, textual y posicional en tareas multimodales.
This thesis analyzes the role of positional information in Referring Expression Comprehension (REC) models. The task lies at the intersection of computer vision and natural language processing. Transformer architectures and their use of absolute positional encodings are studied. Different expression types (spatial, ordinal, relational, and intrinsic) are evaluated in relation to visual and positional information. Ablation experiments measure the impact of removing these information sources. Results show that positional information significantly improves model performance. Its effect is particularly relevant for expressions requiring spatial reasoning. When visual information is removed, performance drops by about 60%. Nevertheless, the model preserves some spatial patterns inferred from language alone. These findings motivate future research toward models that better balance visual, textual, and positional information in multimodal grounding tasks.
Fil: Hörmann Manriquez, Nicolás. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.