Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias

Autores
Alonso, Lucas Emanuel
Año de publicación
2025
Idioma
español castellano
Tipo de recurso
tesis de grado
Estado
versión publicada
Colaborador/a o director/a de tesis
Sánchez, Jorge Adrián
Descripción
Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros.
This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Materia
Redes neuronales
Aprendizaje automático
Comprensión de expresiones referenciales
Visión
Lenguaje
Multimodal
Transformers
Computing methodologies
Machine learning
Machine learning approaches
Neural networks
Referring expression comprehension
REC
NLP
Nivel de accesibilidad
acceso abierto
Condiciones de uso
Repositorio
Repositorio Digital Universitario (UNC)
Institución
Universidad Nacional de Córdoba
OAI Identificador
oai:rdu.unc.edu.ar:11086/558236

id RDUUNC_6f20f68328fe722154e9c37393ba235f
oai_identifier_str oai:rdu.unc.edu.ar:11086/558236
network_acronym_str RDUUNC
repository_id_str 2572
network_name_str Repositorio Digital Universitario (UNC)
spelling Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversariasAlonso, Lucas EmanuelRedes neuronalesAprendizaje automáticoComprensión de expresiones referencialesVisiónLenguajeMultimodalTransformersComputing methodologiesMachine learningMachine learning approachesNeural networksReferring expression comprehensionRECNLPTesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros.This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space.Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.Sánchez, Jorge Adrián2025-06-30info:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:ar-repo/semantics/tesisDeGradoapplication/pdfhttp://hdl.handle.net/11086/558236spainfo:eu-repo/semantics/openAccessreponame:Repositorio Digital Universitario (UNC)instname:Universidad Nacional de Córdobainstacron:UNC2025-10-16T09:29:36Zoai:rdu.unc.edu.ar:11086/558236Institucionalhttps://rdu.unc.edu.ar/Universidad públicaNo correspondehttp://rdu.unc.edu.ar/oai/snrdoca.unc@gmail.comArgentinaNo correspondeNo correspondeNo correspondeopendoar:25722025-10-16 09:29:36.461Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdobafalse
dc.title.none.fl_str_mv Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
title Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
spellingShingle Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
Alonso, Lucas Emanuel
Redes neuronales
Aprendizaje automático
Comprensión de expresiones referenciales
Visión
Lenguaje
Multimodal
Transformers
Computing methodologies
Machine learning
Machine learning approaches
Neural networks
Referring expression comprehension
REC
NLP
title_short Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
title_full Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
title_fullStr Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
title_full_unstemmed Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
title_sort Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
dc.creator.none.fl_str_mv Alonso, Lucas Emanuel
author Alonso, Lucas Emanuel
author_facet Alonso, Lucas Emanuel
author_role author
dc.contributor.none.fl_str_mv Sánchez, Jorge Adrián
dc.subject.none.fl_str_mv Redes neuronales
Aprendizaje automático
Comprensión de expresiones referenciales
Visión
Lenguaje
Multimodal
Transformers
Computing methodologies
Machine learning
Machine learning approaches
Neural networks
Referring expression comprehension
REC
NLP
topic Redes neuronales
Aprendizaje automático
Comprensión de expresiones referenciales
Visión
Lenguaje
Multimodal
Transformers
Computing methodologies
Machine learning
Machine learning approaches
Neural networks
Referring expression comprehension
REC
NLP
dc.description.none.fl_txt_mv Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros.
This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
description Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
publishDate 2025
dc.date.none.fl_str_mv 2025-06-30
dc.type.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_7a1f
info:ar-repo/semantics/tesisDeGrado
format bachelorThesis
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11086/558236
url http://hdl.handle.net/11086/558236
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositorio Digital Universitario (UNC)
instname:Universidad Nacional de Córdoba
instacron:UNC
reponame_str Repositorio Digital Universitario (UNC)
collection Repositorio Digital Universitario (UNC)
instname_str Universidad Nacional de Córdoba
instacron_str UNC
institution UNC
repository.name.fl_str_mv Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdoba
repository.mail.fl_str_mv oca.unc@gmail.com
_version_ 1846143361487994880
score 13.22299