Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias
- Autores
- Alonso, Lucas Emanuel
- Año de publicación
- 2025
- Idioma
- español castellano
- Tipo de recurso
- tesis de grado
- Estado
- versión publicada
- Colaborador/a o director/a de tesis
- Sánchez, Jorge Adrián
- Descripción
- Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros.
This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space.
Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina. - Materia
-
Redes neuronales
Aprendizaje automático
Comprensión de expresiones referenciales
Visión
Lenguaje
Multimodal
Transformers
Computing methodologies
Machine learning
Machine learning approaches
Neural networks
Referring expression comprehension
REC
NLP - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- Repositorio
- Institución
- Universidad Nacional de Córdoba
- OAI Identificador
- oai:rdu.unc.edu.ar:11086/558236
Ver los metadatos del registro completo
id |
RDUUNC_6f20f68328fe722154e9c37393ba235f |
---|---|
oai_identifier_str |
oai:rdu.unc.edu.ar:11086/558236 |
network_acronym_str |
RDUUNC |
repository_id_str |
2572 |
network_name_str |
Repositorio Digital Universitario (UNC) |
spelling |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversariasAlonso, Lucas EmanuelRedes neuronalesAprendizaje automáticoComprensión de expresiones referencialesVisiónLenguajeMultimodalTransformersComputing methodologiesMachine learningMachine learning approachesNeural networksReferring expression comprehensionRECNLPTesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros.This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space.Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.Sánchez, Jorge Adrián2025-06-30info:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:ar-repo/semantics/tesisDeGradoapplication/pdfhttp://hdl.handle.net/11086/558236spainfo:eu-repo/semantics/openAccessreponame:Repositorio Digital Universitario (UNC)instname:Universidad Nacional de Córdobainstacron:UNC2025-10-16T09:29:36Zoai:rdu.unc.edu.ar:11086/558236Institucionalhttps://rdu.unc.edu.ar/Universidad públicaNo correspondehttp://rdu.unc.edu.ar/oai/snrdoca.unc@gmail.comArgentinaNo correspondeNo correspondeNo correspondeopendoar:25722025-10-16 09:29:36.461Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdobafalse |
dc.title.none.fl_str_mv |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
title |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
spellingShingle |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias Alonso, Lucas Emanuel Redes neuronales Aprendizaje automático Comprensión de expresiones referenciales Visión Lenguaje Multimodal Transformers Computing methodologies Machine learning Machine learning approaches Neural networks Referring expression comprehension REC NLP |
title_short |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
title_full |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
title_fullStr |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
title_full_unstemmed |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
title_sort |
Comprensión de expresiones referenciales con expresiones adversarias de expresiones referenciales con expresiones adversarias |
dc.creator.none.fl_str_mv |
Alonso, Lucas Emanuel |
author |
Alonso, Lucas Emanuel |
author_facet |
Alonso, Lucas Emanuel |
author_role |
author |
dc.contributor.none.fl_str_mv |
Sánchez, Jorge Adrián |
dc.subject.none.fl_str_mv |
Redes neuronales Aprendizaje automático Comprensión de expresiones referenciales Visión Lenguaje Multimodal Transformers Computing methodologies Machine learning Machine learning approaches Neural networks Referring expression comprehension REC NLP |
topic |
Redes neuronales Aprendizaje automático Comprensión de expresiones referenciales Visión Lenguaje Multimodal Transformers Computing methodologies Machine learning Machine learning approaches Neural networks Referring expression comprehension REC NLP |
dc.description.none.fl_txt_mv |
Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025. Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina. Este trabajo amplía el estudio de Sánchez et al., (2022) sobre REC (Comprensión de Expresiones Referenciales), donde se identificó que las expresiones relacionales, presentan una mayor dificultad para los modelos que utilizan en los experimentos. Proponemos una estrategia de data augmentation basada en la generación de expresiones adversarias. Estas se obtienen reordenando las frases sustantivas en expresiones relacionales de forma que la nueva expresión no sea válida en relación a la imágen. Además, incorporamos un término adicional en la función de costo que penaliza al modelo cuando genera representaciones similares al procesar la expresión original vs al procesar una expresión adversaria, incentivándolo a mejorar su comprensión de relaciones espaciales. Evaluamos nuestra propuesta en los datasets RefCOCO y RefCLEF. Realizamos experimentos con distintas variantes de la función de costo y exploramos el espacio de hiperparámetros. This work builds upon the study by Sánchez et al. (2022) on REC (Referring Expression Comprehension), where it was identified that relational expressions pose greater difficulty for the models used in the experiments. We propose a data augmentation strategy based on the generation of adversarial expressions. These are obtained by reordering the noun phrases in relational expressions such that the new expression is no longer valid with respect to the image. In addition, we incorporate an extra term in the loss function that penalizes the model when it generates similar representations while processing the original expression versus an adversarial expression, encouraging it to improve its understanding of spatial relations. We evaluate our proposal on the RefCOCO and RefCLEF datasets. We conduct experiments with different variants of the loss function and explore the hyperparameter space. Fil: Alonso, Lucas Emanuel. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina. |
description |
Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025. |
publishDate |
2025 |
dc.date.none.fl_str_mv |
2025-06-30 |
dc.type.none.fl_str_mv |
info:eu-repo/semantics/bachelorThesis info:eu-repo/semantics/publishedVersion http://purl.org/coar/resource_type/c_7a1f info:ar-repo/semantics/tesisDeGrado |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.none.fl_str_mv |
http://hdl.handle.net/11086/558236 |
url |
http://hdl.handle.net/11086/558236 |
dc.language.none.fl_str_mv |
spa |
language |
spa |
dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositorio Digital Universitario (UNC) instname:Universidad Nacional de Córdoba instacron:UNC |
reponame_str |
Repositorio Digital Universitario (UNC) |
collection |
Repositorio Digital Universitario (UNC) |
instname_str |
Universidad Nacional de Córdoba |
instacron_str |
UNC |
institution |
UNC |
repository.name.fl_str_mv |
Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdoba |
repository.mail.fl_str_mv |
oca.unc@gmail.com |
_version_ |
1846143361487994880 |
score |
13.22299 |