Efectos de la categorización de estímulos en la reconstrucción semántica de lenguajes continuos a partir de señales fMRI

• Autores: Delmagro, Nicolás Agustín
• Año de publicación: 2024
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Kamienkowski, Juan Esteban; Bianchi, Bruno
• Materia: fMRI; LENGUAJE; MODELO DE LENGUAJE; CEREBRO; ENCODER; DECODER; AUDIOS; MAPEO SEMANTICO; fMRI; LANGUAGE; LANGUAGE MODEL; BRAIN; ENCODER; DECODER; AUDIOS; SEMANTIC MAPPING
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

En los últimos años han surgido algunos estudios en los que se analizan imágenes de resonancia magnética funcional (fMRI) mientras se efectúan ciertas tareas relacionadas a la comprensión del lenguaje natural. Siguiendo el éxito del estudio de la concordancia del sistema visual y los modelos de redes profundas, en estos trabajos se preguntan cuán similar es la representación del lenguaje en el cerebro respecto de los nuevos modelos de redes profundas. En particular, varios trabajos se han basado en el dataset liberado por LeBel, Huth y colaboradores (“A natural fMRI dataset for encoding models” [LeBel et al., 2023]), donde se capturaron estas respuestas cerebrales mientras los participantes escuchaban relatos autobiográficos de los podcasts The Moth y Modern Love. Haciendo uso de estos datos, han realizado un mapeo semántico de distintas áreas del cerebro e incluso llegando a la generación de decoders para poder reconstruir semánticamente estas historias a partir de dichas señales cerebrales [Tang et al., 2023]. En esta línea, en la presente tesis, nos preguntamos cuáles pueden ser los efectos de introducir sesgos temáticos en los estímulos utilizados para entrenar los modelos, y si el desempeño mejora al intentar decodificar un estímulo cuyo tema coincide con el del entrenamiento. Para ello, consideramos que aquellas historias con temáticas similares deberían tener ciertas similitudes en el vocabulario utilizado. En primer lugar, buscamos agrupar estas narraciones por el tema principal que tratan, logrando separarlas en dos grupos. Luego, estos subconjuntos fueron utilizados como entrenamiento comparando los efectos que tiene en las reconstrucciones semánticas generadas el hecho de entrenar y evaluar con distintos subconjuntos.
In recent years, many studies have emerged in which Functional Magnetic Resonance Imaging (fMRI) are analyzed while carrying out certain tasks related to the understanding of natural language. Following the success with the study of the concordance between the visual system and deep network models, these works ask how similar the representation of language in the brain is with respect to the new deep network models. In particular, several works have been based on the dataset released by LeBel, Huth and collaborators (“A natural fMRI dataset for encoding models” [LeBel et al., 2023]), where these brain responses were captured while participants listened to autobiographical narrations from the podcasts The Moth and Modern Love. Using this data, they have carried out a semantic mapping of different areas of the brain and even gone so far as to generate decoders to be able to semantically reconstruct these stories from the brain signals [Tang et al., 2023]. Following this line, in this thesis, we ask what the effects of introducing thematic biases in the stimuli used to train the models may be, and whether performance improves when trying to decode a stimulus whose theme matches the one used as training. To do this, we consider that those stories with similar themes should have certain similarities in the vocabulary they use. Firstly, we seek to group these narratives by the main theme they talk about, managing to separate them into two groups. Then, these subsets were used as training, comparing the effects that training and evaluating with different subsets has on the semantic reconstructions generated.
Fil: Delmagro, Nicolás Agustín. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.