¿Capturan los embeddings de los LLMs información sobre temporalidad y relaciones espaciales?

• Autores: Suaiter, Federico Hernán
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Feuerstein, Esteban Zindel; Ortiz de Zárate, Juan Manuel
• Materia: LLMS; CAPACIDADES EMERGENTES; WORLD MODELS; TIEMPO; ESPACIO; EMBEDDINGS
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

Los Large Language Models (LLMs) han demostrado una capacidad notable para capturar complejas relaciones semánticas a través de sus embeddings, contribuyendo significativamente al avance de diversas aplicaciones, como el procesamiento del lenguaje natural (NLP). Sin embargo, la manera en que estos modelos representan conceptos abstractos como el tiempo y el espacio sigue siendo un área en exploración. Este trabajo tiene como objetivo analizar cómo los LLMs modelan el tiempo y el espacio dentro de sus representaciones vectoriales. Dicho análisis se lleva a cabo de forma directa sobre la estructura interna de las representaciones, permitiendo una evaluación transparente y una interpretación accesible. Si bien los LLMs solo han sido entrenados para predecir el siguiente token en una secuencia, su comportamiento revela una profundidad que trasciende las intenciones iniciales de su diseño. Los resultados obtenidos al analizar diferentes modelos de LLMs revelan patrones específicos en la manera en que dichos LLMs representan eventos temporales y ubicaciones geográficas, sugiriendo que efectivamente incorporan de manera implícita una estructura, en mayor o menor medida, espacio-temporal en sus representaciones vectoriales. Estos hallazgos abren nuevas oportunidades para el desarrollo de técnicas que mejoran la precisión de los LLMs en tareas que requieren razonamiento espacio-temporal avanzado. Además, contribuyen a la comprensión de las limitaciones actuales, proporcionando una base para futuras investigaciones dirigidas a optimizar su capacidad de modelar conceptos abstractos y complejos en contextos aplicados.
Fil: Suaiter, Federico Hernán. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.