Sesgos en modelos de lenguaje y construcción participativa de benchmarks de evaluación

• Autores: Martinelli, Sofía
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Ivetta, Guido
• Materia: Natural language processing; Artificial intelligence; Modelos de lenguaje a gran escala; Recolección de datos; Evaluación de modelos de lenguaje; Benchmarks
• Institución: Universidad Nacional de Córdoba

Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Martinelli, Sofía. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Las tecnologías del lenguaje se utilizan cada vez más en ámbitos como la salud, la justicia y la educación, lo que hace necesario analizar sus posibles errores. Los modelos de lenguaje pueden reproducir y amplificar estereotipos o generar representaciones inexactas de distintos grupos sociales, fenómeno conocido como sesgo social. Una estrategia habitual para estudiarlo consiste en emplear benchmarks de evaluación. Sin embargo, muchos de estos recursos han sido desarrollados en inglés y dentro de marcos culturales limitados, lo que restringe su alcance. En este trabajo exploramos metodologías participativas para la construcción de benchmarks culturalmente situados, involucrando a comunidades subrepresentadas. Los resultados muestran que estos recursos revelan limitaciones de los modelos actuales frente a contenidos culturalmente diversos, y subrayan la necesidad de herramientas de evaluación más contextualizadas.
Language technologies are increasingly used in areas such as healthcare, justice, and education, making it essential to examine their potential errors. Language models can reproduce and amplify stereotypes or misrepresent social groups, a phenomenon known as social bias. Benchmarks are commonly used to diagnose these issues; however, many existing resources have been developed primarily in English and within limited cultural contexts. In this work, we explore participatory methodologies for constructing culturally situated benchmarks involving underrepresented communities. Our findings show that these resources expose limitations of current models when processing culturally diverse content, highlighting the need for more context-aware evaluation tools.
Fil: Martinelli, Sofía. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.