Democratizando el fine-tuning : transfer learning eficiente con modelos pre-entrenados de habla para identificación de hablantes - Ernst, Erik (2025)
En los últimos años, el avance acelerado del aprendizaje automático ha transformado el procesamiento de datos, ofreciendo modelos pre-entrenados capaces de capturar representaciones semánticas complejas. Sin embargo, esta evolución ha venido acompañada de un creciente costo computacional, centralización de recursos en pocas instituciones y un enfoque orientado a maximizar los resultados, dejando en segundo plano la comprensión de las razones detrás de muchas decisiones de diseño de la arquitectura y el entrenamiento de modelos. En esta tesis, exploramos técnicas eficientes de transfer learning aplicadas a modelos pre-entrenados de habla para la tarea de identificación de hablantes (Speaker Identification, SID). En este marco, nuestro objetivo principal fue comprender en profundidad el impacto de configuraciones clave en el diseño y entrenamiento de modelos. Primero, experimentamos con múltiples arquitecturas e hiperparámetros con el fin de encontrar el mejor modelo downstream utilizando WavLM Base+ como modelo upstream. En este proceso, analizamos factores como la tasa de aprendizaje, diferentes mecanismos de pooling y normalización. Entre nuestros hallazgos más significativos, demostramos que la incorporación de mecanismos de atención en el pooling temporal y de capas puede ofrecer ventajas significativas, alcanzando resultados estado del arte con una cantidad de parámetros ampliamente inferior. A su vez, investigamos técnicas de full fine-tuning y de fine-tuning eficientes en parámetros (Parameter Efficient Fine-Tuning, PEFT), en particular, LoRA y las ventajas que puede traer su uso.