Representación cerebral de atributos del habla durante el diálogo natural

• Autores: Castro, Juan Octavio; Gonzalez, Joaquin E.; Dominguez, Jazmin Vidal; Riera, Pablo E.; Gravano, Agustín; Kamienkowski, Juan E.
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; procesamiento del habla; neurociencia cognitiva; modelos de codificación; EEG; speech processing; cognitive neuroscience; encoding models
• Institución: Universidad Nacional de La Plata

El estudio del habla en entornos naturales presenta desafíos para los enfoques tradicionales de análisis con electroencefalograma (EEG). En los últimos años, los modelos de codificación (encoding) y aprendizaje automático han avanzado considerablemente, facilitando una transición a diseños experimentales que contemplan estímulos dinámicos naturales, como el habla. En este trabajo se busca comprender cómo se codifican en el cerebro los distintos atributos del habla en el marco de un diálogo natural no guionado. Para ello se parte de características de bajo nivel (envolvente, frecuencia fundamental, espectrograma) y, luego, se utilizan atributos de alto nivel como los fonemas y las características fonológicas. Los resultados muestran que la inclusión de las características de alto nivel mejoran la predicción de la señal cerebral a partir del habla para todas las bandas de frecuencia consideradas. Además, las predicciones hechas sobre fonemas y características fonológicas indican que la sensibilidad neuronal es compatible con la hipótesis de un sistema de procesamiento jerárquico del lenguaje.
Studying speech in natural environments presents significant challenges for traditional electroencephalography (EEG) analysis approaches. In recent years, encoding models and machine learning techniques have made substantial progress, enabling a shift toward experimental designs that incorporate naturalistic, dynamic stimuli such as speech. This study aims to understand how different speech attributes are encoded in the brain during unscripted natural dialogue. We begin by analyzing low-level features (envelope, fundamental frequency, spectrogram) and then incorporate higher-level features, such as phonemes and phonological attributes. The results show that including high-level features improves the prediction of neural responses from speech across all frequency bands. Moreover, predictions based on phonemes and phonological features suggest that neural sensitivity is consistent with a hierarchical language processing system.
Sociedad Argentina de Informática e Investigación Operativa