Generación de vocabularios y extracción de tópicos para la detección de escenas acústicas mediante T-SNE y LDA

• Autores: Defagot, Adrían Gabriel
• Año de publicación: 2018
• Idioma: inglés
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Brusco, Pablo; Riera, Pablo Ernesto
• Materia: DETECCION DE ESCENAS ACUSTICAS; T-SNE; EXTRACCION DE TOPICOS INTERPRETABLES; REDUCCION DE DIMENSIONALIDAD; VOCABULARIO ACUSTICO; ACOUSTIC SCENE RECOGNITION; T-SNE; INTERPRETABLE TOPIC EXTRACTION; DIMENSIONALITY REDUCTION; ACOUSTIC VOCABULARY
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

En este trabajo se propone la utilización del modelo de extracción de tópicos Latent Dirichlet Allocation (LDA) para el reconocimiento de escenas acústicas a partir de múltiples grabaciones realizadas en diferentes ambientes. A partir de atributos característicos de la señal de audio como sus MFCCs, experimentamos sobre la combinación de técnicas de segmentación, reducción de dimensionalidad (PCA y t-SNE), técnicas de clustering (PAM, K-Means) para construir diferentes diccionarios acústicos que permitiesen transformar sonidos en palabras. La experimentación fue llevada a cabo utilizando el dataset proveniente de la competencia de detección de escenas ac´usticas TUT Acoustic Scenes 2016 y la base de efectos de sonidos BBC Complete Sound Effects Library en donde nos preguntamos si ¿será posible generar un diccionario acústico útil a partir de los datos?, ¿al agrupar sonidos en una misma palabra acústica, es posible que se compartan características auditivas reconocibles por humanos?, ¿los tópicos obtenidos contienen suficiente información como para realizar una tarea de clasificación de escenas?, y ¿los tópicos obtenidos componen un conjunto intuitivo e interpretable de sonidos que caractericen una situación?. Los resultados muestran que si bien la extracción de tópicos no superó el estado del arte en la tarea de detección de escenas acústicas, obtuvimos resultados prometedores y consideramos que decidir sobre la interpretabilidad de dichos tópicos resulta una tarea no trivial en donde serán necesarios experimentos a medida. Finalmente, la utilización de t-SNE como herramienta principal para proyectar características del espacio de alta dimensión, permitió luego agrupaciones acústicas con propiedades rítmicas y tímbricas reconocibles.
In this work we propose the use of the unsupervised topic model technique Latent Dirichlet Allocation (LDA) in an Acoustic Scene Recognition task. Based features we extracted from the audio signal such as MFCCs, we run several experiments combining segmentation techniques, dimensionality reduction (PCA & t-SNE), and clustering techniques (PAM & K-Means) in order to generate multiple acoustic dictionaries used to encode sounds as words. Experiments were carried out using a dataset from the Detection and Classification of Acoustic Scenes and Events 2016 competition (DCASE 2016), and the BBC Complete Sound Effects Library. Some of the research questions we aim were: is it possible to generate a meaningful acoustic dictionary based on this type of data? Do the clustered sounds share some human recognizable acoustic properties? Do extracted topics contain some information that will be useful in an acoustic scene classification task? Are the words in each of the extracted topics a useful description for a given scene?. Our results showed that besides the fact that topic extraction did not surpass the state of the art results in the task of detecting the acoustic scene, promising classification results can be obtained. Deciding about the interpretability of a topic resulted in a non-trivial task that requires tailor made experiments. Finally, using t-SNE as the main technique of dimensionality reduction allowed us to obtain acoustic clusters with both temporal and timbric recognizable properties.
Fil: Defagot, Adrían Gabriel. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.