Variational autoencoders para el modelado de estilos de música

• Autores: Somacal, Lucas
• Año de publicación: 2023
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Miguel, Martín; Fernández Slezak, Diego
• Materia: VAE; TRANSFERENCIA DE ESTILOS; APRENDIZAJE AUTOMATICO; MUSICA; APRENDIZAJE PROFUNDO; VAE; STYLE TRANSFER; MACHINE LEARNING; MUSIC; DEEP LEARNING
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

En el presente trabajo se abordó el problema de transferencia de estilo en música, es decir, intentar cambiar un fragmento musical de cierto estilo musical a otro. Basándonos en trabajo previo, consideramos la manipulación del espacio latente a partir de un Variational Autoencoder (VAE) con el que codificamos fragmentos musicales a este espacio y operamos mediante vectores característicos de cada estilo musical. En este trabajo, nos propusimos lograr transferencia de estilos entre 4 específicos. A ese fin, comparamos tres modelos. Uno fue entrenado con un dataset de música general y luego evaluado en el dataset objetivo de 4 estilos. El segundo modelo fue fine-tuneado sobre el dataset objetivo y el tercero, solo entrenado sobre este dataset. Como parte de este trabajo, también presentamos una metodología de evaluación automática para medir si los fragmentos generados son musicales, se parecen al nuevo estilo y mantienen la identidad del fragmento original. Los tres modelos lograron transformaciones musicales con cambio de estilo. En particular, observamos que la musicalidad y la similitud con el original se van perdiendo a medida que la transformación es mayor pero a su vez se acercan cada vez más al nuevo estilo a medida que crece la magnitud de la transformación, a la vez que el los modelos entrenados sobre el dataset mayor obtienen mejores resultados.
In this work, we addressed the style transfer problem in music, that is, trying to change a musical fragment from a certain musical style to another. Based on previous work, we consider the manipulation of latent space from a Variational Autoencoder (VAE) with which we encode musical fragments to this space and operate through characteristic vectors of each musical style. In this work, we aimed to achieve style transfer between 4 specific styles. To that end, we compared three models. One was trained with a dataset of general music and then evaluated in the target dataset of 4 styles. The second model was finetuned on the target dataset and the third, only trained on this dataset. As part of this work, we also present an automatic evaluation methodology to measure whether the fragments generated are musical, resemble the new style and maintain the identity of the original fragment. The three models achieved musical transformations with a change of style. In particular, we observe that musicality and similarity with the original are lost as the transformation is greater but in turn they come closer to the new style as the magnitude of the transformation grows, at the same time the models trained on the greater dataset get better results.
Fil: Somacal, Lucas. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.