Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales
- Autores
- García Terra, Ignacio Alfonso
- Año de publicación
- 2022
- Idioma
- español castellano
- Tipo de recurso
- tesis de maestría
- Estado
- versión aceptada
- Colaborador/a o director/a de tesis
- Pardo, Álvaro
Speziale, Anabella
Jalkh, Heidi
Brianza, Alejandro - Descripción
- This thesis deals with an interactive sound visualization system, the research culminates with the prototype of an application that composes a visual sound piece from a MIDI file entered by the user. The system has adjustment controls that allow you to manipulate the interaction between sound and image. Thanks to technology it is possible to manage, on the one hand, the phenomenon of synesthesia (union of two sensations coming from different sensory domains, auditory and visual) and, on the other hand, and in a deeper way, an artificial intelligence algorithm that learns from the input sound and autonomously creates audiovisual pieces.\nThe path of this research is based on identifying and defining a problem, recognizing the elements that compose it, collecting data, analyzing them, proposing solutions with basic proposals, establishing materials and tools to develop the solution, experimentation, modeling and sketches, to achieve the design of an interactive sound visualization system.\nThe work develops concepts of synesthesia and sound visualization, and merges them into a first version of a system that applies components in design, interaction, technology and art. At the core of the app is the artificial intelligence algorithm that is fed the MIDI audio files. In this way, the system generates a clip in which the sounds are associated with the image, whose operation is covered by the concept of synesthesia, supporting the events associated between the image and the sound.\nThe developed code is available for more advanced users to experiment with different configurations, in this way it is possible to extract other sound parameters and achieve different sound images.\nThe proposed research and the creation of the system are defined under the representation of the union of visual and sound emotions, studying the behavior of sound and image and evaluating how it is possible to link their characteristics. Although there is research in this line, this work emphasizes an open source system, prepared to show the crossing procedure of these sensations in an interactive way and with contributions in the autonomous creation of sound and image.
Fil: García Terra, Ignacio Alfonso. Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo. Buenos Aires, Argentina
Esta tesis trata sobre un sistema interactivo de visualización de sonido, la investigación culmina con el prototipo de una aplicación que compone una pieza sonora visual a partir de un archivo MIDI ingresado por el usuario. El sistema tiene controles de ajustes que permiten manipular la interacción entre sonido e imagen. Gracias a la tecnología es posible manejar, por un lado, el fenómeno de sinestesia (unión de dos sensaciones procedentes de diferentes dominios sensoriales, la auditiva y la visual) y, por otra parte, y de manera más profunda, un algoritmo de inteligencia artificial que aprende del sonido ingresado y crea de manera autónoma piezas audiovisuales.\nEl recorrido de esta investigación se basa en identificar y definir un problema, reconocer los elementos que lo componen, recolectar los datos, analizarlos, proponer soluciones con propuestas básicas, establecer materiales y herramientas para desarrollar la solución, experimentación, modelado y bocetos, para lograr el diseño de un sistema interactivo de visualización sonora.\nEl trabajo desarrolla conceptos de sinestesia y visualización de sonido, y los fusiona en una primera versión de un sistema que aplica componentes en diseño, interacción, tecnología y arte. En el centro de la aplicación se encuentra el algoritmo de inteligencia artificial que es alimentado con los archivos de audio MIDI. De esta manera, el sistema genera un clip en el que los sonidos se asocian a la imagen, cuyo funcionamiento queda cubierto con el concepto de sinestesia, apoyando a los eventos asociados entre la imagen y el sonido.\nEl código desarrollado queda disponible para que los usuarios más avanzados experimenten distintas configuraciones, de esta forma es posible extraer otros parámetros del sonido y lograr diferentes imágenes sonoras.\nLa investigación propuesta y la creación del sistema están definidos bajo la representación de la unión de las emociones visuales y sonoras, estudiando el comportamiento del sonido y la imagen y evaluando cómo es posible vincular sus características. Si bien existen investigaciones en esta línea, este trabajo tiene énfasis en un sistema de código abierto, preparado para mostrar el procedimiento de cruce de dichas sensaciones de manera interactiva y con aportes en la creación autónoma de sonido e imagen.
Magister de la Universidad de Buenos Aires en Diseño Interactivo - Materia
-
Arte y tecnología
Diseño
Interactividad
Diseño de sonido
Diseño de imagen
Diseño interactivo
Educación en diseño interactivo
Art and technology
Design
Interactivity
Sound design
Image design
Interactive design
Interactive design education
Arte
Comunicación visual
Creatividad
Experimentación
Imagen
Inteligencia artificial
Investigación
Materiales audiovisuales
Proyectos
Sonido
Tecnología - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- https://creativecommons.org/licenses/by-nc-nd/2.5/ar/
- Repositorio
- Institución
- Universidad de Buenos Aires
- OAI Identificador
- oai:RDI UBA:aaqmas:HWA_7646
Ver los metadatos del registro completo
id |
RDIUBA_f517682151ec05525679e10fc6a544cf |
---|---|
oai_identifier_str |
oai:RDI UBA:aaqmas:HWA_7646 |
network_acronym_str |
RDIUBA |
repository_id_str |
|
network_name_str |
Repositorio Digital Institucional de la Universidad de Buenos Aires |
spelling |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversalesGarcía Terra, Ignacio AlfonsoArte y tecnologíaDiseñoInteractividadDiseño de sonidoDiseño de imagenDiseño interactivoEducación en diseño interactivoArt and technologyDesignInteractivitySound designImage designInteractive designInteractive design educationArteComunicación visualCreatividadExperimentaciónImagenInteligencia artificialInvestigaciónMateriales audiovisualesProyectosSonidoTecnologíaThis thesis deals with an interactive sound visualization system, the research culminates with the prototype of an application that composes a visual sound piece from a MIDI file entered by the user. The system has adjustment controls that allow you to manipulate the interaction between sound and image. Thanks to technology it is possible to manage, on the one hand, the phenomenon of synesthesia (union of two sensations coming from different sensory domains, auditory and visual) and, on the other hand, and in a deeper way, an artificial intelligence algorithm that learns from the input sound and autonomously creates audiovisual pieces.\nThe path of this research is based on identifying and defining a problem, recognizing the elements that compose it, collecting data, analyzing them, proposing solutions with basic proposals, establishing materials and tools to develop the solution, experimentation, modeling and sketches, to achieve the design of an interactive sound visualization system.\nThe work develops concepts of synesthesia and sound visualization, and merges them into a first version of a system that applies components in design, interaction, technology and art. At the core of the app is the artificial intelligence algorithm that is fed the MIDI audio files. In this way, the system generates a clip in which the sounds are associated with the image, whose operation is covered by the concept of synesthesia, supporting the events associated between the image and the sound.\nThe developed code is available for more advanced users to experiment with different configurations, in this way it is possible to extract other sound parameters and achieve different sound images.\nThe proposed research and the creation of the system are defined under the representation of the union of visual and sound emotions, studying the behavior of sound and image and evaluating how it is possible to link their characteristics. Although there is research in this line, this work emphasizes an open source system, prepared to show the crossing procedure of these sensations in an interactive way and with contributions in the autonomous creation of sound and image.Fil: García Terra, Ignacio Alfonso. Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo. Buenos Aires, ArgentinaEsta tesis trata sobre un sistema interactivo de visualización de sonido, la investigación culmina con el prototipo de una aplicación que compone una pieza sonora visual a partir de un archivo MIDI ingresado por el usuario. El sistema tiene controles de ajustes que permiten manipular la interacción entre sonido e imagen. Gracias a la tecnología es posible manejar, por un lado, el fenómeno de sinestesia (unión de dos sensaciones procedentes de diferentes dominios sensoriales, la auditiva y la visual) y, por otra parte, y de manera más profunda, un algoritmo de inteligencia artificial que aprende del sonido ingresado y crea de manera autónoma piezas audiovisuales.\nEl recorrido de esta investigación se basa en identificar y definir un problema, reconocer los elementos que lo componen, recolectar los datos, analizarlos, proponer soluciones con propuestas básicas, establecer materiales y herramientas para desarrollar la solución, experimentación, modelado y bocetos, para lograr el diseño de un sistema interactivo de visualización sonora.\nEl trabajo desarrolla conceptos de sinestesia y visualización de sonido, y los fusiona en una primera versión de un sistema que aplica componentes en diseño, interacción, tecnología y arte. En el centro de la aplicación se encuentra el algoritmo de inteligencia artificial que es alimentado con los archivos de audio MIDI. De esta manera, el sistema genera un clip en el que los sonidos se asocian a la imagen, cuyo funcionamiento queda cubierto con el concepto de sinestesia, apoyando a los eventos asociados entre la imagen y el sonido.\nEl código desarrollado queda disponible para que los usuarios más avanzados experimenten distintas configuraciones, de esta forma es posible extraer otros parámetros del sonido y lograr diferentes imágenes sonoras.\nLa investigación propuesta y la creación del sistema están definidos bajo la representación de la unión de las emociones visuales y sonoras, estudiando el comportamiento del sonido y la imagen y evaluando cómo es posible vincular sus características. Si bien existen investigaciones en esta línea, este trabajo tiene énfasis en un sistema de código abierto, preparado para mostrar el procedimiento de cruce de dichas sensaciones de manera interactiva y con aportes en la creación autónoma de sonido e imagen.Magister de la Universidad de Buenos Aires en Diseño InteractivoUniversidad de Buenos Aires. Facultad de Arquitectura, Diseño y UrbanismoPardo, ÁlvaroSpeziale, AnabellaJalkh, HeidiBrianza, Alejandro2022-12-06info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_bdccinfo:ar-repo/semantics/tesisDeMaestriaapplication/pdfhttp://repositoriouba.sisbi.uba.ar/gsdl/cgi-bin/library.cgi?a=d&c=aaqmas&cl=CL1&d=HWA_7646https://repositoriouba.sisbi.uba.ar/gsdl/collect/aaqmas/index/assoc/HWA_7646.dir/7646.PDFspainfo:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-nd/2.5/ar/reponame:Repositorio Digital Institucional de la Universidad de Buenos Airesinstname:Universidad de Buenos Aires2025-09-29T15:11:56Zoai:RDI UBA:aaqmas:HWA_7646instacron:UBAInstitucionalhttp://repositoriouba.sisbi.uba.ar/Universidad públicahttps://www.uba.ar/http://repositoriouba.sisbi.uba.ar/gsdl/cgi-bin/oaiserver.cgicferrando@sisbi.uba.arArgentinaopendoar:2025-09-29 15:11:57.351Repositorio Digital Institucional de la Universidad de Buenos Aires - Universidad de Buenos Airesfalse |
dc.title.none.fl_str_mv |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
title |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
spellingShingle |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales García Terra, Ignacio Alfonso Arte y tecnología Diseño Interactividad Diseño de sonido Diseño de imagen Diseño interactivo Educación en diseño interactivo Art and technology Design Interactivity Sound design Image design Interactive design Interactive design education Arte Comunicación visual Creatividad Experimentación Imagen Inteligencia artificial Investigación Materiales audiovisuales Proyectos Sonido Tecnología |
title_short |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
title_full |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
title_fullStr |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
title_full_unstemmed |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
title_sort |
Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales |
dc.creator.none.fl_str_mv |
García Terra, Ignacio Alfonso |
author |
García Terra, Ignacio Alfonso |
author_facet |
García Terra, Ignacio Alfonso |
author_role |
author |
dc.contributor.none.fl_str_mv |
Pardo, Álvaro Speziale, Anabella Jalkh, Heidi Brianza, Alejandro |
dc.subject.none.fl_str_mv |
Arte y tecnología Diseño Interactividad Diseño de sonido Diseño de imagen Diseño interactivo Educación en diseño interactivo Art and technology Design Interactivity Sound design Image design Interactive design Interactive design education Arte Comunicación visual Creatividad Experimentación Imagen Inteligencia artificial Investigación Materiales audiovisuales Proyectos Sonido Tecnología |
topic |
Arte y tecnología Diseño Interactividad Diseño de sonido Diseño de imagen Diseño interactivo Educación en diseño interactivo Art and technology Design Interactivity Sound design Image design Interactive design Interactive design education Arte Comunicación visual Creatividad Experimentación Imagen Inteligencia artificial Investigación Materiales audiovisuales Proyectos Sonido Tecnología |
dc.description.none.fl_txt_mv |
This thesis deals with an interactive sound visualization system, the research culminates with the prototype of an application that composes a visual sound piece from a MIDI file entered by the user. The system has adjustment controls that allow you to manipulate the interaction between sound and image. Thanks to technology it is possible to manage, on the one hand, the phenomenon of synesthesia (union of two sensations coming from different sensory domains, auditory and visual) and, on the other hand, and in a deeper way, an artificial intelligence algorithm that learns from the input sound and autonomously creates audiovisual pieces.\nThe path of this research is based on identifying and defining a problem, recognizing the elements that compose it, collecting data, analyzing them, proposing solutions with basic proposals, establishing materials and tools to develop the solution, experimentation, modeling and sketches, to achieve the design of an interactive sound visualization system.\nThe work develops concepts of synesthesia and sound visualization, and merges them into a first version of a system that applies components in design, interaction, technology and art. At the core of the app is the artificial intelligence algorithm that is fed the MIDI audio files. In this way, the system generates a clip in which the sounds are associated with the image, whose operation is covered by the concept of synesthesia, supporting the events associated between the image and the sound.\nThe developed code is available for more advanced users to experiment with different configurations, in this way it is possible to extract other sound parameters and achieve different sound images.\nThe proposed research and the creation of the system are defined under the representation of the union of visual and sound emotions, studying the behavior of sound and image and evaluating how it is possible to link their characteristics. Although there is research in this line, this work emphasizes an open source system, prepared to show the crossing procedure of these sensations in an interactive way and with contributions in the autonomous creation of sound and image. Fil: García Terra, Ignacio Alfonso. Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo. Buenos Aires, Argentina Esta tesis trata sobre un sistema interactivo de visualización de sonido, la investigación culmina con el prototipo de una aplicación que compone una pieza sonora visual a partir de un archivo MIDI ingresado por el usuario. El sistema tiene controles de ajustes que permiten manipular la interacción entre sonido e imagen. Gracias a la tecnología es posible manejar, por un lado, el fenómeno de sinestesia (unión de dos sensaciones procedentes de diferentes dominios sensoriales, la auditiva y la visual) y, por otra parte, y de manera más profunda, un algoritmo de inteligencia artificial que aprende del sonido ingresado y crea de manera autónoma piezas audiovisuales.\nEl recorrido de esta investigación se basa en identificar y definir un problema, reconocer los elementos que lo componen, recolectar los datos, analizarlos, proponer soluciones con propuestas básicas, establecer materiales y herramientas para desarrollar la solución, experimentación, modelado y bocetos, para lograr el diseño de un sistema interactivo de visualización sonora.\nEl trabajo desarrolla conceptos de sinestesia y visualización de sonido, y los fusiona en una primera versión de un sistema que aplica componentes en diseño, interacción, tecnología y arte. En el centro de la aplicación se encuentra el algoritmo de inteligencia artificial que es alimentado con los archivos de audio MIDI. De esta manera, el sistema genera un clip en el que los sonidos se asocian a la imagen, cuyo funcionamiento queda cubierto con el concepto de sinestesia, apoyando a los eventos asociados entre la imagen y el sonido.\nEl código desarrollado queda disponible para que los usuarios más avanzados experimenten distintas configuraciones, de esta forma es posible extraer otros parámetros del sonido y lograr diferentes imágenes sonoras.\nLa investigación propuesta y la creación del sistema están definidos bajo la representación de la unión de las emociones visuales y sonoras, estudiando el comportamiento del sonido y la imagen y evaluando cómo es posible vincular sus características. Si bien existen investigaciones en esta línea, este trabajo tiene énfasis en un sistema de código abierto, preparado para mostrar el procedimiento de cruce de dichas sensaciones de manera interactiva y con aportes en la creación autónoma de sonido e imagen. Magister de la Universidad de Buenos Aires en Diseño Interactivo |
description |
This thesis deals with an interactive sound visualization system, the research culminates with the prototype of an application that composes a visual sound piece from a MIDI file entered by the user. The system has adjustment controls that allow you to manipulate the interaction between sound and image. Thanks to technology it is possible to manage, on the one hand, the phenomenon of synesthesia (union of two sensations coming from different sensory domains, auditory and visual) and, on the other hand, and in a deeper way, an artificial intelligence algorithm that learns from the input sound and autonomously creates audiovisual pieces.\nThe path of this research is based on identifying and defining a problem, recognizing the elements that compose it, collecting data, analyzing them, proposing solutions with basic proposals, establishing materials and tools to develop the solution, experimentation, modeling and sketches, to achieve the design of an interactive sound visualization system.\nThe work develops concepts of synesthesia and sound visualization, and merges them into a first version of a system that applies components in design, interaction, technology and art. At the core of the app is the artificial intelligence algorithm that is fed the MIDI audio files. In this way, the system generates a clip in which the sounds are associated with the image, whose operation is covered by the concept of synesthesia, supporting the events associated between the image and the sound.\nThe developed code is available for more advanced users to experiment with different configurations, in this way it is possible to extract other sound parameters and achieve different sound images.\nThe proposed research and the creation of the system are defined under the representation of the union of visual and sound emotions, studying the behavior of sound and image and evaluating how it is possible to link their characteristics. Although there is research in this line, this work emphasizes an open source system, prepared to show the crossing procedure of these sensations in an interactive way and with contributions in the autonomous creation of sound and image. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-12-06 |
dc.type.none.fl_str_mv |
info:eu-repo/semantics/masterThesis info:eu-repo/semantics/acceptedVersion http://purl.org/coar/resource_type/c_bdcc info:ar-repo/semantics/tesisDeMaestria |
format |
masterThesis |
status_str |
acceptedVersion |
dc.identifier.none.fl_str_mv |
http://repositoriouba.sisbi.uba.ar/gsdl/cgi-bin/library.cgi?a=d&c=aaqmas&cl=CL1&d=HWA_7646 https://repositoriouba.sisbi.uba.ar/gsdl/collect/aaqmas/index/assoc/HWA_7646.dir/7646.PDF |
url |
http://repositoriouba.sisbi.uba.ar/gsdl/cgi-bin/library.cgi?a=d&c=aaqmas&cl=CL1&d=HWA_7646 https://repositoriouba.sisbi.uba.ar/gsdl/collect/aaqmas/index/assoc/HWA_7646.dir/7646.PDF |
dc.language.none.fl_str_mv |
spa |
language |
spa |
dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess https://creativecommons.org/licenses/by-nc-nd/2.5/ar/ |
eu_rights_str_mv |
openAccess |
rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-nd/2.5/ar/ |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo |
publisher.none.fl_str_mv |
Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo |
dc.source.none.fl_str_mv |
reponame:Repositorio Digital Institucional de la Universidad de Buenos Aires instname:Universidad de Buenos Aires |
reponame_str |
Repositorio Digital Institucional de la Universidad de Buenos Aires |
collection |
Repositorio Digital Institucional de la Universidad de Buenos Aires |
instname_str |
Universidad de Buenos Aires |
repository.name.fl_str_mv |
Repositorio Digital Institucional de la Universidad de Buenos Aires - Universidad de Buenos Aires |
repository.mail.fl_str_mv |
cferrando@sisbi.uba.ar |
_version_ |
1844624350455529472 |
score |
12.559606 |