Sistema interactivo de visualización de sonido : arte y tecnología, diseño e interactividad como herramientas transversales

• Autores: García Terra, Ignacio Alfonso
• Año de publicación: 2022
• Idioma: español castellano
• Tipo de recurso: tesis de maestría
• Colaborador/a o director/a de tesis: Pardo, Álvaro; Speziale, Anabella; Jalkh, Heidi; Brianza, Alejandro
• Materia: Arte y tecnología; Diseño; Interactividad; Diseño de sonido; Diseño de imagen; Diseño interactivo; Educación en diseño interactivo; Art and technology; Design; Interactivity; Sound design; Image design; Interactive design; Interactive design education; Arte; Comunicación visual; Creatividad; Experimentación; Imagen; Inteligencia artificial; Investigación; Materiales audiovisuales; Proyectos; Sonido; Tecnología
• Institución: Universidad de Buenos Aires

This thesis deals with an interactive sound visualization system, the research culminates with the prototype of an application that composes a visual sound piece from a MIDI file entered by the user. The system has adjustment controls that allow you to manipulate the interaction between sound and image. Thanks to technology it is possible to manage, on the one hand, the phenomenon of synesthesia (union of two sensations coming from different sensory domains, auditory and visual) and, on the other hand, and in a deeper way, an artificial intelligence algorithm that learns from the input sound and autonomously creates audiovisual pieces.\nThe path of this research is based on identifying and defining a problem, recognizing the elements that compose it, collecting data, analyzing them, proposing solutions with basic proposals, establishing materials and tools to develop the solution, experimentation, modeling and sketches, to achieve the design of an interactive sound visualization system.\nThe work develops concepts of synesthesia and sound visualization, and merges them into a first version of a system that applies components in design, interaction, technology and art. At the core of the app is the artificial intelligence algorithm that is fed the MIDI audio files. In this way, the system generates a clip in which the sounds are associated with the image, whose operation is covered by the concept of synesthesia, supporting the events associated between the image and the sound.\nThe developed code is available for more advanced users to experiment with different configurations, in this way it is possible to extract other sound parameters and achieve different sound images.\nThe proposed research and the creation of the system are defined under the representation of the union of visual and sound emotions, studying the behavior of sound and image and evaluating how it is possible to link their characteristics. Although there is research in this line, this work emphasizes an open source system, prepared to show the crossing procedure of these sensations in an interactive way and with contributions in the autonomous creation of sound and image.
Fil: García Terra, Ignacio Alfonso. Universidad de Buenos Aires. Facultad de Arquitectura, Diseño y Urbanismo. Buenos Aires, Argentina
Esta tesis trata sobre un sistema interactivo de visualización de sonido, la investigación culmina con el prototipo de una aplicación que compone una pieza sonora visual a partir de un archivo MIDI ingresado por el usuario. El sistema tiene controles de ajustes que permiten manipular la interacción entre sonido e imagen. Gracias a la tecnología es posible manejar, por un lado, el fenómeno de sinestesia (unión de dos sensaciones procedentes de diferentes dominios sensoriales, la auditiva y la visual) y, por otra parte, y de manera más profunda, un algoritmo de inteligencia artificial que aprende del sonido ingresado y crea de manera autónoma piezas audiovisuales.\nEl recorrido de esta investigación se basa en identificar y definir un problema, reconocer los elementos que lo componen, recolectar los datos, analizarlos, proponer soluciones con propuestas básicas, establecer materiales y herramientas para desarrollar la solución, experimentación, modelado y bocetos, para lograr el diseño de un sistema interactivo de visualización sonora.\nEl trabajo desarrolla conceptos de sinestesia y visualización de sonido, y los fusiona en una primera versión de un sistema que aplica componentes en diseño, interacción, tecnología y arte. En el centro de la aplicación se encuentra el algoritmo de inteligencia artificial que es alimentado con los archivos de audio MIDI. De esta manera, el sistema genera un clip en el que los sonidos se asocian a la imagen, cuyo funcionamiento queda cubierto con el concepto de sinestesia, apoyando a los eventos asociados entre la imagen y el sonido.\nEl código desarrollado queda disponible para que los usuarios más avanzados experimenten distintas configuraciones, de esta forma es posible extraer otros parámetros del sonido y lograr diferentes imágenes sonoras.\nLa investigación propuesta y la creación del sistema están definidos bajo la representación de la unión de las emociones visuales y sonoras, estudiando el comportamiento del sonido y la imagen y evaluando cómo es posible vincular sus características. Si bien existen investigaciones en esta línea, este trabajo tiene énfasis en un sistema de código abierto, preparado para mostrar el procedimiento de cruce de dichas sensaciones de manera interactiva y con aportes en la creación autónoma de sonido e imagen.
Magister de la Universidad de Buenos Aires en Diseño Interactivo