Imaginá un instrumento musical digital y de software libre. Ahora sumale que utilice técnicas de Inteligencia Artificial y que permita experimentar con la materia sonora. A eso agregale una interfaz visual que entregue una gigantesca constelación multicolor en la que se reconozcan distintos sectores según el carácter tímbrico de cada sonido. Incorporale la posibilidad de utilizar protocolos de comunicación con otros aparatos, incluso tu celular. Finalmente, imaginalo como un desarrollo local a través de una universidad pública. Eso es AudioStellar.
Este proyecto de investigación es llevado adelante por Leandro Garber en el marco del MUNTREF Centro de Arte y Ciencia, de la Universidad Nacional de Tres de Febrero. Junto a él han trabajado Tomás Ciccola y Juan Cruz Amusategui, estudiantes de investigación y colaboradores en el desarrollo de este proyecto centrado en la búsqueda de nuevos timbres, texturas y estrategias compositivas utilizando tecnologías de vanguardia.
AudioStellar procesa una carpeta con sonidos y genera un mapa colocando cada audio como un punto en un espacio 2D. Puntos cercanos corresponden a sonidos similares espectralmente (o sea, de timbres semejantes), mientras que puntos alejados representan sonidos distintos.
"Esto permite explorar librerías de sonido o grabaciones de campo, siendo asistide por una inteligencia artificial que revela la estructura preexistente en las relaciones entre los audios, y por otro lado reproducir los audios a través de nuevas lógicas y criterios que no es posible alcanzar mediante técnicas tradicionales", cuenta Leandro.
Licenciado en Artes Electrónicas y especializado en Machine Learning, Garber explica que pueden reconocerse dos vertientes en el proyecto: "Una artística, apuntada a la performance, que implica la búsqueda de nuevos sonidos mediante estrategias de síntesis y diseño sonoro no tradicionales; y otra tecnológica/científica, donde se estudian nuevas técnicas vinculadas con análisis de datos a través de redes neuronales artificiales, que dialogan con la vertiente artística".
Garber repasa lo que son, luego de más de un año y medio de dedicación, los tres modos generales de AudioStellar:
- 1. Modo exploración, que permite analizar el mapa y escuchar las relaciones sugeridas.
- 2. Modo partículas, que da la posibilidad de emitir agentes autónomos móviles y configurables, capaces de reproducir los audios a partir de su movimiento en el mapa sonoro.
- 3. Modo secuencia, que sirve para dibujar constelaciones entre los puntos ubicados en el plano y reproducirlos de manera secuencial, utilizando la distancia como espacio entre los sonidos, generando ritmos.
Todos los modos son compatibles con MIDI y OSC, los protocolos de comunicación entre hardware más populares, lo cual significa que pueden conectarse diversos controladores físicos, como un dispositivo celular o tablet, e interactuar directamente con AudioStellar. "Estos primeros modos generales tienen en su interior cientos de distintas configuraciones posibles y están pensados para ser muy flexibles", amplía Garber.
Licencia libre para manipular sonidos
Es evidente el potencial artístico y gran parte de eso puede seguirse en el grupo de Facebook AudioStellar. Ahí, les usuaries publican sus pruebas, como el músico y productor Agustín Spinetto (ex miembro del dúo de rap El Orgullo de Mamá), quien desde Tokio utiliza AudioStellar como interfaz para controlar sintetizadores analógicos. De hecho, es un elemento central en su tesis para la Maestría de Creatividad Musical y el Entorno, de la Universidad de las Artes de la capital japonesa.
En ese mismo grupo, Garber publicó un video del colaborador Tomás Ciccola con Antonella Casanova, en el que muestran una de las formas más interesantes de utilizar AudioStellar: grabar una interpretación y luego cortarla en segmentos cortos. Una vez montada la carpeta de esos pequeños audios en AudioStellar, "podemos escuchar cómo el algoritmo de IA es capaz de separar vocales, consonantes, respiración, espacios vacíos y micro ruido".
En línea con los valores del software libre, AudioStellar es de código abierto y licencia libre, lo que lo convierte en una plataforma de investigación interdisciplinaria que cualquiera puede descargar, estudiar, modificar y distribuir como desee. "El proyecto despertó el interés de gente de distintos campos: arte sonoro, música, musicología, programación, ingeniería en sonido, ciencia de datos, por lo que mantener esta licencia y no apuntar a un software privativo comercial es mi principal interés", dice Garber.
AudioStellar concursó y fue aceptada en la conferencia internacional New Interfaces for Musical Expression (NIME) de 2019. También formó parte del simposio de arte sonoro Mundos Sonoros de UNTREF y como documento científico en la Machine Learning Summer School (MLSS) 2018 en el Instituto Di Tella.
Actualmente está abierta una convocatoria a la búsqueda de une artista sonoro para incorporarse al proyecto AudioStellar, para co-diseñar, llevar a cabo experimentos con el software y documentar estas experiencias. "Nuestros objetivos principales son estudiar e identificar las vetas gestuales-expresivas del proyecto, generar herramientas específicas a partir de los modos generales, presentar performances sonoras que utilicen el dispositivo y que dialoguen con otros instrumentos contemporáneos", concluye Garber.
