Fractal sounds

Abstract

El siguiente proyecto introduce un sistema integrado que combina música, movimiento corporal y generación de elementos visuales en tiempo real, haciendo uso de técnicas avanzadas de aprendizaje automático, visión por computadora y generación de imágenes basadas en fractales. Su principal innovación es ofrecer una experiencia multisensorial envolvente, diseñada no solo para entretener sino también para impulsar la expresión creativa y personal de los usuarios mediante una interacción intuitiva con la música y las visualizaciones generadas. Mediante la captura de movimientos del usuario, se facilita una interacción dinámica con los elementos visuales, lo que resulta en la creación de composiciones musicales únicas. Este proceso se apoya en una metodología que integra el aprendizaje automático (machine learning) para capturar movimiento y generar música a través del protocolo MIDI, junto con la producción de audio utilizando REAPER. Este proyecto destaca por su accesibilidad, ya que está diseñado para funcionar en computadoras personales con sistema operativo Windows, utilizando cámaras web estándar para la captura de movimiento. Esto facilita su implementación en una amplia variedad de entornos domésticos. Al explorar la relación dinámica entre música, imagen y movimiento, este proyecto no solo avanza las fronteras de la creación artística tecnológica sino que también ofrece una plataforma para la expresión personal y la experimentación creativa. De esta manera, promueve la integración entre la tecnología musical y visual para enriquecer la experiencia humana a través del movimiento. Estas características introducen componentes de HIC y UX design que guiaron este producto a su destino final.