Esta IA puede interpretar la música que interpreta un instrumento solo usando señales visuales

By 06/02/2021 portal-3

Esta IA puede interpretar la música que interpreta un instrumento solo usando señales visuales

El aprendizaje automático ha servido a un grupo de investigadores de la Universidad de Washington para concebir un sistema, llamado Audeo, que crea audio a partir de interpretaciones de piano silenciosas.

Es decir, que esta inteligencia artificial recrea la experiencia interpretativa de los músicos y sus instrumentos utilizando solo señales visuales.

Audeo

Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música realmente reconozca como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.

Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart.

La fiabilidad a la hora de interpretar qué canción se toca por parte de Audeo es tan alta que incluso supera el de las apps de reconocimiento de canciones: las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo, mientras que Audeo alcanzó el 93%.

Audeo fue entrenado y probado solo en videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver cómo de bien puede transcribir música para cualquier músico o piano.


La noticia

Esta IA puede interpretar la música que interpreta un instrumento solo usando señales visuales

fue publicada originalmente en

Xataka Ciencia

por
Sergio Parra

.