Archipel, écoute musicale et visualisation

Musimorphose, un projet ANR composé de chercheurs en musicologie et en visualisation scientifique portait sur la musique et le virage du numérique.

Archipel de bibliothèque musicale

Dans ce cadre, en collaboration avec Pascale Kuntz et Nicolas Greffard, j'ai développé un outil d'analyse et de visualisation de bibliothèques musicales. Cet outil utilise une métaphore d'archipel d'îles. Les genres sont des îles et leur élévation correspond au nombres de morceaux de musiques pour ce genre.

Echonest, une entreprise spécialisée dans l'analyse sonore, possède une api, qui renvoit pour chaque titre de morceau, un vecteur de descripteurs numériques (12 dimensions). Une distribution de genres musicaux est également disponible pour chaque artist. Nous utilisons ces données pour placer les îles.

Dans notre outil, le placement des îles est réalisé au choix via une carte auto-organisatrice (SOM : self organizing map) ou via une analyse en composantes principales (ACP).

Archipel de comparaison de bibliothèques musicales

Un archipel de comparaison de bibliothèques musicales a ensuite été conçu. Il compare 2 librairies musicales. Une approche "facette" est utilisée et les îles peuvent correspondrent à des genres, des artistes, des albums ou des morceaux. Chaque île représente le cardinal de la différence de morceaux pour le concept correspondant. La couleur est choisie en fonction la bibliothèque qui a le plus de morceaux pour cette île.

Le filtrage et la navigation dans les données se font par des clics sur les îles. Au niveau genre musical, un clic sur l'île "electro" produit un nouvel archipel composé des artistes relevant de l'"electro". Un clic sur un des artistes engendre un archipel composé des albums de cet artiste.

L'exploration de la comparaison s'effectue également par le choix de composition des deux bilbliothèques A et B. L'outil donne le choix entre les morceaux de A union B, A inter B, A mois B, B moins A.

Ces dernières options autorisent l'exploration des genres communs, des morceaux de musique en communs, des morceaux que l'une des bibliothèques possède mais pas l'autre, etc.

Ces travaux ont été publiés à divers endroits :