The Sound of Data: Wie aus wissenschaftlichen Daten Musik wird

Valery Vermeulen hat zwei Leidenschaften: Musik und Mathematik, genauer gesagt theoretische Physik. Lange Zeit hieß es für ihn, sich für das eine oder das andere zu entscheiden. Vergangenen Dezember hat der promovierte Mathematiker nun ein Album veröffentlicht, das beide Leidenschaften miteinander vereint. Das musikalische Werk mit dem etwas sperrigen Titel „Mikromedas AdS/CFT 001“ ist gewissermaßen Vertonung von Schwarzen Löchern. Weil man sich diesen aber nicht nähern kann, ohne selbst von ihnen verschlungen zu werden, sind Wissenschaftler auf Simulationsmodelle angewiesen. Valery Vermeulen hat Daten aus solchen Simulationen für sein Projekt genutzt. Er hat sie allerdings nicht visualisiert, sondern sonifiziert, die Daten also in Klänge umgewandelt.

Bei „The Sound of Data“ kommt dem Mathematiker und Elektronik-Musiker deshalb eine ganz besondere Rolle zu. So wurden im Rahmen des Esch2022-Projekts an der Uni Luxemburg und am Luxembourg Institute of Science and Technology (LIST) verschiedene Daten gesammelt. Es handelt sich dabei um Verkehrsdaten, um historische Daten, um 3D-Bodyscan-Daten und um Daten, die über eine Crowdsourcing-Aktion gesammelt wurden. Die Aufgabe von Valery Vermeulen besteht zum einen darin, einen Teil der Daten in Musikbausteine umzuwandeln, mit denen dann für das Projekt ausgewählte Musiker arbeiten werden. Darüber hinaus wird der Sonifikations-Experte die Musiker bei diesem Projekt auch fachlich begleiten. Am 3. Dezember soll dann das Ergebnis dieses Experiments in der Rockhal präsentiert werden. Auch Valery Vermeulen wird dann auf der Bühne stehen.

Wie genau er bei seiner „Data sonification“ vorgeht, erklärt er aber bereits am 1. Mai um 18 Uhr in einer Lecture Performance beim „Science meets Music“ Event. Der Titel seines Vortrags: „Music, Deep Space and Black Holes”, ist der Titel seiner Lecture Performance.  

Science.lu hat im Vorfeld mit Valery Vermeulen ein Interview geführt:

Valery, bei Dir landen im Rahmen von „The Sound of Data“ alle Daten, die für die Sonifikation genutzt werden sollen. Wie gehst Du dabei als erstes vor?

Nun, der erste Schritt ist zunächst eine Visualisierung der Daten - soweit das möglich ist.  Ich gehe also erst einmal wie ein Datenwissenschaftler an die Sache ran, um zu sehen, was ich damit machen kann. Die Daten für dieses Projekt stammen ja aus vier wissenschaftlichen Teilprojekten und sind deshalb auch völlig unterschiedlich. Manche Datenätze sind folglich auch einfacher zu handhaben als andere.

Ist es schwieriger, mit den 3D-Daten aus dem Bodyscan zu arbeiten als beispielsweise mit den Verkehrsdaten oder aber den historischen Daten?

Ganz wichtig ist, ob die Daten einen zeitlichen Bezug haben, wie das beispielsweise bei den gesammelten Verkehrsdaten der Fall ist. Diese Zeitkomponente macht die Sonifikation einfacher. Und gleiches gilt im Grunde auch für die Daten aus der Crowdsourcing-Aktion. Bei den Daten aus dem 3D-Bodyscan hingegen fehlt diese Zeitkomponente, weshalb die Sonifikation dieser Daten auch komplexer ist. Und was die historischen Daten betrifft, so bewegen wir uns da ein wenig dazwischen, weil es dabei ja auch um die Bedeutung bestimmter Wörter und damit um semantische Daten geht. Wir haben es also mit Daten zu tun, die sich nicht so eindeutig zuordnen lassen.

Reichen Dir die Daten dafür aus oder benötigst Du auch zusätzliche Informationen darüber, wie die Datensätze entstanden sind?

Die Daten allein reichen für mich zunächst erst einmal aus. Aber ich muss natürlich wissen, was sich hinter diesen Daten verbirgt und in welcher Korrelation sie gegebenenfalls zu anderen Datensträngen aus dem jeweiligen Projekt stehen. Da ich als Mathematiker aber auch mehr als 15 Jahre datenwissenschaftlich gearbeitet habe, weiß ich auch, wie ich vorgehen muss.

Wie bereitest Du die Daten für die Musiker auf? Werden sie in Noten umgewandelt?

Ich schaue zunächst, welche Strategien der Sonifikation sich am besten eignen und experimentiere dann ein bisschen damit. Und in den Workshops, die ich ja leiten werde, möchte ich die Teilnehmer mit diesen Strategien vertraut machen. Damit sie wissen, was sie mit den Daten alles machen können. Ich benötige dazu ein paar repräsentative Samples der Daten. Es geht nicht darum, dass ich ein großes Archiv an Samples aus der Datenmenge erstelle. Das ist dann eher eine Option der Workshop-Teilnehmer.

Natürlich wäre es auch möglich, die Daten einfach in Noten umzuwandeln. Aber diesen Ansatz finde ich nicht zeitgemäß. Es ist recht einfach, ein Programm zu erstellen, dass diese Aufgabe übernimmt. Viel interessanter ist es aber, möglichst tief in die Daten einzutauchen, um auch etwas über die Struktur zu erfahren.

Das ist aber nicht Deine einzige Rolle bei die The Sound of Data, oder?

Nein, ganz und gar nicht.  Ich werde während des Projekts über einen Zeitraum von sechs Monaten eine ganze Reihe an Workshops veranstalten, bei denen ich die Musiker zunächst mit der Datensonifikation und bestimmten Strategien der Sonifikation vertraut machen werde. Die Musiker erhalten von mir Anleitungen für ihre Kompositionen, die sie am 3. Dezember in der Rockhal präsentieren werden. Darüber hinaus werde ich selbst aus den Bodyscan-Daten ein 45-müntiges Werk komponieren und dieses dann ebenfalls an diesem Tag in der Rockhal uraufführen. Alles in allem übernehme ich damit den größten Teil, was die künstlerische Seite des Projekts betrifft.

Du bist natürlich auch beim großen Auftakt-Event „Science meets Music“ am 1. Mai in der Rockhal dabei. Was erwartet die Besucher bei Deiner Lecture Performance?

Es geht dabei unter anderem um die Arbeit hinter meinem Projekt Mikromedas, aus dem das Album über das Schwarze Loch entstanden ist. Vor allem aber werde ich mich in meiner Lecture Perfomance damit befassen, wie sich mit Hilfe der Sonifikation Musik und Mathematik miteinander verbinden lassen. Und alles, was ich erkläre, werde ich dann natürlich auch anhand von Beispielen live demonstrieren.

Du verwendest wissenschaftliche Daten, um Musik zu produzieren. Inwieweit glaubst Du, dass dieser kreative Prozess umgekehrt auch für die Wissenschaft nützlich sein kann?

Normalerweise werden Daten visualisiert. Wenn man sie ergänzend dazu auch noch sonifiziert, kann man mitunter neue Elemente und Strukturen entdecken. Ich arbeite aktuell mit Körperdaten und muss deshalb neue Möglichkeiten suchen, mit denen ich 3D-Daten sonifizieren kann. Es geht um die Verbindung von Geometrie und Sound. Bei meinem Projekt zur Sonifikation des Schwarze Lochs stand ich vor der Herausforderung, die Gravitationswellen zu vertonen, die entstehen, wenn sich Schwarze Löcher zu einem vereinen.

Es gab zwar bereits sonifizierte Daten dieser Schwarzen Löcher, aber der daraus entstandene Sound war nicht so inspirierend. Weshalb ich einen neuen Weg suchte, die schwarzen Löcher zu sonifizieren. Ich musste mich dafür intensiver mit der Physik der Gravitationswellen befassen, habe Vorgänge simuliert und mich auch mit Abläufen befasst, die so noch nicht erforscht waren. Ich habe zwar dabei keine wissenschaftlich bedeutsamen Entdeckungen gemacht, bin aber durchaus auf interessante Zusammenhänge gestoßen. Die Sonifikation hilft in meinen Fall also dabei, sich auf eine andere Art und Weise mit der Physik auseinanderzusetzen.

Interview: Uwe Hentschel

Alle Infos zu den Sound of Data findest Du hier.