Data Sonification vermittelt uns Statistiken über die Ohren und im besten Fall auch über ausgelöste Emotionen. In diesem Blogpost schaue ich für Sie Data Sonification näher an. Der Grund: Neben klassischen Vermittlungsformaten können auch ungewöhnliche Formate helfen, Zahlen und ihre Bedeutung verständlich und nachhaltig zu vermitteln.

Hier finden Sie den Teil 1.


Anwendungsfall Sie sonifizieren und erleben die Daten

Ich hatte vor kurzem das große Glück an einer Studie von Jordan Wirfs-Brock von der University of Colorado Boulder teilzunehmen – als Human Synthesizer.

Data Sonification mit einem human synthesizer.
Menschen als Ton generator*innen erzeugen gemeinsam ein Daten-Ton-Erlebnis
(Graze, Wirfs-Brock, 2022)

Meine Vorfreude war groß. Jedoch war ich auch etwas nervös. Denn mein musikalisches Darbietungs-Know-how beschränkt sich auf Singen-wenn-niemand-zuhört. Doch Jordan hat die Umsetzung sehr einfach angelegt. Dies gab uns drei Teilnehmenden zusätzlich Raum, über alternative Umsetzungen nachzudenken und etwas davon auszuprobieren. Ich war begeistert. Und ich hätte noch Stunden weiter sonifizieren können :-D

Worum ging es dabei? Jordan ist Journalistin, Daten-Analystin, Designerin und Wissenschaftlerin. Unter anderem interessieren sie ungewöhnliche, partizipatorische Zugänge zu Daten. Sie stellt gerade ihre Dissertation „Beyond the Bleeps & Bloops: Narrative, Multi-Sensory, and Social Approaches to Communicating Data with Sound“ fertig (Mehr als Piepstöne und geheimnisvolle Tiefseegeräusche: erzählerische, mehrfach sensorische und soziale Zugänge zur Kommunikation von Daten mit Tönen. Übersetzung Annette Hexelschneider).

Sonification der Erstellung eines Disserstationsansuchens

Jordan hat ihr Ringen mit dem Antrag zur Dissertation sonifiziert
Sehr anschauen- und anhörenswert, da sehr gute und nachfühlenswerte Einführung in die Sonification!!
Ein englisches Transkript kann man einblenden und gegebenenfalls zur Unterstützung extern in’s Deutsche übersetzen.

Das Thema der Forschungsstudie, an der ich teilnahm, ist „Learning to Listen to Data: Designing Interactive Recipes for Exploring Data, Sound and Narrative“ (Daten zuhören lernen: Interaktive Rezepte designen, mit denen man Daten, Töne und die Geschichte dazu erforschen kann. Übersetzung Annette Hexelschneider).

Wir Teilnehmerinnen (mit mir 3 Frauen aus Europa) waren eine „Versuchsanordnung“. 😉 Diese wurde mit uns zum 3.Mal wiederholt. Forschungsfragen waren

  • How does performing and encoding the data change how people think and relate to the data? (Wie verändert sich was Menschen über Daten denken/sich zu ihnen verhalten, wenn sie diese performativ kodieren. Übersetzung Annette Hexelschneider)
  • How does the collective group activity affect how people think about the data? (Wie beeinflusst die gemeinsame Aktivität was Menschen über Daten denken. Übersetzung Annette Hexelschneider)

Sonification von Luftqualitätsdaten

Human Synthesizer – Los Angeles – Juli 2022 – Air Quality Data Index von Jordan
für den unten beschriebenen Versuch

  1. Warm-up: Jede vertonte ihre Tagesstimmung mit einem Geräusch. 
In Wien war es da gerade klirrend kalt und ich habe mit einem Löffel leicht gegen ein Glas geschlagen.
  2. Dann ging es los.
 Wir haben die Tagesdaten vom Luftqualitätsindex (<= Beispiele Europa) aus zwei sehr unterschiedlichen Orten (Los Angeles, California, USA, und Thimpu, Bhutan), täglich gemessen im gleichen Monat, mit Geräuschen vertont.
  3. Vereinfacht hat Jordan dies für uns durch eine Tabelle mit farbigen Zellen je Luftqualitätsniveau (Zeilen) für die Tagesdaten (Spalten). 
Dies waren unsere Noten. Siehe Abbildung oben.
  4. Jede von uns hat ein Luftqualitätsniveau (= eine Zeile = eine Luftqualitätsniveau-Reihe/Tag an dem sie eintrat, also A oder B oder C oder D) tageweise vertont. 
Das heißt, jede hat ein bestimmtes Geräusch gemacht, wenn das ihr zugordnete Luftqualitätsniveau an diesem Tag vorherrschte. 
Um den Rhythmus der Tage des Monats zu halten, half uns ein tageweiser Taktgeber (Google’s eingebautes Metronom, Music Tools Google Assistant). 
Siehe Abbildung oben. Etwas hat Zoom den Rhythmus unterschiedlich für uns verzögert. Doch dieser Effekt war auch interessant.
  5. Danach haben wir uns das Ergebnis angehört und darüber gesprochen.

Wir hatten dann noch die Idee zu einer Variante mit unterschiedlich starkem Husten für unterschiedliche Luftqualitätsniveaus. 
Eine weitere Idee war, dass mehre Personen die gleiche Datenreihe vertonen.

Der Interaktion, dem Aneignen der Daten sind keine Grenzen gesetzt. Gerade weil dies ohne Musik-Know-how möglich ist, kann sich die Kreativität der Beteiligten sehr frei entfalten.

Wie könnten Sie diesen Anwendungsfall von Sonification nutzen?

  • Sie sonifizieren Ihre Daten oder fremde Daten, um sie mehr zu ergründen und Entdeckungen zu machen, sowie sich dazu zu verständigen.
  • Sie sonifizieren Diagramme, um sie für Menschen mit Sehschwäche oder blinde Menschen zugänglich/er zu machen. 
Dies ist teilweise möglich mit Diagrammsoftware. „Apple and Highcharts have already integrated an out-of-the-box audio implementation for their charts.“ (Apple und Highcharts bieten bereits eine fertige Audio-Umsetzung für ihre Diagramme. Übersetzung Annette Hexelschneider) (Graze, Wirfs-Brock, 2022) Wenn Sie dem Highchart-Link folgen, können Sie sich ein Liniendiagramm anhören.
    Natürlich können Sie abhängig von den Daten und der Kommunikationssituation Ihre Daten beziehungsweise Ihre Diagramme auch selbst vertonen, um sie so zugänglich/er für Menschen mit Sehbeeinträchtigungen zu machen. Dies kann auch nützlich sein als Ergänzung in Podcasts oder für Voice Assistants. Jordan beschreibt letzteres Szenario hier im Poster „Conversational Sonification“.
  • Sie sonifzieren Daten, um sie Ihren Zielgruppen anders zu kommunizieren. Oder Sie wollen Ihre Kommunikation (Tabelle und/oder Diagramm) mit Sonification ergänzen, um aufmerksamer auf die Daten zu machen. Oder warum nicht einmal eine Präsentation mit einer Sonification wichtiger Zahlen beginnen. Ich bin ein großer Fan von einem Daten-Quiz, als Aufmerksamkeitsreiz. Und ich habe schon erlebt, dass dieser Aufmerksamkeitsreiz durchaus länger anhält.

Für all diese Vorschläge gilt, dass deren Niedrigschwelligkeit die Daten zugänglicher machen kann. Die Art der Vertonung ist sehr einfach. Man erlaubt sich damit etwas ausprobieren. Man experimentiert. Mit dieser „Erlaubnis“ kann man vielleicht eher mal Sonification wagen. Und man bekommt einen näheren oder einen anderen Blick auf Daten.

Jordan, vielen herzlichen Dank für dieses unvergessliche Erlebnis. Danke auch für die Antworten zu meinen Nachfragen für diesen Blogpost.

Mehr?

Die Webseite von Jordan Wirfs-Brock ist reich an Beispielen ihrer Experimente und ihrer Forschung.

YouTube-Seite von Jordan Wirfs-Brock mit Sonification-Beispielen.

Zusammen mit Max Graze (Lead data visualization engineer bei MURAL) verbindet Jordan Wirfs-Brock Daten mit Sinnen „Data the Sences“

Noch mehr?
Im Teil 1 und hier im Teil 2 habe ich Ihnen einen kleinen Einblick in die vielfältige Welt der Data Sonification und der damit verbundenen Chancen gegeben.

Es geht noch sehr viel mehr.

Falls Sie immer noch neugierig sind, erwähne ich noch kurze ein weiteres Anwendungsfeld. Das ist die Verbindung von Datenvisualisierung und Daten Sonification, um Prozesse zu analysieren oder zu überwachen.

Quelle:

(Graze, Wirfs-Brock, 2022) Graze, Max, Wirfs-Brock, Jordan (2022) Be a part of the Human Synthesizer! Text: Graze, Max. Abbildung: Wirfs-Brock, Jordan