Soziale Teilhabe durch digitale Unterstütztung beim gemeinsamen Musizieren

Projektstatus

Planung
90%
Durchführung
50%
Dokumentation
50%

Hintergrund

Die Schön Klinik Bad Staffelstein gehört zu den bedeutensten Krankenhäusern für Rehabilitation in Deutschland. Unter anderem werden im neurologischen Zentrum Schwerstbetroffene von Hirnschädigungen oder Schlaganfällen versorgt. Lothar Schön ist Musiktherapeut an der Schön Klinik und sucht nach neuen Möglichkeiten für Therapieansätze mit digitaler Unterstützung und dem Ziel, über den Prozess des gemeinsamen Musizierens Patienten trotz Einschränkungen eine soziale Teilhabe zu ermöglichen.
Dabei wurde bereits Kontakt zu Fanny Steingraeber von der Klaviermanufaktur Steingräber in Bayreuth hergestellt. Die Firma Steingraeber ist unter anderem aufgrund solcher speziellen Projekte im weltweiten hochklassigen Klaviermarkt wettbewerbsfähig. In den letzten Jahren hat es sich immer wieder gezeigt, dass aufgrund der kleinen Firmengröße Ideen umgesetzt werden konnten, die inzwischen durchaus zu Standardausführungen oder viel gefragten Sonderausführungen wurden. Für dieses Projekt ist insbesondere ein prototypischer Transducer interessant, der es ermöglicht, über den Klangkörper eines Konzertflügels beliebige Klänge abzuspielen.

Herausforderung

Herr Schön von der Schön Klinik Bad Staffelstein möchte musikalische Therapien für Schlaganfallpatienten einsetzen. Oftmals sind diese kognitiv oder motorisch so stark eingeschränkt, dass die Bedienung eines Instruments sich im einfachsten Fall auf das Drücken eines Knopfs beschränken sollte.
Dabei möchte Herr Schön gerne mit echten akustischen Instrumenten arbeiten. Der Transducer der Firma Steingraeber bietet dabei den zusätzlichen Vorteil, dass Vibrationen wie bei einem echten Flügel durch den Klang auf die Tasten übertragen werden und so dem Patienten ein einzigartiges haptisches Feedback vermitteln. Dieses ist für einen therapeutischen Ansatz relevant – womit die „einfache“ Tonausgabe via Computer oder Soundsystem nicht für die geplante Anwendung in Frage kommt. Der Bezug zu klassischer Musik soll ebenfalls bestehen bleiben.
Da die Patientinnen nur über eingeschränkte Motorik verfügen, wäre eine Erweiterung des Systems um weitere Eingabegeräte zielführend für therapeutische Maßnahmen.
Therapien finden häufig in kleinen Gruppen statt, darum ist es auch Ziel, eine Möglichkeit zum gemeinsamen Musizieren zu schaffen.

Lösung

Die grundlegende Idee ist, dass die Noten einer einfachen Melodie wie an einer Wäscheleine aufgereiht sind und nacheinander durch Aktivieren eines Knopfes automatisch in der richtigen Reihenfolge und Tonhöhe gespielt werden. Dadurch soll in erster Linie das Rhythmusgefühl des Patienten (re-)aktiviert und geschult werden.
Ein erster Lösungsansatz beinhaltete den Einsatz von Datenhandschuhen, erwies sich jedoch schnell als zu aufwendig und unpraktisch. Hingegen würde die Verwendung eines simplen Knopfes, z.B. auf einem Gamecontroller, zu wenig Flexibilität ermöglichen. Im Gespräch entstand die Idee, ein Klavier als Eingabegerät zu verwenden, wobei eine Software immer den richtigen Ton abspielt, egal welche Klaviertaste vom Patienten gedrückt wird. Berücksichtigt wird nur das Timing des Tastenanschlags und (optional) die Anschlagstärke. Die gleichzeitige Nutzung durch mehrere Patienten ist denkbar, indem bestimmte Bereiche der Tastatur für unterschiedliche Stimmen der Melodie zugewiesen werden. Die Konzertflügel der Firma Steingraeber können dafür mit einer MIDI-Schnittstelle ausgestattet werden, die Tastenanschläge digital an einen verbundenen PC übermittelt. Das Mittelstand-Digital Zenrum würde bei der Erstellung einer prototypischen Software unterstützen.

Umsetzung

Die Umsetzung der Software erfordert zunächst die Entwicklung diverser Komponenten. Dabei wurde zunächst die Anbindung der Klaviertastatur über die standardisierte MIDI-Schnittstelle implementiert. Der Transducer, der als Klanggeber verwendet werden soll, wird über eine USB-Schnittstelle angeschlossen und verhält sich für das Betriebssystem wie ein gewöhnlicher Lautsprecher. Dennoch ist eine speziell angepasste Implementierung erforderlich, da die gewöhnliche Audioausgabe Mixing und lange Signalwege verwendet, die zu Latenzzeiten zwischen dem Tastenanschlag und dem Abspielen des Tons verursachen würden. Inbesondere für den therapeutischen Einsatz ist ein korrektes Timing sehr wichtig. Damit die Verzögerung nicht als Störfaktor empfunden wird, sollten Latenzzeiten möglichst weniger als 20 Millisekunden betragen. Dafür ist es nötig, die Hardwarebuffer des Ausgabegeräts durch exklusiven Gerätezugriff direkt zu steuern. Je nach Auslastung des PCs konnte so eine Verzögerung zwischen 3-12 Millisekunden erreicht werden.
Für die Klangerzeugung über den Transducer verwendet die Firma Steingraeber eine Software, die Klavierklänge künstlich durch Wave-Forming erzeugt, also durch Nachahmung physikalischer Prozesse zur Klangerzeugung. Diese Software verwendet eine Virtual Studio Technology (VST) Schnittstelle, die es erlaubt, virtuelle Instrumente als Plugins in Audio-Host-Systeme einzubinden. Über die VST-Schnittstelle werden MIDI-Signale in Klänge beliebiger Instrumente umgewandelt. Die hohe Komplexität der Schnittstelle erfodert eine aufwendige Implementierung. Dabei wird auch das Mixing mehrerer Klangquellen umgesetzt.
Im nächsten Schritt erfolgt der Import von Dateien im MIDI-Format und das Design einer Benutzeroberfläche, die die Steuerung ermöglicht, wie die Klaviatureingabe mit den virtuellen Instrumenten interagiert, z.B. durch Aufteilung der Tastatur in mehrere Bereiche, so dass mehrere Personen gleichzeitig spielen können.
Schließlich muss eine ausgefeilte Intelligenz implementiert werden, die die Tastenanschläge der Spieler in die korrekten Noten umwandelt. Die größte Herausforderung dabei stellt das Zusammenführen der Eingaben unterschiedlicher Patienten dar, die womöglich unterschiedlich schnell oder genau spielen.
Nach Abschluss der Software soll der Einsatz der Software mit einigen Patienten getestet werden. Das Feedback aus der Therapie kann dann verwendet werden, um die Software weiter zu verfeinern.

Andreas Engel

Andreas Engel
 
Standort: BTU Cottbus - Senftenberg
Schwerpunkt: Augmented Reality & Programmierung

Tel.: +49 (0) 355 69 2426
E-Mail: engel@b-tu.de

Jetzt kontaktieren!

Mittelstand-Digital Zentrum Spreeland
c/o Brandenburgische Technische Universität Cottbus - Senftenberg
Siemens-Halske-Ring 14 | Lehrgebäude 3A
03046 Cottbus

 

Ansprechpartner:
Randolf Schmitt

Tel.: +49 (0) 355 69 5171
E-Mail: randolf.schmitt@b-tu.de