Hintergrund
Die Schön Klinik Bad Staffelstein gehört zu den bedeutensten Krankenhäusern für Rehabilitation in Deutschland. Unter anderem werden im neurologischen Zentrum Schwerstbetroffene von Hirnschädigungen oder Schlaganfällen versorgt. Lothar Schön ist Musiktherapeut an der Schön Klinik und sucht nach neuen Möglichkeiten für Therapieansätze mit digitaler Unterstützung und dem Ziel, über den Prozess des gemeinsamen Musizierens Patienten trotz Einschränkungen eine soziale Teilhabe zu ermöglichen.
Dabei wurde bereits Kontakt zu Fanny Steingraeber von der Klaviermanufaktur Steingraeber in Bayreuth hergestellt. Die Firma Steingraeber ist unter anderem aufgrund solcher speziellen Projekte im weltweiten hochklassigen Klaviermarkt wettbewerbsfähig. In den letzten Jahren hat es sich immer wieder gezeigt, dass aufgrund der kleinen Firmengröße Ideen umgesetzt werden konnten, die inzwischen durchaus zu Standardausführungen oder viel gefragten Sonderausführungen wurden. Für dieses Projekt ist insbesondere ein prototypischer Transducer interessant, der es ermöglicht, über den Klangkörper eines Konzertflügels beliebige Klänge abzuspielen.
Herausforderung
Herr Schön von der Schön Klinik Bad Staffelstein möchte musikalische Therapien für Schlaganfallpatienten einsetzen. Oftmals sind diese kognitiv oder motorisch so stark eingeschränkt, dass die Bedienung eines Instruments sich im einfachsten Fall auf das Drücken eines Knopfs beschränken sollte.
Dabei möchte Herr Schön gerne mit echten akustischen Instrumenten arbeiten. Der Transducer der Firma Steingraeber bietet dabei den zusätzlichen Vorteil, dass Vibrationen wie bei einem echten Flügel durch den Klang auf die Tasten übertragen werden und so dem Patienten ein einzigartiges haptisches Feedback vermitteln. Dies ist für einen therapeutischen Ansatz relevant – weshalb die „einfache“ Tonausgabe via Computer oder Soundsystem nicht für die geplante Anwendung in Frage kommt. Der Bezug zu klassischer Musik soll ebenfalls bestehen bleiben.
Da die Patienten nur über eingeschränkte Motorik verfügen, wäre eine Erweiterung des Systems um weitere Eingabegeräte zielführend für therapeutische Maßnahmen.
Therapien finden häufig in kleinen Gruppen statt, darum ist ein weiteres Ziel, eine Möglichkeit zum gemeinsamen Musizieren zu schaffen.
Lösung
Die grundlegende Idee ist, dass die Noten einer einfachen Melodie wie an einer Wäscheleine aufgereiht sind und nacheinander durch Aktivieren eines Knopfes automatisch in der richtigen Reihenfolge und Tonhöhe gespielt werden. Dadurch soll in erster Linie das Rhythmusgefühl des Patienten (re-)aktiviert und geschult werden.
Ein erster Lösungsansatz beinhaltete den Einsatz von Datenhandschuhen, erwies sich jedoch schnell als zu aufwendig und unpraktisch. Hingegen würde die Verwendung eines simplen Knopfes, z.B. auf einem Gamecontroller, zu wenig Flexibilität ermöglichen. Im Gespräch entstand die Idee, ein Klavier als Eingabegerät zu verwenden, wobei eine Software immer den richtigen Ton abspielt, egal welche Klaviertaste vom Patienten gedrückt wird. Berücksichtigt wird nur das Timing des Tastenanschlags und (optional) die Anschlagstärke. Die gleichzeitige Nutzung durch mehrere Patienten ist denkbar, indem bestimmte Bereiche der Tastatur unterschiedlichen Stimmen der Melodie zugewiesen werden. Die Konzertflügel der Firma Steingraeber können dafür mit einer MIDI-Schnittstelle ausgestattet werden, die Tastenanschläge digital an einen verbundenen PC übermittelt. Das Mittelstand-Digital Zenrum würde bei der Erstellung einer prototypischen Software unterstützen.
Umsetzung
Die Umsetzung der Software erforderte zunächst die Entwicklung diverser Komponenten. Dabei wurde zunächst die Anbindung der Klaviertastatur über die standardisierte MIDI-Schnittstelle implementiert. Der Transducer, der als Klanggeber verwendet werden soll, wird über eine USB-Schnittstelle angeschlossen und verhält sich für das Betriebssystem wie ein gewöhnlicher Lautsprecher. Dennoch ist eine speziell angepasste Implementierung erforderlich, da die gewöhnliche Audioausgabe Mixing und lange Signalwege verwendet, die zu Latenzzeiten zwischen dem Tastenanschlag und dem Abspielen des Tons führen würden. Inbesondere für den therapeutischen Einsatz ist ein korrektes Timing sehr wichtig. Damit die Verzögerung nicht als Störfaktor empfunden wird, sollten Latenzzeiten möglichst weniger als 20 Millisekunden betragen. Dafür ist es nötig, die Hardwarebuffer des Ausgabegeräts durch exklusiven Gerätezugriff direkt zu steuern. Je nach Auslastung des PCs konnte so eine Verzögerung zwischen 3-12 Millisekunden erreicht werden.
Für die Klangerzeugung über den Transducer verwendet die Firma Steingraeber eine Software, die Klavierklänge künstlich durch Wave-Forming erzeugt, also durch Nachahmung physikalischer Prozesse zur Klangerzeugung. Diese Software verwendet eine Virtual Studio Technology (VST) Schnittstelle, die es erlaubt, virtuelle Instrumente als Plugins in Audio-Host-Systeme einzubinden. Über die VST-Schnittstelle werden MIDI-Signale in Klänge beliebiger Instrumente umgewandelt. Diese Software sollte auch in diesem Projekt für die Klangerzeugung genutzt und entsprechend über die VST-Schnittstelle angebunden werden. Die hohe Komplexität der Schnittstelle erfoderte eine aufwendige Implementierung. Dabei wurde auch das Mixing mehrerer Klangquellen umgesetzt.
Im nächsten Schritt erfolgte der Import von Dateien im MIDI-Format und das Design einer Benutzeroberfläche, die die Steuerung der Ineraktion von Klaviatureingaben mit den virtuellen Instrumenten ermöglicht. Dazu gehört z.B. die Aufteilung der Tastatur in mehrere Bereiche, so dass mehrere Personen gleichzeitig spielen können.
Schließlich musste eine ausgefeilte Intelligenz implementiert werden, die die Tastenanschläge der Spieler in die korrekten Noten umwandelt. Die größte Herausforderung dabei stellte das Zusammenführen der Eingaben unterschiedlicher Patienten dar, die womöglich unterschiedlich schnell oder genau spielen. Die Software kann dabei auch fehlende Stimmen ergänzen und so die anderen Spieler automatisch begleiten.
Gemeinsam wurden einige spezielle Musikstücke gesucht und aufbereitet, die für den Einsatz mit Patienten geeignet sind. Entscheident ist dabei, dass die Musikstücke einfache Melodien haben, die leicht zu spielen und den meisten Menschen bekannt sind. Das Vorhandensein mehrerer separater Stimmen ist ebenfalls ein wichtiges Kriterium, um gemeinsames Musizieren zu ermöglichen. Als besonders geeignet haben sich daher bekannte Volkslieder und Weihnachtslieder herausgestellt.
Während der gesamten Entwicklungsdauer des Prototypen wurden die verschiedenen Komponenten immer wieder von der Firma Steingraeber mit echtem Konzertflügel und verbundenem Transducer getestet. Ein finaler Test nach Abschluss der Entwicklungsarbeiten erfogte ebenfalls vor Ort gemeinsam mit Herrn Schön von der Klinik.
Der Einsatz der Software soll nun mit einigen Patienten getestet werden. Das Feedback aus der Therapie kann dann verwendet werden, um die Software später weiter zu verfeinern. Tests über einen längeren Zeitraum mit unterschiedlichen Patienten werden aufzeigen, ob die Therapie angenommen wird und ein Heilungseffekt erzielt werden kann.