Skip to main content
European Commission logo

Wie eine Software, die emotionale Auslöser in Audiosignale einbettet, die Patientenbehandlung unterstützt

Es ist bekannt, dass Musik starke Emotionen hervorrufen kann – aber der entsprechende Mechanismus nicht. Durch Klangmanipulationswerkzeuge, die emotionale Reaktionen auslösen, werden im EU-finanzierten Projekt CREAM Erkenntnisse über das Gehirn gewonnen. Die Arbeit inspiriert zu neuen klinischen Anwendungen, von der Diagnose von Sprachproblemen bis zu Beurteilungen für Gehirnoperationen.

© GraphicFactory # 727784691 | Source: Stock.Adobe.com

PDF Basket

Kein Artikel ausgewählt

Ob nun das triumphale Crescendo eines Bläsersatzes oder die melancholischen Töne eines einsamen Cellos – Musik kann immer die Atmosphäre bestimmen.

Es ist zwar wissenschaftlich erwiesen, dass Musik dieselben Gehirnbahnen wie gutes Essen oder Geschlechtsverkehr aktiviert, doch in der Forschung lag der Schwerpunkt bisher vor allem darauf, die Wirkung von Musik zu beobachten und nicht mit ihr zu experimentieren.

„In Experimenten wurde in der Regel fröhliche Musik gespielt und dann aufgezeichnet, wie diese Glücksgefühle auslöste“, erklärt Neurowissenschaftler Jean-Julien Aucouturier, Koordinator des Projekts CREAM. „Es blieben jedoch Fragen zu den zugrunde liegenden Mechanismen offen, unter anderem, ob Musik Erinnerungen hervorruft oder sie die Physiologie verändert.“

Ähnlich wie in der Arzneimittelforschung untersucht wird, wie aktive Moleküle auf physiologische Pfade einwirken, nutzte Aucouturier Verfahren der Audiobearbeitung, um das emotionale Klangregister zu verändern, und prüfte dann deren Auswirkungen auf die Emotionen der Zuhörenden.

Er kommentiert: „Während unsere Ergebnisse und Verfahren zur Beantwortung vieler offener Forschungsfragen in Bereichen wie Sprach- und Musikkognition oder Linguistik beitragen könnten, freue ich mich am meisten über die potenziellen klinischen Anwendungen, die wir jetzt erforschen.“

Ein Lächeln führt zu einem Lächeln

Bei CREAM handelt es sich um ein multidisziplinäres Projekt, bei dem Methoden der Sprach- und Musiktechnologie eingesetzt wurden, um mit über 600 Beteiligten in vier Ländern zu arbeiten: in Frankreich, Japan, Schweden und im Vereinigten Königreich.

„Ich war verblüfft von den Werkzeugen zur Klangumwandlung, die meinen Teammitgliedern aus der Computermusik zur Verfügung stehen“, sagt Aucouturier, Neurowissenschaftler am französischen Nationalen Zentrum für wissenschaftliche Forschung. „Die Simulation des Klangs von sich bewegenden Instrumenten oder das Mischen von Tiergebrüll mit Saiteninstrumenten waren neurowissenschaftliche Experimente, die bislang auf sich warten ließen!“

Während in den Neurowissenschaften bereits ein Konsens darüber bestand, wie Emotionen zu definieren und zu kategorisieren sind, trug CREAM zu wichtigen Erkenntnissen darüber bei, wie emotionale Zustände durch subtile „Klangsignaturen“ gekennzeichnet werden.

Ein wichtiger Projektmeilenstein war die Patentierung von SMILE, der Software des Projekts. Diese Software kann die Veränderung der Klangfarbe der Stimme einer Person akustisch simulieren, wenn diese lächelt.

„Durch die Simulation des Klangs eines Lächelns haben wir einen Algorithmus entwickelt, der in Echtzeit auf jede Stimme angewendet werden kann und sie glücklicher erscheinen lässt“, erklärt Aucouturier. Ähnliche Anpassungen können die Stimme vertrauenswürdiger oder autoritärer klingen lassen.

Die Auswirkungen dieser Klangsimulationen auf die Zuhörenden wurden mithilfe von Elektroden gemessen, die auf der Kopfhaut, der Brust und dem Gesicht angebracht wurden, um Veränderungen im Gehirn, im Herz und in den Gesichtsmuskeln aufzuzeichnen.

„Wenn die Zuhörenden Stimmen hörten, die durch unseren SMILE-Algorithmus manipuliert wurden, berichteten sie nicht nur, dass die redende Person freundlicher war als zuvor, sondern sie begannen auch selbst zu lächeln“, bemerkt Aucouturier.

Ein Spin-Off-Unternehmen, AltaVoce, vermarktet derzeit die SMILE-Software als Instrument zur Verbesserung der Kommunikation, insbesondere für telefonische Kundenbeziehungen.

Auf Musik übertragbare Verfahren

Obwohl bekannt war, dass Musikinstrumente ebenso emotional ausdrucksstark sein können wie die Stimme, wurden bei den meisten bisherigen Experimenten nur grundlegende Parameter wie Tempo und Lautstärke geändert.

Durch die Anwendung von Lächeln, stimmlichem Zittern und stimmlicher „Rauheit“ auf Musikstücke erlebten die Versuchsbeteiligten ähnliche emotionale Reaktionen wie bei der Anwendung der Manipulationen auf Stimmbeispiele.

Dies gilt ebenso für das Abspielen reiner Instrumentalmusik, die zu einigen interessanten Ergebnissen führte. „Wir haben herausgefunden, dass die Vorliebe für Death-Metal-Musik mehr Gehirnleistung erfordert als die Abneigung dagegen, weil die Fans die angeborene Assoziation ihres Gehirns mit den gutturalen Gitarrenklängen und der Angst überwinden müssen“, sagt Aucouturier.

Diese Klangumwandlungsverfahren werfen offensichtlich ethische Bedenken auf. Am aktuellsten ist vielleicht die Möglichkeit für Kriminelle und böswillige Personen, überzeugendere und faszinierendere Audiofälschungen zu erstellen.

Aucouturier setzt sich aktiv für Gespräche über die Eindämmung dieser Risiken ein, verweist aber auch auf die derzeit laufenden klinischen Studien, die die Möglichkeiten aufzeigen.

Die frei verfügbaren quelloffenen Werkzeuge des Projekts werden derzeit in mehreren französischen Krankenhäusern für eine Reihe von Anwendungen eingesetzt.

DAVID ist ein kostenloses Echtzeit-Stimmumwandlungswerkzeug, das die Emotionen aufgezeichneter Sprache verändern kann, während ANGUS Erregungszustände und Rauheit auf beliebigen Stimmsignalen simulieren kann. CLEESE ist eine Python-Toolbox zur Durchführung von zufälligen oder deterministischen Tonhöhen-, Zeitskalen-, Filter- und Verstärkungsänderungen an einem gegebenen Klang.

Zu den Anwendungen gehören: die Diagnose von Sprachproblemen (Aphasie) bei Schlaganfallopfern, die Prüfung des Bewusstseins bei Personen im Koma, die Erforschung der sozialen Kognition (insbesondere die Fähigkeit, „gehörte“ Emotionen zu imitieren) bei von Geburt an Blinden und die Identifizierung von stimmlichen Angstmarkern, bevor Menschen für eine Operation anästhesiert werden.

Weitere Arbeiten betreffen die Triage in der Notfallmedizin, Autismus-Spektrum-Störungen und posttraumatische Belastungsstörungen sowie die Bewertung der Auswirkungen von Gehirnoperationen aufgrund eines Glioms.

„Wir entwickeln Verfahren, mit denen sich emotionale Eigenschaften im gesunden Gehirn mithilfe von Klängen kontrollieren und messen lassen, um ein breites Spektrum neurologischer und psychiatrischer Störungen zu diagnostizieren“, fügt Aucouturier hinzu.

Derzeit arbeitet Aucouturier an dem gemischten Forschungsinstitut FEMTO-ST in Frankreich und erschließt neue Forschungsgebiete. Im Rahmen des EU-finanzierten Projekts Lullabyte arbeitet er mit 10 europäischen Laboren zusammen, um zu untersuchen, wie das Gehirn Klänge während des Schlafs verarbeitet.

„Wir könnten die Erkenntnisse nutzen, um kreative Anwendungen zu entwickeln, die die Schlafqualität, die Gedächtniskonsolidierung und die Erinnerung an Träume verbessern – oder sogar den Inhalt der Träume verändern“, sagt Aucouturier.

Eine Wiedergabeliste zur Steuerung Ihrer Träume? Musik für unsere Ohren.

PDF Basket

Kein Artikel ausgewählt

Einzelheiten zum Projekt

Kurztitel des Projekts
CREAM
Projekt-Nr.
335536
Projektkoordinator: Frankreich
Projektteilnehmer:
Frankreich
Aufwand insgesamt
€ 1 499 992
EU-Beitrag
€ 1 499 992
Laufzeit
-

Siehe auch

More information about project CREAM

All success stories