Abb.: Mittels Elektrokortikographie wird Gehirnaktivität aufgezeichnet (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) lassen sich die gesprochenen Wörter erkennen. Bild: CSL/KITBrain-to-Text

Spracherkennung aus Gehirnströmen

 

Karlsruhe (15. Juni 2015) – Sprache ist eine der Aufgaben der menschlichen Großhirnrinde (Kortex). Sprachprozesse drücken sich in Hirnströmen aus, die mittels Elektroden direkt am Kortex aufgezeichnet werden können. Nun ist es erstmals gelungen, aus diesen Strömen kontinuierlich gesprochene Laute, Wörter und ganze Sätze zu rekonstruieren und per Computer als Text wiederzugeben. Ihr Verfahren „Brain-to-Text“ stellen Forscher des KIT und des amerikanischen Wadsworth Centers nun in der Fachzeitschrift Frontiers in Neuroscience vor (doi: 10.3389/fnins.2015.00217).


„Schon lange wurde darüber spekuliert, ob die direkte Kommunikation zwischen Mensch und Maschine über Gehirnströme möglich ist“, erklärt Tanja Schultz, die mit Ihrem Team am Cognitive Systems Lab des KIT die vorliegende Studie durchgeführt hat. „Wir konnten nun zeigen, dass aus Gehirnströmen einzelne Sprachlaute und kontinuierlich gesprochene komplette Sätze erkannt werden können.“

 

Die Ergebnisse wurden durch die interdisziplinäre Zusammenarbeit von Forscherinnen und Forschern aus Informatik, Neurowissenschaften und Medizin möglich. In Karlsruhe wurden Methoden aus der Signalverarbeitung und der automatischen Spracherkennung angewendet. „Diese erlauben neben der Erkennung von Sprache aus Gehirnsignalen eine detaillierte Analyse der am Sprachprozess beteiligten Gehirnregionen und ihrer Interaktionen“, sagen Christian Herff und Dominic Heger, die im Rahmen ihrer Promotion das Brain-to-Text-System entwickelt haben.

 

Die aktuelle Arbeit ist weltweit die Erste, die kontinuierlich gesprochene Sprache erkennt und in Text transformiert. Dazu werden Informationen aus dem Kortex mit linguistischem Wissen und Algorithmen des maschinellen Lernens kombiniert, um die wahrscheinlichste Wortsequenz zu extrahieren. Derzeit arbeitet Brain-to-Text auf hörbar gesprochener Sprache, die Ergebnisse sind allerdings ein sehr wichtiger erster Schritt hin zur Erkennung gedachter Sprache.

 

Die Hirnströme wurden im Rahmen der Behandlung von 7 Epilepsie-Patienten, die freiwillig an den Experimenten teilnahmen, in den USA aufgezeichnet. Im Zuge ihrer neurologischen Behandlung wurde ihnen ein Elektrodennetz auf die Großhirnrinde gelegt (Elektrokortikographie (ECoG)). Während die Patienten Beispieltexte laut vorlasen, wurden die räumlich und zeitlich hoch aufgelösten ECoG-Signale aufgezeichnet. Diese wurden später in Karlsruhe analysiert und dienten als Basis für die Entwicklung von Brain-to-Text. Neben der reinen Grundlagenforschung und einem besseren Verständnis der hochkomplexen Sprachprozesse im Gehirn könnte Brain-to-Text ein Baustein sein, um Locked-in-Patienten zukünftig eine sprachliche Kommunikation zu ermöglichen.

 

 

Weitere Informationen

 

 

 

 

Das Karlsruher Institut für Technologie (KIT) vereint als selbständige Körperschaft des öffentlichen Rechts die Aufgaben einer Universität des Landes Baden-Württemberg und eines nationalen Forschungszentrums in der Helmholtz-Gemeinschaft. Seine drei Kernaufgaben Forschung, Lehre und Innovation verbindet das KIT zu einer Mission. Mit rund 9.s400 Mitarbeiterinnen und Mitarbeitern sowie 24.500 Studierenden ist das KIT eine der großen natur- und ingenieurwissenschaftlichen Forschungs- und Lehreinrichtungen Europas.

 

 

Abb. oben: Mittels Elektrokortikographie wird Gehirnaktivität aufgezeichnet (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) lassen sich die gesprochenen Wörter erkennen. Bild: CSL/KIT

 

 


Quelle: Karlsruher Institut für Technologie (KIT), 15.06.2015 (tB).

MEDICAL NEWS

New guidance to prevent the tragedy of unrecognized esophageal intubation
Overly restrictive salt intake may worsen outcomes for common form…
COVID-19 vaccines are estimated to have prevanented 20 million deaths…
Novel sleep education learning modules developed for nurse practitioners
Scientists discover how salt in tumours could help diagnose and…

SCHMERZ PAINCARE

Aktuelle Versorgungssituation der Opioidtherapie im Fokus
Individuelle Schmerztherapie mit Opioiden: Patienten im Mittelpunkt
Versorgung verbessern: Deutsche Gesellschaft für Schmerzmedizin fordert die Einführung des…
Pflegeexpertise im Fokus: Schmerzmanagement nach Operationen
Versorgung verbessern: Bundesweite Initiative der Deutschen Gesellschaft für Schmerzmedizin zu…

DIABETES

Menschen mit Diabetes während der Corona-Pandemie unterversorgt? Studie zeigt auffällige…
Suliqua® zur Therapieoptimierung bei unzureichender BOT
„Wissen was bei Diabetes zählt: Gesünder unter 7 PLUS“ gibt…
Kaltplasma bei diabetischem Fußsyndrom wirkt via Wachstumsfaktoren
Typ-1-Diabetes: InRange – auf die Zeit im Zielbereich kommt es…

ERNÄHRUNG

Gesunde Ernährung: „Nicht das Salz und nicht das Fett verteufeln“
Mangelernährung gefährdet den Behandlungserfolg — DGEM: Ernährungsscreening sollte zur klinischen…
Wie eine Diät die Darmflora beeinflusst: Krankenhauskeim spielt wichtige Rolle…
DGEM plädiert für Screening und frühzeitige Aufbautherapie: Stationäre COVID-19-Patienten oft…
Führt eine vegane Ernährungsweise zu einer geringeren Knochengesundheit?

ONKOLOGIE

Nahrungsergänzungsmittel während der Krebstherapie: Es braucht mehr Bewusstsein für mögliche…
Fusobakterien und Krebs
Fortgeschrittenes Zervixkarzinom: Pembrolizumab verlängert Leben
Krebspatienten unter Immuntherapie: Kein Hinweis auf erhöhtes Risiko für schwere…
Aktuelle Kongressdaten zum metastasierten Mammakarzinom und kolorektalen Karzinom sowie Neues…

MULTIPLE SKLEROSE

Multiple Sklerose: Analysen aus Münster erhärten Verdacht gegen das Epstein-Barr-Virus
Aktuelle Daten zu Novartis Ofatumumab und Siponimod bestätigen Vorteil des…
Multiple Sklerose durch das Epstein-Barr-Virus – kommt die MS-Impfung?
Neuer Therapieansatz für Multiple Sklerose und Alzheimer
„Ich messe meine Multiple Sklerose selbst!“ – Digitales Selbstmonitoring der…

PARKINSON

Alexa, bekomme ich Parkinson?
Meilenstein in der Parkinson-Frühdiagnose
Parkinson-Erkrankte besonders stark von Covid-19 betroffen
Gangstörungen durch Kleinhirnschädigung beim atypischen Parkinson-Syndrom
Parkinson-Agenda 2030: Die kommenden 10 Jahre sind für die therapeutische…