Grundlage sind multimodale Daten, die mittels Sensoren, Audio- und Videoaufnahmen und so genannten Motion Capture Systemen erhobenen werden. Ihre Zusammenführung und Auswertung geben dem Betreuer Hinweise auf die Verfassung der Senioren – auf Schmerzen, auf Zustände der Orientierungslosigkeit und Verwirrung und auf damit verbundene Emotionen wie Panik, Angst oder Ärger. "Ist gerade kein Pfleger zur Stelle, kann ein Avatar die Heimbewohner beruhigen und ablenken. Dieser virtuelle Pflegehelfer berät die Frauen und Männer, schlägt beispielsweise einen Spaziergang vor oder lenkt sie mit ihrer Lieblingsmusik ab“, erläutert Dr. Steffen Walter, Wissenschaftlicher Mitarbeiter der Ulmer Sektion Medizinische Psychologie. Der Avatar, der in den Raum projizierbar ist, könne auch eine Art Schmerztagebuch für das Pflegepersonal führen.

Mit dem Projekt SenseEmotion hat das Forscherteam aus Augsburg und Ulm auf eine Ausschreibung des BMBF zur Unterstützung Älterer und ihres Pflegepersonals reagiert. "Für die Bewältigung der sich hier stellenden Herausforderungen ist multidisziplinäre Zusammenarbeit eine unabdingbare Voraussetzung. Es freut mich sehr", so Kim, "dass es uns gelungen ist, solch ein exzellentes Konsortium aus hervorragend anerkannten Experten verschiedener Forschungsbereiche zusammenzustellen."

In der Tat sind die Voraussetzungen für eine erfolgreiche Bearbeitung des Projekts an den beiden Standorten Augsburg und Ulm hervorragend: Kim selbst und Prof. Dr. Elisabeth André, die Inhaberin des Augsburger Lehrstuhls für Multimodale Mensch-Technik-Interaktion, steuern ihre Expertise zur physiologischen Analyse und multisensorischen Datenfusion bei. Ihre Pionierarbeit auf dem Gebiet des "Affective Computing" ist weltweit anerkannt, die von ihnen entwickelten Technologien zur Emotionserkennung werden nicht nur in Deutschland und in weiteren europäischen Länder, sondern auch in den USA eingesetzt. "Auf diesen Vorarbeiten werden wir aufbauen können. Allerdings", betont André, "betreten wir mit der Erkennung von schmerzassoziierten Emotionen absolutes Neuland. Es sind bisher keine computergestützten Studien zu einer präzisen Differenzierung zwischen Schmerz und Emotion bekannt."

Zur Emotionsforschung, zur Bewegungs- und Verhaltensanalyse sowie zum Interaktionsdesign wiederum haben Ulmer Wissenschaftler um Prof. Dr. Enrico Rukzio (Institut für Medieninformatik), Prof. Dr. Heiko Neumann und Dr. Friedhelm Schwenker (beide Neuroinformatik) unter anderem im Sonderforschungsbereich/TRR 62 "Eine Companion-Technologie für kognitive technische Systeme" wichtige Vorarbeiten geleistet. Darüber hinaus ist Prof. Dr. Harald C. Traue, Leiter der Sektion Medizinische Psychologie am Universitätsklinikum Ulm, ein anerkannter Schmerzexperte.

Auf dem Weg zur praktischen Umsetzung sind derzeit zwei große Experimente in Planung: Zum einen wird die Zustandserfassung mittels Biopotentialen wie Elektrokardiogrammen (EKG), Audio- und Videoaufnahmen an jungen, gesunden Probanden im Labor getestet. In einem zweiten Versuch soll die Lebenswirklichkeit von Heimbewohnern imitiert werden: Neben den Sensoren tragen die Versuchspersonen hier „Alterssimulationsanzüge“, um den Pflegealltag nachempfinden zu können. Gewichte im Anzug, versteifte Gelenke und eine Spezialbrille, die eine eingeschränkte Sicht simuliert, erschweren das frühe Wecken, die Medikamenteneinnahme oder etwa die Vorbereitung des Verwandtenbesuchs. Durch dieses Experiment soll in Erfahrung gebracht werden, wie kritische Situationen im Alltag der Senioren erkannt werden können.