Man merkt die Absicht...

Wie können Computer in Zukunft besser auf ihre Nutzerinnen und Nutzer reagieren? Wie schaffen sie es, festzustellen, worauf deren Aufmerksamkeit gerichtet ist und was sie als Nächstes im Sinn haben? Gelingen soll dies künftig durch den Einsatz von intelligenten Benutzerschnittstellen, wie sie das Institut für Visualisierung und Interaktive Systeme der Universität Stuttgart entwickelt.

Von Benutzerschnittstellen spricht man in der Informatik dort, wo der Mensch mit dem Computer in Kontakt tritt und eine Handlung vollzieht. Das gilt also sowohl für die Bedienung mit Tastatur, Bildschirm oder Maus als auch für weitere Formen der Steuerung von Computerprogrammen, die grafisch, textuell, auditiv oder auch anders gestaltet sein können. Stattet man diese Bereiche mit Künstlicher Intelligenz (KI) aus und erweitert sie mit Kompetenzen, die der menschlichen Wahrnehmung gleichen, sind Computer in der Lage, ihre Nutzerinnen und Nutzer besser zu verstehen und mit ihnen menschenähnlich zu interagieren. Als aufmerksame Helfer könnten sie den Menschen dabei unterstützen, seine Situation besser zu kontrollieren und Fehler zu vermeiden. Schon heute kommen intelligente Benutzerschnittstellen in der Automobilindustrie zum Einsatz, um die Schläfrigkeit von Fahrerinnen oder Fahrern zu erkennen und sie rechtzeitig darauf hinzuweisen, eine Pause einzulegen. Aber auch im Büro oder bei alltäglichen Handlungen werden die Computer schon bald wissen, worauf die Aufmerksamkeit ihrer Anwender gerichtet ist, wo sie Hilfe brauchen, oder was sie als Nächstes zu tun gedenken.

Was Menschen auszeichnet ist ihre Fähigkeit, sich in andere hineinzuversetzen und beispielsweise anhand der Körpersprache des Gegenübers dessen Gefühlslage, Absichten oder Aufmerksamkeit abschätzen zu können. Damit das auch Computern in Zukunft gelingt, brauchen sie intelligente Benutzerschnittstellen, um etwa die Absicht von Nutzern oder ihre Aufmerksamkeit genau zu messen und zu interpretieren. Hierfür werden Methoden aus dem maschinellen Lernen („Machine Learning“) und dem maschinellen Sehen („Computer Vision“) eingesetzt und weiterentwickelt.

Solche „Intelligent User Interfaces“ entwickelt Prof. Andreas Bulling, Leiter des Lehrstuhls für „Mensch-Computer-Interaktion und Kognitive Systeme“ am Institut für Visualisierung und Interaktive Systeme der Universität Stuttgart. Das Ziel seiner Forschung ist es, eine neue Generation von intelligenten Benutzerschnittstellen zu entwickeln, die sich eng an der zwischenmenschlichen Interaktion orientieren. Die rasanten Entwicklungen in der Computertechnologie der vergangenen Jahre halten auch für die Gestaltung der Schnittstellen zwischen Mensch und Computer viele neue Möglichkeiten bereit. Sie profitiert etwa von sehr hohen Rechenleistungen im Super-Computing und nutzt die revolutionären Entwicklungen im Bereich der KI.

Damit es den Computern möglich wird, das Verhalten und die Aufmerksamkeit ihrer User zu erkennen, benötigen sie eine möglichst breite Basis an Daten. Diese werden von Kameras oder anderen Sensoren aufgenommen, automatisch analysiert und interpretiert. Je besser der Computer so in der Lage ist, zu verstehen, wie aufmerksam die Nutzerin oder der Nutzer ist, umso zielgerichteter kann er darauf reagieren.

Die Auswertung dieser umfangreichen Datenmengen erfolgt mithilfe des Machine Learning: Durch intensives Training ist es Computern möglich, hunderttausende Datensätze auf rechenstarken Grafikarchitekturen zu verarbeiten und anhand wiederkehrender Muster zunehmend bessere Vorhersagen zu treffen. Eine Methode, wie der Computer lernt, das Verhalten der Nutzerinnen und Nutzer sowie deren Aufmerksamkeit richtig einzuordnen, ist die Blickrichtungsschätzung oder auch „Gaze Estimation“, die am Lehrstuhl von Andreas Bulling maßgeblich entwickelt wird. Der Computer misst hierbei mithilfe von Kameras die Blickrichtung und Bewegungen der Augen von Nutzern. Aufgezeichnet werden die Augenbewegungen entweder durch fest installierte oder mobile Kameras am Computer oder integriert in Laptops oder Mobilgeräten.

„Die Blickrichtungsschätzung erlaubt es uns, beispielsweise zu messen, wie oft jemand während der Arbeit vom Bildschirm wegschaut, durch eine Benachrichtigung abgelenkt wird oder während eines Gesprächs Blickkontakt aufnimmt. Wir erhalten dadurch wichtige Anhaltspunkte für die Konzentrationsfähigkeit, wie gut sich eine Person mit ihren Kommunikationspartnern versteht, oder auch welche persönliche Einstellung sie hat“, erläutert Andreas Bulling. Wer den Blickkontakt im Gespräch lange hält, signalisiert dem Gegenüber Interesse oder Verständnis.

Der nächste, wichtige Schritt auf dem Weg zu intelligenten Benutzerschnittstellen ist, dass sie auch die Absichten des Nutzers erkennen, besonders auch in Alltagssituationen. Computer sollen sich so in den Benutzer hineinversetzen können und wissen, was dieser beabsichtigt oder als Nächstes benötigt. Hierfür ist wiederum der Mensch das Vorbild. Seine Fähigkeit, mithilfe der Analyse von Aufmerksamkeit und Intentionen Annahmen über Bewusstseinsvorgänge anderer zu machen, wird auch als „Theory of Mind“ bezeichnet – grundlegend für die zwischenmenschliche Interaktion.

Dieses Ziel verfolgt Andreas Bulling in seinem neuen Projekt „Anticipate: Anticipatory Human-Computer Interaction“, für das er zeitgleich mit seinem Start an der Universität Stuttgart einen ERC-Starting Grant erhalten hat – eine der höchsten Auszeichnungen für einen Forscher in Europa. Der Europäische Forschungsrat fördert sein Projekt fünf Jahre lang mit insgesamt 1,5 Millionen Euro. In Vorbereitung ist außerdem ein Projekt im Rahmen des Exzellenzclusters „Simulations-Technologie“ (SimTech) der Universität Stuttgart, das zum Ziel hat, Prozesse des menschlichen Denkens und der menschlichen Wahrnehmung mit dem Computer nachzubilden und mittels „Deep Learning“-Architekturen die Genauigkeit der Vorhersagen weiter zu verbessern.

Petra Enderle