Auge in Auge mit dem Rechner

Die Augen sind unser Fenster zur Welt, verraten aber auch viel über uns. Das nutzen Andreas Bulling und seine Mitarbeiter am Max-Planck-Institut für Informatik in Saarbrücken und an der Universität Stuttgart aus, wenn sie Computern beibringen, unsere Blicke zu deuten. Letztlich wollen sie so auch Roboter oder Avatare in puncto Kommunikation auf Augenhöhe mit uns bringen.

Text: Peter Hergersberg

"Achten Sie öfter mal auf Ihre Augenbewegungen“, sagt Andreas Bulling zum Abschied lachend. Besser ist das. Denn im Gespräch mit ihm wird klar: Unsere Blicke, die uns die Welt zeigen, zeigen uns auch der Welt. Sie verraten etwas über unseren Charakter oder die soziale Dynamik in einer Gruppe, um nur zwei Beispiele für die Forschung des Informatikers zu nennen, der eine Forschungsgruppe am Saarbrücker Max-Planck-Institut für Informatik leitet und inzwischen auch eine Professur an der Universität Stuttgart übernommen hat.

„Wir Menschen steuern und analysieren diese Signale unterbewusst“, sagt Andreas Bulling. „Manche Menschen können das nicht, etwa wenn sie unter Autismus leiden.“ Sie schauen manchmal an uns vorbei oder starren uns unverwandt an, und sie können umgekehrt unsere Blicke oft auch nicht richtig lesen. „Das kann sehr irritierend sein“, so Bulling.

Seine Forschung könnte da Abhilfe schaffen. Denn der Informatiker bringt Computern bei, menschliche Augenbewegungen zu verstehen. Eine entsprechende Software könnte etwa Menschen mit Autismus bei der Interpretation der Blicke anderer und die Steuerung der eigenen Augenbewegungen unterstützen und passende Instruktionen etwa in eine Brille einspiegeln.

Andreas Bulling und seine Mitarbeiter wollen Maschinen in Sachen Kommunikation darüber hinaus auf Augenhöhe mit uns Menschen bringen. So möchten sie langfristig etwa humanoiden Robotern ermöglichen, die Blicke von Menschen auch in einer größeren Personengruppe zu interpretieren und ihre Kameraaugen so zu steuern, dass wir ihr Blickverhalten als natürlich empfinden. Aber auch Fahrerassistenzsysteme könnten aus unseren Augenbewegungen wichtige Informationen ziehen.
 

Um das zu erreichen, bedienen sich Andreas Bulling und seine Mitarbeiter bei der computergestützten Analyse von Augenbewegungen eines entscheidenden Kniffs. „Wir waren die ersten, die dafür maschinelles Lernen nutzten.“ Die künstliche Intelligenz eröffnete dem Forscherteam völlig neue Möglichkeiten, in unseren Augen zu lesen.

Die Erforschung des Blickverhaltens hat schon eine längere Tradition. Damit begonnen haben Forscher Ende des 19. Jahrhunderts. So verfolgte der französische Augenarzt Louis Émile Javal damals als erster, wie Menschen lesen. Dabei stellte er fest, dass unsere Augen nicht stetig über Schriftzeilen wandern, sondern von Wort zu Wort springen, wobei wir aber vor allem Schlüsselbegriffe fixieren, wie sich später herausstellte.

Seit dem 20. Jahrhundert entdecken dann auch Unternehmen die Aussagekraft der Augenbewegungen. So untersuchen Zeitungs- und Magazinmacher, worauf sich unsere Augen in einem Artikel richten, und Marketing-Fachleute lassen analysieren, wie sie Werbung platzieren oder Informationen auf eine Verpackung drucken müssen, damit Kunden sie wahrnehmen. Und manche Webdesigner nutzen Auswertungen von Augenbewegungen, um Internetseiten so zu gestalten, dass die Blicke von Nutzern dort hängen bleiben, wo sie diese hinlenken möchten.

Augenbewegungen als Kommunikationskanal

Wie Kunden Entscheidungen treffen, ist nur einer der Denkprozesse, die Kognitionswissenschaftler anhand von Blickanalysen untersuchen. „Wir nutzen Augenbewegungen gewissermaßen als Fenster zu kognitiven Prozessen“, sagt Peter König, Professor an der Universität Osnabrück. „Sie sind ein Paradigma für die Funktion des Gehirns.“

Nun haben auch Computerwissenschaftler wie Andreas Bulling Augenbewegungen als Datenquelle und Kommunikationskanal für sich entdeckt. Bullings Gruppe geht es dabei nicht nur um kognitive Prozesse, sondern auch um unser Verhalten, etwa bei der Nutzung von digitalen Geräten. Zu diesem Zweck bringt Andreas Bulling Computern erst einmal bei, die Blickrichtung richtig zu erkennen, und zwar nicht nur in einem perfekt ausgeleuchteten Gesicht und in immer gleicher Laborumgebung, wie es beim computergestützten Abschätzen der Blickrichtung bis dato üblich war.

Wenn Wissenschaftler Computern beibringen, die Richtung abzuschätzen, in die ein Mensch guckt, setzen sie schon länger auf maschinelles Lernen. Lange nutzten sie für das Training der Rechner jedoch wenig alltagsnahe Daten. Um das zu ändern, installierten die Forscher um Andreas Bulling auf den Notebooks von 15 Freiwilligen ein Programm, das die Probanden beim Arbeiten am Rechner über mehrere Tage hinweg immer wieder aufforderte, einen Punkt auf dem Bildschirm zu fixieren, und dann ein Foto machte.

So erhielt das Team Bilder in wechselnder Umgebung und bei oft schlechten Lichtverhältnissen. Da sie zudem wussten, wohin die Hilfskräfte geschaut hatten, entstand auf diese Weise ein umfangreicher Datensatz, mit dem die Forscher anschließend ein Programm trainierten, Blicke auch unter schwierigen Bedingungen zu lokalisieren. „Dieser Datensatz ist viel größer und natürlicher und dadurch auch anspruchsvoller als diejenigen, die es vorher gab“, sagt Bulling. „Aber er ist noch immer nicht optimal.“ So saßen die Personen bei der Aufnahme der Trainigsdaten immer vor Computern, auf die sie mehr oder weniger frontal schauten. Wenn sich jemand bewegt oder einen Punkt aus dem Augenwinkel anpeilt, erkennt das Programm die Augenposition kaum noch. „Für uns ist es deshalb auch ein Thema, wie wir zu noch realistischeren Datensätzen kommen.“

Eine Möglichkeit dafür bieten mobile Eyetracker. Solche Geräte arbeiten ziemlich genau, sind bislang allerdings recht auffällig: An einem brillenartigen Gestell sind verschiedene Kameras befestigt, die das Auge und das Gesichtsfeld einer Person aufnehmen, sowie Infrarot-LEDs, deren Reflexe die Kameras aufzeichnen. Wer ein solches Gerät trägt, ähnelt einem Cyborg. Mitmenschen kann das ziemlich irritieren.

Für einen alltäglichen Einsatz hat das Team von Andreas Bulling daher den Prototypen eines Eyetrackers mit einer Handvoll handelsüblicher Kameras entwickelt, die nur wenig größer als Stecknadelköpfe sind. Dass diese Kameras nur eine beschränkte Auflösung haben, machen die Forscher mit dem richtigen Training wett. Mit Daten, welches Kamerabild zu welcher Augenposition gehört, bringen sie einem Computer bei, auch die Aufnahmen der sehschwachen Kameras richtig zu deuten. Inzwischen vermarktet das Berliner Start-up Pupil Labs, an dem Andreas Bulling beteiligt ist, einen Eyetracker, der sich kaum noch von einer etwas auffälligeren Brille unterscheidet und auf dem Konzept der Saarbrücker Forscher basiert.

„Solange wir unauffällige Eyetracker noch nicht in der alltäglichen Kommunikation brauchen, können die Geräte in der Marktforschung oder bei Computerspielen in der virtuellen Realität Anwendung finden“, sagt Bulling. Vor allem sind sie jedoch für die Forschung interessant. „In Studien, in denen es um die soziale Interaktion geht, ermöglichen sie einen natürlicheren Umgang unter den Teilnehmern.“ Das dürfte auch die Untersuchungen von Bullings Team zur Dynamik in Gruppen künftig noch aussagekräftiger machen.

Warnhinweise für Display-Fixierte

Überraschende Perspektiven für die computergestütze Blickanalyse haben die Computerwissenschaftler aber auch schon mit den herkömmlichen Eyetrackern aufgetan. So staffierten die Forscher 20 Testpersonen mit solchen Blickfängern aus und verfolgten deren Augenbewegungen, während die Probanden ihre Smartphones verwendeten. Zusätzlich erfassten die Forscher, welche App die Teilnehmer auf ihrem Mobilgerät gerade nutzten, und analysierten die Szene um die Teilnehmer herum.

Die steile These hinter der Datensammlung: Anhand der Augenbewegungen lasse sich vorhersagen, ob sich die Aufmerksamkeit eines Smartphone-Nutzers in den nächsten Sekunden der Umgebung zuwenden und dort bleiben wird. Tatsächlich erlernte der Computer mit den Daten ein Modell, das dies zumindest in Teilen leistet.

Mit solchen Modellen könnten Smartphone-Apps abschätzen, ob ein Mensch, der auf sein Telefon starrend durch die Gegend läuft, ein Hindernis übersehen könnte und den Display-fixirten Nutzer dann noch rechtzeitig warnen. Aufmerksamkeitsanalysen, die Andreas Bulling nun mit einem ERC-Grant vorantreiben kann, könnten zudem Hinweise geben, wie sich der Fokus einer Person etwa auf einem Text halten lässt. „Auf diese Weise ließe sich vielleicht der Entwicklung entgegenwirken, dass sich Menschen immer leichter von einer Aufgabe ablenken lassen“, so der Forscher.

Helfen können Eyetracker auch bei Analysen, wie die Stimmung in einer diskutierenden Gruppe ist und wer darin das Sagen hat. Entscheidendes Hilfsmittel war dabei eine Methode, die Philipp Müller, ein Doktorand am Max-Planck-Institut für Informatik, entwickelt hat. Sie erkennt auf gewöhnlichen Kameraaufnahmen einer diskutierenden Gruppe, wer wen ansieht und wer konsequent an jemand anderem oder an allen anderen vorbeischaut. Sie kann darüber hinaus Stimmungen aus den Gesichtern ablesen. Kombiniert unter anderem mit Analysen des Tonfalls lässt sich aus diesen Merkmalen gut ableiten, ob eine Debatte eher konstruktiv verläuft und wer sich darin als Wortführer hervortut.

Dass unsere Blicke viel über die Dynamik einer Gruppe aussagen, ist für Menschen leicht nachvollziehbar: Wer in der Gruppe das Sagen hat, zieht häufiger auch alle Blicke auf sich. Und bei schlechter Stimmung starren Menschen eher betreten zu Boden, als den Augenkontakt der anderen zu suchen. Diese Signale der nonverbalen Kommunikation sollen künftig auch Computer deuten können.

Nicht immer jedoch lassen sich die Ergebnisse, die eine statistische Analyse des maschinellen Lernens aus unseren Blicken liefert, mit einem konkreten Blickmuster erklären. Wenn es zum Beispiel um Merkmale unserer Persönlichkeit geht, sind subtile Muster unserer Augenbewegungen entscheidend. So gelangten die Forscher um Andreas Bulling zusammen mit Kollegen von der University of South Australia mit der Kombination aus Eyetracking und Maschinellem Lernen zu belastbaren Aussagen über vier Charakterzüge ihrer Testpersonen.

Dafür zeichneten die Wissenschaftler die Augenbewegungen von 42 Studienteilnehmern auf, während diese eine im Schnitt zwölf Minuten dauernde Aufgabe auf dem Saarbrücker Campus erledigten. Mit den Blickdaten eines Teils der Probanden, die zudem einen psychologischen Standardfragebogen ausfüllten, fütterten sie ein Modell. Auf diese Weise trainiert, konnte der Rechner den anderen Probanden an den Augen ablesen, wie neurotisch sie ist, wie gut sie sich mit anderen verträgt, ob sie extrovertiert durchs Leben geht und wie gewissenhaft sie eine Aufgabe erledigt.

Bei drei weiteren Eigenschaften, mit denen Psychologen eine Persönlichkeit skizzieren, gab das Modell allerdings noch keine brauchbare Einschätzung ab. „Und die Vorhersagen sind derzeit auch noch nicht genau genug für praktische Anwendungen“, sagt Andreas Bulling. Aber das System wird künftig sicherlich noch zuverlässiger. Denn Datensätze von 42 Studienteilnehmern erlauben nicht gerade ein besonders differenziertes Training für diese diffizile Aufgabe. Mit mehr Anschauungsmaterial dürfte die Charakteranalyse daher präziser werden.

Datenschutz - ein wichtiges Thema beim Eyetracking

Für unseren Umgang etwa mit Robotern oder Avataren sind das vielversprechende Aussichten, schließlich sollen den Computersystemen auf Dauer alle verbalen und nonverbalen Kommunikationskanäle offenstehen, die auch wir Menschen nutzen. Die Perspektiven, dass ein Rechner alleine aufgrund unseres weitgehend vom Unterbewussten gesteuerten Blickverhaltens ein Persönlichkeitsprofil erstellt, kann aber auch beängstigend wirken.

Andreas Bulling ist sich bewusst, dass die Software die Möglichkeit eröffnet, Menschen einer computergestützten Charakterprüfung zu unterziehen – eine Möglichkeit, die von Unternehmen oder autokratischen Regimen missbraucht werden könnte, die heute schon das Verhalten von Menschen digital analysieren. Der Informatiker betont allerdings, dass die Technik noch lange nicht in der Lage ist, Persönlichkeitsmerkmale eines Menschen zuverlässig und ohne dessen Mithilfe zu ermitteln. Allein schon deshalb, weil eine Person den Eye-Tracker dafür momentan unmittelbar vor ihren Augen tragen müsse.

Und selbst wenn es einmal möglich werden sollte, den Charakter von Menschen per Ferndiagnose und mit wenig Aufwand aus unseren Blicken zu lesen, lasse sich die Technik wie die meisten Erfindungen zum Wohl und zum Wehe der Menschen einsetzen. „Aber schon heute wird man zum Beispiel bei einem Bewerbungsgespräch hinsichtlich der Persönlichkeit, Einstellungen und Absichten analysiert – vom Menschen gegenüber“, sagt Andreas Bulling. „Das ist den meisten jedoch nicht bewusst oder wird als selbstverständlich akzeptiert, da es ein Mensch macht.“

Auch wenn die Wissenschaftler wie ihre Kollegen in vielen Forschungsfeldern den Missbrauch ihrer Errungenschaften nicht ausschließen können, wollen sie zumindest dazu beitragen, ihn möglichst zu erschweren. Andreas Bulling hat daher auch den Datenschutz beim Eyetracking zu seinem Thema gemacht. „Für mich ist das ein sehr wichtiger Aspekt. Wie im Umgang mit anderen digitalen Anwendungen, vor allem mit sozialen Medien, müssen wir den Datenschutz beim Eyetracking berücksichtigen“, sagt er. „Wir sind führend in der Forschung zu diesem Thema und werden unsere Aktivitäten dazu in den kommenden Jahren noch ausbauen.“

Die informationelle Selbstbestimmung greift zwar gewöhnlich erst, wenn es um deren konkrete Verwendung geht. Aber Daten, die es nicht gibt, können nicht missbraucht werden. So haben Andreas Bulling und seine Mitarbeiter sich mit dem Datenschutz bei den Kamerabildern beschäftigt, die Eyetracker von den Szenen vor den Augen ihrer Träger machen. Dank dieser Aufnahmen erkennen die Geräte nicht nur, wohin eine Person guckt, sondern auch, was sie dort sieht.

Ins Blickfeld der Kamera können aber unversehens Passwörter oder Geheimzahlen geraten, und natürlich Menschen, die wahrscheinlich nicht ungefragt erfasst werden wollen. Um das zu verhindern, helfen einmal mehr Blickanalysen und die Lernfähigkeit der richtigen Software. Mittels der Szenenkamera lässt sich nämlich gut erkennen, ob wir am Rechner gerade unser Bankkonto öffnen, am Geldautomaten die PIN eingeben, oder einer fremden Person gegenüberstehen. Die Lösung für eine solche Situation ist sehr analog: Die Software lässt einfach einen Deckel vor die Kamera schieben. „Da die Szene dann nicht mehr analysiert werden kann, leiten wir stattdessen aus den Augenbewegungen ab, ob und wann die Person die sensible Situation wieder verlässt,“ so Bulling.

Hier trägt die Gelehrigkeit der Software zur Lösung eines Datenschutzproblems bei. Manchmal wird sie aber auch selbst zum Problem. Denn ein entsprechend trainiertes Programm kann aus dem Muster der Augenbewegungen weit mehr ablesen als wir Menschen. Zum Beispiel, ob eine Frau oder ein Mann den Eyetracker trägt. „Es sind aber nur manche Merkmale in den Augenbewegungen, aus denen das Geschlecht hervorgeht“; erklärt er. „Weil wir die für andere, gewünschte Analysen nicht brauchen, verrauschen wir sie.“ Ähnlich lasse sich auch mit anderen Informationen aus unseren Blicken umgehen. „Was erhalten und was verrauscht werden soll, wird der Nutzer zukünftig dann selbst entscheiden können“.

Ob es um nonverbale Kommunikation mit Menschen oder Maschinen geht, um eine lebensechte virtuelle Realität, die Nutzung digitaler Geräte oder den Schutz der Blickanalysen, die dabei helfen: Mit Künstlicher Intelligenz die Daten von Augenbewegungen zu analysieren, hat sich für Andreas Bulling als sehr fruchtbringend erwiesen. Und er ist sicher, dass das auch so bleiben wird: „Das ist eine Goldgrube“, sagt Bulling. „Damit kann ich mein weiteres Forscherleben leicht ausfüllen.“

Auf den Punkt gebracht

Augenbewegungen tragen wesentlich zur nonverbalen Kommunikation von Menschen bei. Diesen Kommunikationskanal sollen künftig auch Computersysteme wie etwa Roboter oder Fahrerassistenzsysteme nutzen.

Die Gruppe von Andreas Bulling verfeinert die computergestützten Methoden, welche die Blickrichtung von Personen abschätzen. Zudem entwickelt sie mithilfe des maschinellen Lernens Modelle, die aus Augenbewegungen Charakterzüge oder die Stimmung in einer Gruppe ableiten. So können Computer auch lernen, etwa Kameraaugen eines Roboters natürlich zu steuern.

Die Forscher arbeiten an verschiedenen technischen Lösungen, um den Datenschutz bei der Analyse von Augenbewegungen zu gewährleisten.