Handgesten helfen uns, vorherzusagen, was ein Sprecher als nächstes sagen wird 

Die häufigste Umgebung, in der wir Sprache verwenden, ist die persönliche Interaktion. In dieser Umgebung besteht die Sprache hörender Menschen nicht nur aus gesprochenen Wörtern, sondern auch aus vielen visuellen Signalen, die von den Händen, dem Kopf, dem Gesicht, dem Blick und dem Rumpf ausgehen. Die menschliche Sprache ist sozusagen „multimodal“. Vor allem die Hände sind beim Sprechen sehr aktiv und geben oft bedeutungsvolle Informationen wieder. Wenn beispielsweise jemand eine Freundin in einer Bar fragt, ob sie noch etwas trinken möchte, kann die Sprecherin ihre Frage mit einer Handbewegung begleiten, die das Halten eines Trinkglases darstellt, begleitet von einem leichten Kippen des Handgelenks, um das Trinken darzustellen.

Eine interessante Frage ist, wie sich die Wahrnehmung dieser Art von Handgesten auf unser Verstehen der gesprochenen Nachricht auswirkt. Der kommunikative Nutzen von Handgesten wurde bisher hauptsächlich im Labor getestet, wo die Teilnehmer passiv zusahen, wie auf Video aufgezeichnete Sprecher einzelne Gesten ausführten. Diese Studien haben die wichtige Entdeckung gemacht, dass einzelne Handgesten bedeutungsvolle Informationen übermitteln können und dass ihre Bedeutung verstanden sowie mit der Bedeutung der Sprache kombiniert wird. Allerdings haben wir noch kein gutes Verständnis der genauen Mechanismen, die diesem Prozess zugrunde liegen.

Die von uns durchgeführten Studien versuchen, unser Verständnis dieser Mechanismen zu verbessern. Dazu verwendeten wir eine Kombination aus Laborexperimenten und Analysen tatsächlicher persönlicher Gespräche. In einer Studie wurden persönliche Unterhaltungen daraufhin untersucht, ob die von den Sprechern gestellten Fragen mit einer bedeutungsvollen Handbewegung einhergingen oder nicht. Ein Beispiel ist der Vorgang des „Tippens“ (Hände werden nebeneinander gehalten, die Handflächen zeigen nach unten, während alle zehn Finger abwechselnd schnell auf und ab bewegt werden), begleitet von der Frage: „Wie alt warst du, als du tippen gelernt hast?“ (Niederländisch: „Hoe oud was je toen je leerde typen?“). Analysen der Geschwindigkeit, mit der Antworten auf die Fragen gegeben wurden, zeigten, dass die Antworten schneller waren, wenn Fragen von Gesten begleitet wurden, als wenn dies nicht der Fall war. Da im freien Gespräch neben dem Vorhandensein oder Nichtvorhandensein von Gesten viele Aspekte variieren, testeten wir in einem Laborexperiment, ob das Vorhandensein von Gesten auch zu schnelleren Reaktionen führen würde, wenn wir alles andere konstant halten. Das war in der Tat der Fall.

Basierend auf diesen Erkenntnissen aus den gesprächsbasierten Analysen und dem Experiment scheint es, dass Gesten die Sprachverarbeitung erleichtern und daher zu schnelleren Antworten führen. Ein weiteres interessantes Ergebnis der Gesprächsanalysen ist, dass die Gesten typischerweise den Wörtern vorausgehen, mit denen sie am engsten in Zusammenhang stehen. Sagte beispielsweise ein Sprecher: „Wie alt warst du, als du tippen gelernt hast?“, erfolgte die Geste, die das Tippen darstellte, während der Worte: „[…] alt warst du, als du tippen […]“. Die Empfänger sehen die durch die Geste vermittelte Bedeutung also viel früher, als dass sie sie in der Sprache hören (in diesem Fall schon während: „Wie alt warst du, als du“).

Natürlich erzeugte, bedeutungsvolle Handgesten scheinen daher häufig ein „Vorhersagepotenzial“ zu haben, also bereits vor Beginn des am meisten verwendeten Wortes auf den kommenden Sinngehalt hinzuweisen. Gemessen vom Beginn der Gestenbewegung bis zum Beginn des am meisten verwendeten Wortes lag dieses Vorhersagepotenzial im Durchschnitt bei etwa 600 ms. Im Konversationskontext, in dem von den Teilnehmern erwartet wird, dass sie schnell auf Fragen antworten, ist dies eine beträchtliche Zeitspanne, denn Antworten auf Fragen erfolgen normalerweise nach etwa 200 ms.

Unsere jüngste Studie untersuchte die Idee des Vorhersagepotenzials von Gesten im Labor mithilfe von Elektroenzephalogrammen (EEG, eine Technik zur zeitgenauen Messung der Gehirnaktivität). Wir ließen einen virtuellen Menschen Fragen stellen, von Gesten begleitet, wie wir sie in den natürlichen Gesprächen beobachtet hatten. Die Gesten kamen vor den jeweiligen Zielwörtern, mit denen sie in den natürlichen Gesprächen vorgekommen waren (zum Beispiel das Darstellen des Tippens vor dem Wort „tippen“; vgl. die Abbildung des virtuellen Menschen). Wir maßen dann, wie viel kognitiven Aufwand die Personen aufbringen mussten, um das Zielwort zu verarbeiten (was durch die N400-Komponente in den EEG-Daten indiziert wurde). In einer Kontrollgruppe verwendeten wir die gleichen Fragen, ersetzten jedoch die bedeutungsvollen Gesten durch nicht bedeutungsvolle Bewegungen wie ein Kratzen am Arm oder Herumspielen mit dem Ring am Finger. Die Gehirnreaktionen zeigten, dass die Verarbeitung des Zielworts einfacher war, wenn die Personen die bedeutungsvolle Geste gesehen hatten, als bei den nicht bedeutungsvollen Bewegungen. Dies war in den EEG-Daten anhand des Unterschieds zwischen den beiden Bedingungen sichtbar, was auf einen niedrigeren kognitiven Aufwand beim Verarbeiten des Zielworts hindeutete, wenn die Versuchspersonen vorher die bedeutungsvollen Gesten gesehen hatten.

Dieser experimentelle Befund spricht für das Vorhersagepotenzial von Handgesten. Er legt nahe, dass das Sehen der frühen Gesten dazu beiträgt, die von den Gesten dargestellte Bedeutung vorab mental zu aktivieren, was wiederum die Verarbeitung einer gesprochenen Aussage zu erleichtern und zu beschleunigen scheint. Die beschriebenen Studien veranlassen uns zu der Annahme, dass multimodale Wahrnehmung von Sprache – wenn wir also einen Sprecher nicht nur hören, sondern auch sehen – von großem Vorteil und möglicherweise sogar einfacher sein kann als die Verarbeitung von Sprache ohne visuelles Kommunikationsverhalten.