Angriff auf den Autopiloten

Wie schnell die Entwicklung vom assistierten hin zum vollautonomen Fahrzeug fortschreiten wird, ist ungewiss. Ein entscheidender Faktor ist hierbei die Zuverlässigkeit, mit der sich ein Fahrzeug in seiner Umwelt zurechtfindet und mit der es auf unvorhersehbare Ereignisse reagiert. Unsere Gruppe am Max-Planck-Institut für Intelligente Systeme zeigte, dass eine auf tiefen neuronalen Netzen basierende Methoden zur Bewegungsanalyse – eine wahrscheinliche Komponente zukünftiger autonomer Fahrzeuge – selbst durch kleine Störsignale verwirrt werden.

Text: Michael Black

Selbstfahrende oder teilautonome Autos orientieren sich, indem sie ihre Umwelt mit verschiedenen Sensoren analysieren. Um eine Szene zu analysieren, nutzen Hersteller unter anderem den optischen Fluss. Er wird auch in der Robotik, Medizin, bei Videospielen und in der Navigation verwendet, um nur einige Beispiele zu nennen.

Der optische Fluss beschreibt die verschiedenen Bewegungen in einer Szene, die ein Mensch mit seinen Augen und ein Auto mittels der Bordkameras wahrnimmt. Fährt oder geht man, so scheinen statische Objekte wie Bäume, Häuser oder Hochspannungsmasten in entgegengesetzte Richtung zu driften. Die Bewegungsgeschwindigkeit ermöglicht es uns unter anderem, die Entfernungen zu den Gegenständen einzuschätzen: Während ein naher Baum rasch nach hinten verschwindet, stehen entfernte Objekte wie Wolken und Berge scheinbar still. Außerdem sehen wir oder eine Kamera auch sich selbst bewegende Fahrzeuge, Menschen oder Tiere.

Um die verschiedenen Bewegungen zu analysieren, nehmen die Bordkameras eines Autos dabei schnell hintereinander zahlreiche Bilder auf; ein Computer schließt mit komplexen mathematischen Methoden aus den Unterschieden zwischen den Bildern auf die Bewegung der einzelnen Objekte. Für jedes Pixel berechnet er einen Geschwindigkeitsvektor, der angibt, wie schnell und in welche Richtung sich das, was sich in diesem Pixel befindet, durch das Bild bewegt. Ein wichtiger Aspekt dabei ist: Sowohl die Bewegung des Fahrzeugs als auch die Bewegung der umgebenden Gegenstände, Personen oder anderen Autos verursachen einen optischen Fluss. Der Bordcomputer muss daher seine eigene Bewegung von der der anderen Objekte unterscheiden können – eine sehr komplexe Aufgabe.

Einfach zu erzeugende Farbmuster irritieren die Bewegungsanalyse

Jüngste Fortschritte im maschinellen Lernen haben zu schnelleren und besseren Verfahren geführt, die Bewegungen berechnen. In einem Gemeinschaftsprojekt unserer Abteilung für Perzeptive Systeme am Max-Planck-Institut für Intelligente Systeme in Tübingen und der Forschungsgruppe Autonomous Vision der Universität Tübingen zeigen wir jedoch, dass derartige Verfahren anfällig sind, wenn Störsignale im Spiel sind. Wenn in einer Szene zum Beispiel ein buntes Muster erscheint, sei es durch Zufall oder sei es durch einen Hackerangriff absichtlich in den Bilddaten platziert. Selbst wenn sich das Muster nicht bewegt, kann es dazu führen, dass tiefe neuronale Netze, wie sie heute zur Flussberechnung weit verbreitet sind, falsch rechnen: Das Netzwerk kalkuliert plötzlich, dass sich große Teile der Szene in die falsche Richtung bewegen. Manchmal konnte der Farbfleck ein System komplett stören. Ein Blackout, der hochriskant ist.

Die Gefahr, dass aktuell auf dem Markt verfügbare Serienfahrzeuge betroffen sind, ist gering. Dennoch haben wir vorsichtshalber einige Automobilhersteller informiert, die derzeit selbstfahrende Modelle entwickeln, auch wenn wir wissen, dass die Störungsanfälligkeit solcher Netze den Herstellern höchstwahrscheinlich bereits bekannt ist. Das Thema wird auf den führenden Konferenzen zu Maschinellem Sehen immer wieder diskutiert. Das Ziel unseres Projekts war es, die Hersteller von selbstfahrenden Fahrzeugen vor der potenziellen Bedrohung zu warnen. Wenn sie davon wissen, können sie ihre Systeme so trainieren, dass sie gegenüber derartigen Störungen robust sind. Bislang gab es keine Studie, in der neuronale Netze auf ihre Störanfälligkeit für Bewegungsschätzungen hin untersucht wurden. Diese Lücke haben wir nun geschlossen.

Wir testeten in unserer Forschungsarbeit fünf frei verfügbare neuronale Netze auf optische Attacken. Hierfür kreierten wir zunächst die Farbmuster, die ein neuronales Netz durcheinanderbringen können. Solche Muster zu finden dauerte dabei nur wenige Stunden.

Die Farbmuster platzierten wir während der Testläufe an einer beliebigen Stelle in einer Szene. Überraschenderweise ließen sich alle fünf neuronalen Netze sehr leicht irritieren. Die Muster lösten manchmal sogar so viele Störsignale aus, dass sie zum Sicherheitsrisiko wurden. Dabei reichte in unserem Versuch selbst ein kleiner Fleck mit einer Größe von weniger als ein Prozent des Gesamtbildes aus, um das System so zu verwirren, dass die Hälfte des Bildbereichs betroffen war. Und je größer der Fleck, desto verheerender die Auswirkungen. Die Farbmuster sind also sehr effektiv. Doch was genau in den neuronalen Netzen abläuft, wenn sie solche Farbflecke sehen, können wir nicht sagen.

Was wir wissen: Neuronale Netze sind von der Arbeitsweise unseres Gehirns inspiriert. In dem Netzwerk werden ankommende Daten analysiert, wobei diese unterschiedlich gewichtet werden. Am Ende gibt das System die ermittelte Bewegung jedes Objekts aus. Macht das Netzwerk Fehler, ist das vergleichbar mit optischen Täuschungen und Illusionen, auf die auch das menschliche Gehirn hereinfallen kann.

Von sich aus kann ein neuronales Netz die antrainierten Gewichtungen, die zu den Fehleinschätzungen führen, nicht ändern. Es sollte aber möglich sein, es neu zu trainieren, damit es nicht mehr solchen Irrtümern erliegt. Das ist jedoch eine komplexe Aufgabe, weil man dafür alle denkbaren Mustervariationen kennen müsste, die das System stören können.

Zuverlässige neuronale Netze werden autonomes Fahren sicherer machen

Dass neuronale Netze noch stark verbesserungswürdig sind, zeigte schon ein viel einfacherer Versuch, den wir neben den Experimenten mit den Farbmustern anstellten. Wir zeigten dem System zwei identische Bilder. Obwohl es darin also keinerlei Bewegung oder Veränderung gab, stellte das Netzwerk einen Unterschied fest. Das darf nicht sein. Dass es hier schon Probleme gibt, zeigt: Neuronale Netze sind noch nicht ausgereift genug. Unsere Forschungsarbeit soll dazu beitragen, das Bewusstsein für diese Problematik zu schärfen.

Wenn neuronale Netze zuverlässig sind, werden sie das autonome Fahren sicherer machen. Dazu wird auch beitragen, dass die Fahrzeuge neben Kameras noch andere Sensoren zur Orientierung nutzen. Zum anderen dürften Bordcomputer von Autos Straßenszenen leichter analysieren können, wenn mehrere autonome Fahrzeuge unterwegs sind, die miteinander kommunizieren. Dann ist ein Auto dabei nämlich nicht nur auf die Signale seiner eigenen Sensoren angewiesen, sondern empfängt auch von anderen Fahrzeugen Daten zu deren Position und Geschwindigkeit. Wir sind überzeugt, dass das autonome Fahren den Straßenverkehr trotz der technischen Schwachstelle, die wir hier offenlegen, sicherer machen kann. Denn für immerhin 90 Prozent aller Unfälle ist menschliches Versagen die Ursache.