Farbfleck könnte autonom fahrende Fahrzeuge verwirren

Ein Farbmuster auf einem T-Shirt, als Heckscheibenaufkleber oder als Emblem auf einer Einkaufstüte könnte für selbstfahrende Autos ein Problem darstellen, wenn es um Objekterkennung geht. So kann selbst ein kleines Muster so viele Störsignale auslösen, dass es zum Sicherheitsrisiko wird. Die Gefahr, dass aktuell auf dem Markt verfügbare Serienfahrzeuge von diesem Problem betroffen sein könnten, ist gering. Dennoch haben wir einige Automobilhersteller darüber informiert, die derzeit selbstfahrende Modelle entwickeln.

In unserer Studie haben wir die Robustheit einer Reihe verschiedener Algorithmen überprüft, die gewöhnlich zur Bestimmung des sogenannten optischen Flusses bei der Objekterkennung etwa in autonomen Autos, in der Robotik, Medizin, bei Videospielen und in der Navigation verwendet werden. Dabei beschreibt der optische Fluss die Bewegung in einer Szene, die von den Bordkameras erfasst wird. Jüngste Fortschritte im Bereich des maschinellen Lernens haben zu schnelleren und besseren Verfahren beim Vorausberechnen von Bewegung geführt.

Unsere Untersuchungen zeigten, dass derartige Verfahren anfällig für Störsignale sind: Beispielsweise lassen sie sich durch ein einfaches, buntes Muster, das künstlich in die Szene platziert wird, irritieren. Selbst wenn sich das Muster nicht bewegt, kann es dazu führen, dass tiefe neuronale Netze, wie sie heute in großem Maße zur Flussberechnung eingesetzt werden, falsch rechnen: das Netzwerk kalkuliert plötzlich, dass sich große Teile der Szene in die falsche Richtung bewegen.

Bereits in der Vergangenheit hatten verschiedene Forschungsgruppen beobachtet, dass selbst winzige Muster neuronale Netze verwirren können und dadurch zum Beispiel Objekte wie Stoppschilder falsch klassifiziert werden. In unserer hier vorgestellten Studie konnten wir nun erstmals zeigen, dass auch Algorithmen zur Bestimmung der Bewegung von Objekten anfällig für derartige Angriffe sind. Bei der Verwendung in sicherheitskritischen Anwendungen wie in autonomen Fahrzeugen müssen diese Systeme jedoch hinsichtlich derartiger Angriffe robust, also  zuverlässig und sicher sein.

Selbst ein kleiner Fleck erzeugt große Wirkung

Im Rahmen des seit März 2018 laufenden Projekts „attacking optical flow“ fanden wir heraus, , dass selbst ein verhältnismäßig kleiner Fleck auf dem beobachteten Objekt großes Chaos auslösen kann. Es reicht eine Größe von weniger als einem Prozent des Gesamtbilds aus, um das System anzugreifen. Selbst eine derart kleine Störung bewirkte, dass das System schwere Fehler bei seinen Berechnungen machte, die die Hälfte des Bildbereichs betrafen (siehe Abbildung 2). Je größer der Fleck, desto verheerender die Auswirkungen. Dies ist bedenklich, da der Algorithmus in vielen Fällen die Bewegung der Objekte in der gesamten Szene gelöscht hat.

Man kann sich leicht vorstellen, welchen Schaden ein lahmgelegter Autopilot eines selbstfahrenden Autos bei hoher Geschwindigkeit verursachen kann. Wie einzelne selbstfahrende Autos funktionieren, ist ein wohl-gehütetes Geheimnis der jeweiligen Hersteller. Daher können wir als Grundlagenforscher an diesen Themen nur mutmaßen. Unsere Arbeit soll die Hersteller von selbstfahrender Technologie wachrütteln, sie vor der potenziellen Bedrohung warnen. Wenn sie davon wissen, können sie ihre Systeme so trainieren, dass sie gegenüber derartigen Angriffen robust sind.

Möglicherweise ebenso wichtig wie der Hackerangriff selbst ist, dass es den Entwicklerteams der Automobilindustrie zeigt, wie man unter Verwendung einer sogenannten „zero flow“-Prüfung bessere optische Flussalgorithmen entwickeln kann. „Wenn wir dem System zwei identische Bilder zeigen und es keinerlei Bewegung zwischen den beiden gibt, sollte sich der optische Flussalgorithmus farblich überhaupt nicht verändern. Dies ist jedoch oft nicht der Fall, selbst ohne einen Angriff. Schon da fangen also die Probleme an. Hier müssen wir ansetzen, um zu beheben, was das Netz falsch macht“, erläutert Ranjan. Er und sein Team hoffen, dass ihre Forschungsarbeit dazu beiträgt, das Bewusstsein für die Problematik zu stärken, und dass Automobilhersteller derartige Angriffe ernst nehmen und ihre Systeme entsprechend anpassen, um sie weniger störanfällig zu machen.