© Fraunhofer IOSB / M. Zentsch [M] Wie diese Grafik illustriert, erkennt das Advanced Occupant Monitoring System Körperposen sowie bestimmte Objekte und kann daraus auf Aktivitäten der Insassen schließen.
Die Entwicklung autonomer Fahrzeuge benötigt wirklichkeitsnahe Testmöglichkeiten und entsprechende Trainingsdaten für die maschinellen Lernverfahren. Da reale Daten, insbesondere solche, die kritische und gefährliche Situationen repräsentieren, Mangelware sind, wurden im Rahmen des abgeschlossenen F&E-Projekts RELAI entsprechende synthetische Prüfszenarien entwickelt. Diese stehen nun Ausrüstern und Zulieferern zur Verfügung. Ein wesentlicher Beitrag von RELAI findet sich im Advanced Occupant Monitoring System des Fraunhofer IOSB zur kameragestützten Aktivitätserkennung im Fahrzeuginnenraum.
Ein erfahrener Autofahrer weiß, auf was er im Feierabendverkehr achten muss. Autonom fahrende Fahrzeuge hingegen müssen Zusammenhänge erst lernen: Wann sind typische Stoßzeiten, wie könnten sich Passanten verhalten, wie interagieren Verkehrsteilnehmer, wie schnell könnte der Fahrer das Lenkrad übernehmen? Gerade mit Blick auf einen »gemischten« Verkehr der Zukunft, in dem sowohl Menschen als auch selbstfahrende Autos Entscheidungen treffen, müssen Entwicklerinnen und Entwickler bereits heute kritische und komplexe Situationen durchspielen. Oder genauer gesagt: Es gilt, anhand aussagekräftiger Prüfszenarien sowohl in der Simulation als auch im realen Fahrbetrieb zu validieren, dass sich die Fahrzeuge erwartungskonform verhalten.
Bisher fehlten dafür diese realistischen und spezifischen Prüfszenarien. Diese Lücke hat das Projekt RELAI (Risk Estimation with a Learning AI) geschlossen. Im Rahmen des vom Bundesministerium für Digitales und Verkehr (BMDV) geförderten Projekts entstanden synthetische Prüfszenarien, die realen Verkehrssituationen entsprechen und mit denen Funktionen für eine dynamische Risikobewertung getestet werden können. Mit Hilfe von Künstlicher Intelligenz (KI) wurden anhand vorhandener Verkehrsdaten sowie mit Simulationen verschiedene virtuelle Szenarien abgeleitet. Projektbeteiligte waren das Fraunhofer IOSB, das Fraunhofer IAO, die IPG Automotive GmbH, die Universität Stuttgart sowie die auf KI-Anwendungen spezialisierte EDI GmbH. Diese hat das Projekt koordiniert und stellt die Ergebnisse nach Abschluss nun öffentlich zur Verfügung.
Realistische Simulationen ermöglichen zuverlässige Tests
Bei RELAI ist es gelungen, auch herausfordernde und komplexe Varianten darzustellen. Ein Fokus liegt dabei auf dem Verhalten von Fußgängern und Fahrradfahrern in kritischen Situationen und darauf, welches Verhalten diese von autonomen Fahrzeugen erwarten. Ergebnisse sind eine virtuelle Testumgebung mit einem VR-Fußgängersimulator sowie ein Katalog mit umfassenden und variablen Prüfszenarien. Diesen können nun Unternehmen für die Entwicklung, Überprüfung und das Training verschiedener Funktionen für automatisiertes Fahren nutzen. Über ein Webportal kann die KI-basierte Tool-Chain zur automatischen Identifizierung, Evaluierung und Formalisierung von kritische Verkehrssituationen (Corner Cases) für die Simulation intuitiv genutzt werden. Hierzu wurden zwei Applikationen entwickelt, die auf dem EDI hive IoT Framework, einer Cloud-Plattform der EDI GmbH, ausgeführt werden.
Zum Training des Dynamic Risk Management (DRM)-Algorithmus hat die EDI GmbH die über 100.000 manuell von Verkehrsexperten annotierten Datensätze kritischer Verkehrssituationen aus Japan mit öffentlichen Datensätzen von Waymo, Berkeley und neu im Testfeld Autonomes Fahren Baden-Württemberg generierten Datensätzen veredelt. So konnte eine KI implementiert werden, die Fahrsituationen robust und treffsicher identifiziert und evaluiert. Ebenso wurden weitere KI-Algorithmen des Fraunhofer IOSB – beispielsweise zum Annotieren der Daten bezüglich des Fußgänger*innen-Verhaltens und zum Anonymisieren der Datensätze – in die Plattform integriert. Somit unterstützen die Applikationen den Prozess vom Hochladen der Realfahrten bis zur automatischen Generierung der identifizierten Test-Szenarien in ein von der Simulation lesbares Format (Info-File).
Das Fahrzeug muss wissen, was im Innenraum geschieht
Einen zentralen Baustein des RELAI-Projekts bildete das Advanced Occupant Monitoring System des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe. Schwerpunkt dieser Technologie zur kamerabasierten Aktivitätserkennung ist die datenschutzkonforme Erfassung und Interpretation von Aktivitäten der Insassen im Fahrzeuginnenraum. Bei RELAI ermöglicht es dieses System im Zusammenspiel mit weiteren Sensor- und GPS-Daten sowie der Erfassung der Fahrzeugumgebung, unterschiedliche Verkehrssituationen zu evaluieren und in synthetische Szenarien zu überführen.
»Das RELAI-Projekt hat einen wichtigen Beitrag für die Entwicklung autonomer Fahrzeuge geleistet und zeigt das Potenzial des KI-gestützten Computer-Sehens«, erklärt Dr.-Ing. Michael Voit, Gruppenleiter am Fraunhofer IOSB. »Für intelligente Assistenzsysteme ist es essenziell, dass das Fahrzeug weiß, was in seinem Innenraum geschieht. Dies zuverlässig zu erkennen und zu validieren, ist ein wichtiger Schritt für eine funktionierende Interaktion zwischen Fahrzeug und Fahrer.«
System unterscheidet zuverlässig verschiedene Aktivitäten
Mit dem Advanced Occupant Monitoring System bietet das Fraunhofer IOSB eine ausgereifte Lösung, um eine Vielzahl unterschiedlicher Bewegungen, Körperhaltungen und Gesten zu erkennen. Möglich machen das optische Sensoren in Verbindung mit maschinellen Lernverfahren. Das System erfasst alle Personen im Fahrzeug in Form von 3D-Skelettmodellen. Es wertet die verschiedenen Körperposen einschließlich Handpositionen und Blickrichtungen aus und ordnet sie kontextbezogen ein. Ein Alleinstellungsmerkmal ist die große Bandbreite verschiedener Aktivitäten, die erkannt werden. Das System unterscheidet zuverlässig, ob der Fahrer oder die Fahrerin gerade einnickt oder vom Handy abgelenkt ist, auf etwas deutet, ob der Beifahrer telefoniert oder etwas trinkt.
»Das kann nicht nur die Interaktion zwischen Mensch und Computer beim Fahrprozess sicherer gestalten«, sagt Manuel Martin, Senior Scientist am Fraunhofer IOSB. »Es ermöglicht auch eine Vielzahl weiterer Anwendungen, zum Beispiel eine adaptive, also auf die Körperhaltung ausgerichtete Airbag-Auslösung und mehr Komfort, etwa eine intuitive Steuerung über Gesten.« Das Advanced Occupant Monitoring System kann auch als Retrofit-Lösung in vorhandene Versuchsfahrzeuge integriert werden.
Ausblick: Mensch-Maschine-Schnittstelle für das Metaverse
»Anwendungen gibt es überall, wo ein Raum intelligent werden soll und wo es um Mensch-Maschinen-Interaktion geht«, sagt Voit. »Entscheidend ist, dass das System eine Situation versteht, um sinnvoll zu unterstützen.« Neben dem Mobilitätssektor sind etwa Lösungen für Robotereinsätze in der Montage und Pflege oder für intelligente Operationssäle gefragt.
»Als nächstes werden wir uns damit beschäftigen, wie unsere Lösung als Schnittstelle zwischen Mensch und einer intelligenten digitalen Umgebung, dem ›Metaverse‹, fungieren kann«, gibt Voit einen Ausblick. »Wenn ich mein Auto nicht mehr selbst steuern muss, spanne ich vielleicht künftig mit einer VR-Brille oder der Frontscheibe als Display eine erweiterte Realität auf, durch die ich fahre. Dazu braucht es Interaktivität. Wenn ich auf Dinge oder Gebäude deute und das Auto darauf reagiert und mit mir kommuniziert, wird es richtig spannend.«
Weitere Informationen:
Projektwebsite RELAI: https://relai.edi.gmbh/de/
Advanced Occupant Monitoring System: https://www.iosb.fraunhofer.de/aoms
Disclaimer:
„Für den oben stehenden Beitrag sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Nutzer verantwortlich. Eine inhaltliche Kontrolle des Beitrags seitens der Seitenbetreiberin erfolgt weder vor noch nach der Veröffentlichung. Die Seitenbetreiberin macht sich den Inhalt insbesondere nicht zu eigen.“
