Hoch- und vollautomatisierte Fahrzeuge sind mit einer großen Vielfalt komplexer Situationen in einer sich ständig weiterentwickelnden Mobilitätswelt konfrontiert. Ihr Kernstück, die künstliche Intelligenz (KI), kam jedoch mit wechselnden Verkehrssituationen bisher schlecht zurecht. Das Förderprojekt „KI Delta Learning“ (Konsortialführer Mercedes-Benz AG) liefert nun in einer Abschlusspräsentation am 9. März 2023 neue Forschungsergebnisse zur Skalierbarkeit von KI im Bereich autonomes Fahren. Einer der 17 Projektpartner ist das Institut für Signalverarbeitung und Systemtheorie der Universität Stuttgart.
Ein großes Forschungsfeld im Bereich des hoch- und vollautomatisierten Fahrens stellt die Umfeldwahrnehmung (Perzeption) dar. Hier ist KI eine Schlüsseltechnologie, die in den vergangenen Jahren große Fortschritte gemacht hat. Allerdings wurde KI für die Anwendung im Bereich autonomes Fahren bisher nur für bestimmte Verkehrsszenarien wie beispielsweise „Autobahnfahren bei gutem Wetter“ trainiert. In diesem Szenario (Domäne) arbeitet die KI zuverlässig. Damit sie in anderen Umgebungen wie beispielsweise „Autobahnfahren bei Regen“ funktioniert, müssen KI-Algorithmen für diese neue Domäne erneut trainiert werden, was sehr hohe Entwicklungskosten verursacht. Im Projekt KI Delta Learning sind daher neue Ansätze des maschinellen Lernens untersucht worden, die ein effizienteres Training von KI-Modulen ermöglichen.
Ziel war es, durch Übertragung von vorhandenem Wissen sogenannte Deltas zu lernen – also die unterschiedlichen Anforderungen zwischen einer vertrauten Domäne und einer neuen Zieldomäne. Wenn sich die Domäne verändert, werden bereits erlerntes Wissen sowie getestete und abgesicherte Entwicklungsstufen beibehalten. Vor dem Hintergrund immer kürzerer Innovationszyklen sowie im Hinblick auf die sich stetig verändernde Mobilität, erweist sich dieser Ansatz als effizient.
Zu den Deltas, die im Projekt adressiert wurden, gehören verschiedene Sensoren, unterschiedliche Verkehrsszenarien – von Landstraßen bis hin zu komplexen Stadtverkehren, verschiedene Länder, unterschiedliche Tages- und Jahreszeiten und Wetterbedingungen, langfristige Verkehrsverschiebungen durch neue Mobilitätskonzepte, neuartige Straßenfahrzeuge und Geräte wie beispielsweise E-Scooter oder Lastenräder und nicht zuletzt die kontinuierliche Weiterentwicklung von KI-Methoden wie bessere Trainingsstrategien und effizientere neuronale Netzwerke.
Schwerpunkte: Daten, Transferlernen, Didaktik, automobile Eignung
Um die Grundlage für die Entwicklung in diesen Lernfeldern zu ermöglichen, wurde ein spezifisches, auf die Projektziele zugeschnittenes Datenset erzeugt und annotiert. Das ist notwendig, um die geforderten Deltas unter Berücksichtigung des Datenschutzes abzudecken. Aus diesem Grund wurden sowohl reale Fahrdaten aufgezeichnet als auch synthetische Daten erzeugt.
Transferlernen ist eine Methode des Maschinellen Lernens, mit der sich Domänenwissen übertragen lässt. Sie wird im automobilen Bereich immer wichtiger, weil sie die Genauigkeit der Perzeption autonomer Fahrzeugsystem verbessert. Im Projekt wurde die Methode angewendet um die Leistung von Fahrzeugen insgesamt zu verbessern.
Didaktik ermöglicht - wie in der Schule - Lernen durch Strukturieren des Lernprozesses. Dafür werden annotierte Daten benötigt, was bisher durch Menschenhand erfolgt ist. Im Projekt wurden Ansätze entwickelt, um nicht nur mit weniger, sondern auch mit kaum bis gar nicht annotierten Daten lernen zu können. Hinzu kamen Ansätze für schnelleres Lernen durch optimierte Netzarchitekturen sowie verbesserte Lernprozesse.
Um KI-Systeme für die automobile Anwendung zu entwickeln, hat sich allgemein durchgesetzt, dass KI-Funktionen im Labor entwickelt, trainiert und verifiziert werden, mit Fahrdaten, die zuvor aufgezeichnet wurden. Daraus ergeben sich zwei Probleme: Zum einen sind die Höchstleistungs-Computerhardware im Labor und die im Fahrzeug eingebettete Hardware sehr verschieden, und zum anderen können die Verkehrssituationen, auf die das Fahrzeug in der Realität trifft, durchaus von den aufgezeichneten Trainings- und Testdaten abweichen. Im Projekt KI Delta Learning wurden beide Probleme adressiert, um die Zuverlässigkeit von KI-Systemen für autonome Fahrfunktionen zu gewährleisten sowie die Robustheit von KI-Systemen gegenüber unerwarteten und unbekannten Szenarien zu erhöhen.
Mehrere Methoden an der Universität Stuttgart entwickelt
Das Institut für Signalverarbeitung und Systemtheorie der Universität Stuttgart (ISS, Prof. Bin Yang) hat im Rahmen von KI Delta Learning mehrere neue Methoden für KI im autonomen Fahren entwickelt:
- offline- und online-Adaptierung von trainierten KI-Modellen an neue Testbedingungen, insbesondere während der laufenden Nutzung des Modells in Echtzeit (test-time adaptation),
- semi-überwachte und unüberwachte Erzeugung von fotorealistischen Bildern von Straßenszenen (unsupervised semantic image synthesis) als synthetische annotierte Trainingsdaten, um den Aufwand von Sammlung von Annotation umfangreicher Trainingsdaten für KI zu reduzieren, und zur gezielten Simulation von seltenen Fällen im Straßenverkehr,
- generative Modelle zur künstlichen Verbesserung der Lidar-Auflösung beim Einsatz eines kostengünstigen Lidar-Sensors (Lidar super-resolution), sowie
- multimodale Modelle zur Objekterkennung mit Lidar und Kamera und deren Adaptierung an neue Testbedingungen.
Die Forschungsarbeit brachte 90 Publikationen in hochwertigen Fachzeitschriften und auf Konferenzen hervor, davon sechs am ISS. Weitere acht Publikationen befinden sich am ISS noch in Vorbereitung. Die Forschung ist eingebettet in den Potenzialbereich Autonome Systeme der Universität Stuttgart.
Über KI Delta Learning
Das Projekt KI Delta Learning besteht aus 17 Konsortialpartnern von namhaften Universitäten und Forschungseinrichtungen sowie Automobilherstellern, -zulieferern und Technologieprovidern. Das von der VDA Leitinitiative „Autonomes und Vernetztes Fahren“ als Teil der KI-Familie initiierte und entwickelte Projekt wird durch das Bundesministerium für Wirtschaft und Energie gefördert und hat eine Laufzeit von drei Jahren.
Fachlicher Kontakt:
Koordinator an der Universität Stuttgart:
Prof. Bin Yang, Universität Stuttgart, Institut für Signalverarbeitung und Systemtheorie, Tel.: +49 (0)711/685 67330 E-Mail