Im Mai 2024 verabschiedete die Europäische Union das weltweit erste Regelwerk für Künstliche Intelligenz. Darin ist unter anderem festgelegt, dass KI-Systeme mit hohem Risiko – zum Beispiel bei kritischer Infrastruktur (KRITIS) oder medizinischen Diagnosen – unter menschlicher Aufsicht arbeiten müssen. Außerdem sollen die Systeme für Anwender*innen transparent arbeiten. Im Projekt „KI-Cockpit“ hat das Institut für Arbeitswissenschaft und Technologiemanagement (IAT) der Universität Stuttgart in unterschiedlichen Bereichen die exemplarische Umsetzung der europäischen KI-Verordnung in der betrieblichen Praxis untersucht.
Feldstudien in unterschiedlichen Organisationen
Das Projektkonsortium hat zusammen mit der Caritas, Starwit Technologies sowie Chemistree KI-Cockpits entwickelt. „Unterschiedlicher könnten die drei Partner nicht sein, aber für alle ist das Cockpit hochrelevant“, sagt Dr. Nektaria Tagalidou, Projektleiterin am Fraunhofer IAO. Die Beteiligten haben anhand von Feldstudien in verschiedenen Beispielsituationen untersucht, wie der Mensch im Arbeitsalltag den Überblick über verschiedene KI-Systeme behalten kann. Ein gutes Situationsbewusstsein – also das Verständnis für das, was gerade passiert und welche Folgen das haben könnte – ist sehr wichtig, um richtig handeln zu können.
Bei Starwit Technologies geht es darum, eine KI-gestützte Verkehrsleitplanung für Kommunen zu entwickeln. Die KI kann Gefahrensituationen wie Gegenstände auf der Fahrbahn erkennen oder durch geschickte Verkehrslenkung dazu beitragen, Staus zu vermeiden. Im KI-Cockpit soll ein Mensch die Entscheidungen der KI nachvollziehen und kontrollieren können. „Nur dann kann er schnell manuell steuernd eingreifen, wenn ein Fehler passiert“, sagt Tagalidou.
Die Caritas Dortmund sucht nach Möglichkeiten in der Pflege, KI-Systeme einzusetzen, um die Beschäftigten bei der täglichen Arbeit zu unterstützen. Denkbar wären zum Beispiel Systeme, welche die aufgenommene Flüssigkeitsmenge der Bewohner*innen eines Altenheimes registrieren, oder Algorithmen, welche die Essensbestellungen der Kund*innen an deren individuelle Wünsche anpassen. „Auch hier ist Kontrolle besonders wichtig, weil bei Fehlern Menschen zu Schaden kommen können“, sagt Michael Bui, Wissenschaftler im Team „Applied Neurocognitive Systems“ und wissenschaftlicher Mitarbeiter am IAT.
Im Fokus der Forschenden stand nicht nur die allgemeine Gestaltung der KI-Cockpits, sondern auch Systeme zu entwickeln, die sich an die mentalen Fähigkeiten der Nutzenden anpassen, um Über- oder Unterforderung zu vermeiden. Das ist besonders wichtig in Bereichen, in denen schnelle und richtige Entscheidungen gefordert sind, zum Beispiel in sicherheitskritischen Situationen. Entstanden ist ein System, dass die aktuellen mentalen Fähigkeiten des Nutzenden analysiert und Informationsflüsse entsprechend anpasst.
„KI-Cockpit“ für Unternehmen: Open-Source zum Download
Alle Software-Anwendungen des KI-Cockpits sowie Begleitliteratur können kostenfrei auf der Projektwebsite eingesehen und heruntergeladen werden. Unternehmen, die bereits mit KI arbeiten oder planen, KI-Systeme einzuführen, können von den Erkenntnissen aus dem Projekt profitieren. Das Fraunhofer IAO und IAT der Universität Stuttgart bieten Unternehmen dazu eine umfassende Beratung, die auch die Unterstützung bei der Einführung eines individuell anpassbaren KI-Cockpits beinhaltet.