Wie gesetzestreu ist KI? ETH-Forschende machen den Test

Forschende der ETH Z¨¹rich sowie des ¨C in Zusammenarbeit mit ETH und EPFL gegr¨¹ndeten ¨C bulgarischen KI-Forschungsinstituts INSAIT und des ETH Spin-offs LatticeFlow AI haben die erste umfassende technische Interpretation des EU AI Acts f¨¹r allgemeine KI-Modelle (engl. General Purpose AI, GPAI) vorgelegt. Damit sind sie die ersten, die die rechtlichen Anforderungen, welche die EU an k¨¹nftige KI-Modelle stellt, in konkrete, mess- und ¨¹berpr¨¹fbare technische Anforderungen ¨¹bersetzen.

Eine solche ?bersetzung ist f¨¹r den weiteren Umsetzungsprozess des EU AI Acts sehr relevant: Die Forschenden pr?sentieren ein praktisches Vorgehen f¨¹r Modellentwickler:innen, um einzusch?tzen, wie gut ihre Modelle mit den zuk¨¹nftigen EU-rechtlichen Anforderungen ¨¹bereinstimmen. Eine solche ?bersetzung von regulatorischen Anforderungen hin zu tats?chlich ausf¨¹hrbaren Benchmarks hat es bisher nicht gegeben und kann daher sowohl als wichtiger Referenzpunkt f¨¹r das Modelltraining als auch f¨¹r den sich derzeit entwickelnden Verhaltenskodex, den EU AI Act Code of Practice, dienen.

Getestet haben die Forschenden ihren Ansatz an zw?lf beliebten generativen KI-Modellen wie ChatGPT, Llama, Claude oder Mistral ¨C schlie?lich haben diese grossen Sprachmodelle (LLM) enorm zur wachsenden Popularit?t und Verbreitung von k¨¹nstlicher Intelligenz (KI) im Alltag beigetragen, da sie sehr leistungsf?hig und intuitiv zu bedienen sind. Mit der zunehmenden Verbreitung dieser ¨C und anderer ¨C KI-Modelle steigen auch die ethischen und rechtlichen Anspr¨¹che an einen verantwortungsvollen Umgang mit KI: So stellen sich zum Beispiel sensible Fragen zu Datenschutz, Schutz der Privatsph?re und zur Transparenz der KI-Modelle. Diese sollten keine ?Black Boxes? sein, sondern m?glichst erkl?rbare und nachvollziehbare Ergebnisse liefern.

Umsetzung des KI-Gesetzes muss technisch klar sein

Ausserdem sollten sie fair funktionieren und niemanden diskriminieren. Vor diesem Hintergrund ist der EU AI Act, den die EU im M?rz 2024 verabschiedete, weltweit das erste KI-Gesetzespaket, das umfassend versucht, das Vertrauen der ?ffentlichkeit in diese Technologien zu maximieren und ihre unerw¨¹nschten Risiken und Nebenwirkungen zu minimieren.

?Der EU AI Act ist ein wichtiger Schritt zur Entwicklung verantwortungsvoller und vertrauensw¨¹rdiger KI?, sagt ETH-Informatikprofessor Martin Vechev, Leiter des Labors f¨¹r sichere, verl?ssliche und intelligente Systeme sowie Gr¨¹nder von INSAIT, ?aber uns fehlt bisher eine klare und pr?zise technische Interpretation der ¨¹bergeordneten rechtlichen Anforderungen aus dem EU AI Act. Das erschwert sowohl die Entwicklung rechtskonformer KI-Modelle als auch die Beurteilung, inwieweit diese Modelle tats?chlich den Rechtsvorschriften entsprechen.?

Der EU AI Act setzt einen klaren rechtlichen Rahmen, um die Risiken sogenannter Allgemeiner K¨¹nstlicher Intelligenz (GPAI) einzud?mmen. Damit sind KI-Modelle gemeint, die in der Lage sind, sehr viele Aufgaben auszuf¨¹hren. Das Gesetz legt jedoch nicht fest, wie die breit gefassten rechtlichen Anforderungen technisch zu interpretieren sind. Die technischen Standards werden noch entwickelt, bis die Vorschriften f¨¹r hochriskante KI-Modelle im August 2026 in Kraft treten.

?Der Erfolg der Umsetzung des Gesetzes wird jedoch wesentlich davon abh?ngen, wie gut es gelingt, konkrete, pr?zise technische Anforderungen und Compliance-orientierte Benchmarks f¨¹r KI-Modelle zu entwickeln?, sagt Petar Tsankov, CEO und zusammen mit Vechev Gr¨¹nder des ETH-Spin-offs LatticeFlow AI, das sich mit der praktischen Umsetzung vertrauensw¨¹rdiger KI befasst. ?Wenn es keine einheitliche Auslegung gibt, was Schl¨¹sselbegriffe wie Sicherheit, Erkl?rbarkeit oder Nachvollziehbarkeit in (GP)AI-Modellen genau bedeuten, bleibt es f¨¹r Modellentwickler:innen unklar, ob ihre KI-Modelle dem AI Act entsprechen?, erg?nzt Robin Staab, Informatiker und Doktorand in Vechevs Forschungsgruppe.

Test von zw?lf Sprachmodellen zeigt M?ngel auf

Hierzu bietet die Methodik, die die ETH-Forschenden entwickelt haben, eine Einstiegshilfe und Diskussionsgrundlage. Zudem haben die Forschenden einen ersten ?Compliance Checker? entwickelt, also eine Benchmark-Methode, mit der sich bewerten l?sst, wie gut KI-Modelle die Anforderungen des EU KI-Gesetzes voraussichtlich erf¨¹llen.

Mit Blick auf die in Europa laufende Konkretisierung der Gesetzesbestimmungen haben die ETH-Forschenden ihre Erkenntnisse in einer Studie ?ffentlich zug?nglich gemacht. Sie haben ihre Ergebnisse auch dem KI-B¨¹ro der Europ?ischen Kommission zur Verf¨¹gung gestellt, das eine Schl¨¹sselrolle bei der Umsetzung und Einhaltung des KI-Gesetzes spielt ¨C und damit auch f¨¹r die Modellbewertung.

In der gr?sstenteils allgemeinverst?ndlichen Studie kl?ren die Forschenden zun?chst die Schl¨¹sselbegriffe. Ausgehend von sechs zentralen ethischen Prinzipien des EU AI Acts (menschliche Entscheidungsfreiheit, Datenschutz, Transparenz, Vielfalt, Diskriminierungsfreiheit, Fairness) leiten sie 12 zugeh?rige, technisch klare Anforderungen ab und bringen diese mit 27 State-of-the-Art-Evaluationsmethoden in Verbindung. Wichtig ist, dass die Forschenden auch darauf hinweisen, in welchen Bereichen konkrete technische Pr¨¹fungen f¨¹r KI-Modelle weniger gut entwickelt oder sogar gar nicht existent sind. Zudem ermutigen sie sowohl Forschende, Modellanbieter:innen als auch Regulierungsbeh?rden dazu, diese Bereiche weiter voranzutreiben, um eine effektive Umsetzung des AI Acts zu gew?hrleisten.

Anstoss zur weiteren Verbesserung

Die Forschenden haben ihren Benchmark-Ansatz auf zw?lf prominente Sprachmodelle (LLMs) angewendet. Die Ergebnisse machen deutlich, dass keines der heute analysierten Sprachmodelle die Anforderungen des EU AI Acts vollst?ndig erf¨¹llt. ?Unser Vergleich dieser grossen Sprachmodelle zeigt, dass es besonders bei Anforderungen wie Robustheit, Vielfalt und Fairness noch M?ngel gibt?, sagt Robin Staab. Dies hat auch damit zu tun, dass sich Entwickler:innen und Forschende in den letzten Jahren vor allem auf allgemeine Modellf?higkeiten und -leistung konzentriert haben, anstatt auf ethische oder soziale Anforderungen wie Fairness oder Nicht-Diskriminierung.

Die Forschenden haben jedoch auch festgestellt, dass selbst zentrale KI-Konzepte wie die Erkl?rbarkeit unklar sind. In der Praxis fehlen geeignete Tools, um nachtr?glich zu erkl?ren, wie die Ergebnisse eines komplexen KI-Modells zustande kamen: Was begrifflich nicht ganz klar ist, l?sst sich auch technisch fast nicht bewerten. Die Studie macht deutlich, dass verschiedene technische Anforderungen, einschliesslich derjenigen, die sich auf Urheberrechtsverletzungen beziehen, derzeit nicht zuverl?ssig messbar sind. F¨¹r Robin Staab ist eines klar: ?Die Modellbewertung allein auf Leistungsf?higkeit zu fokussieren, reicht nicht aus.?

Der Blick der Forschenden geht jedoch ¨¹ber die Bewertung bestehender Modelle hinaus. F¨¹r sie ist der EU AI Act ein erster Fall, wie die Gesetzgebung die Entwicklung und Bewertung von KI-Modellen in Zukunft ver?ndern wird. ?Wir sehen unsere Arbeit als Anstoss, um die Umsetzung des AI Acts zu erm?glichen und um praktikable Empfehlungen f¨¹r Modellanbieter:innen zu erhalten?, sagt Martin Vechev, ?aber eine solche Methodik kann ¨¹ber den  EU AI Act hinausgehen, da sie auch auf andere, vergleichbare Gesetzgebungen anpassbar ist.?

?Letzten Endes wollen wir eine ausgewogene Entwicklung von LLMs anstossen, die sowohl technische Aspekte wie die Leistungsf?higkeit als auch ethische Aspekte wie Fairness und Inklusion ber¨¹cksichtigt?, erg?nzt Petar Tsankov. Um die technische Diskussion anzukurbeln, stellen die Forschenden ihr Benchmark-Tool COMPL-AI auf einer GitHub-Webseite zur Verf¨¹gung. Dort lassen sich die Ergebnisse und Methoden ihrer Benchmarking-Studie analysieren und visualisieren. ?Wir haben unsere Benchmark-Suite als Open Source ver?ffentlicht, damit weitere Forschende aus Industrie und Wissenschaft sich daran beteiligen k?nnen?, sagt Petar Tsankov.

_{Die Ergebnisse von f¨¹nf LLM-Modellen in der neuen COMPL-AI-Benchmark-Suite, gruppiert nach ethischen Grunds?tzen. Das Benchmarking arbeitet mit Werten: 1 bedeutet, dass die Anforderungen des KI-Gesetzes vollst?ndig erf¨¹llt sind. Bei O werden sie gar nicht erf¨¹llt. (Tabelle: Lattice Flow, SRI Lab, INSAIT)}