Erklärbarkeit ist die Fähigkeit, die Entscheidungen und Outputs eines KI-Systems für Menschen nachvollziehbar zu machen, auch als Explainable AI oder XAI bekannt. Für die Erklärbarkeit Definition bei KI zählt nicht nur das Ergebnis, sondern auch, welche Faktoren, Grenzen und Unsicherheiten Verantwortliche verstehen müssen, um eine Entscheidung richtig einzuordnen.
Relevanz für ISO 42001 und den EU AI Act
Erklärbarkeit ist im EU AI Act vor allem deshalb wichtig, weil Nutzer Hochrisiko-KI gemäß Art. 13 EU-VO 2024/1689 mit ausreichenden Informationen verwenden können müssen. Diese Transparenzpflicht betrifft Gebrauchsanweisungen, Leistungsgrenzen, Fehlerrisiken und Voraussetzungen für eine sachgerechte Interpretation. Ergänzend verlangt Art. 14, dass menschliche Aufsicht nur dann wirksam ist, wenn zuständige Personen Ergebnisse fachlich verstehen und notfalls eingreifen können.
Erklärbarkeit ist für ISO 42001 wichtig, weil ein KI-Managementsystem nachvollziehbare Entscheidungen organisatorisch absichern muss und nicht nur technisch. Der Research-Bestand dieses Projekts verweist dabei besonders auf Control A.5 zur Bewertung von Auswirkungen von KI-Systemen, auf dokumentierte Governance-Vorgaben in A.5 sowie auf Controls zur menschlichen Aufsicht in A.6. Unternehmen müssen also festlegen, wann Erklärbarkeit erforderlich ist, wie sie geprüft wird und welche Informationen Fachbereiche tatsächlich erhalten.
Erklärbarkeit ist nicht dasselbe wie vollständige Offenlegung des gesamten Modells. In der Praxis reicht es oft nicht, nur Quellcode oder Architekturdiagramme vorzuhalten. Entscheidend ist, dass Betreiber Aussagen zu Einflussfaktoren, Datenbasis, typischen Fehlmustern und Grenzen eines Systems verstehen. Genau hier unterscheidet sich Erklärbarkeit von Interoperabilität: Interoperabilität beschreibt das Zusammenspiel von Systemen, Erklärbarkeit die Nachvollziehbarkeit einzelner Ergebnisse.
Welche XAI-Methoden gibt es?
Erklärbarkeit wird in Unternehmen meist über konkrete XAI-Methoden umgesetzt, die je nach Risiko und Modelltyp unterschiedlich geeignet sind.
| Methode | Vorteil | Nachteil |
|---|---|---|
| SHAP | Zeigt Einfluss einzelner Merkmale je Entscheidung | Für Fachbereiche oft erklärungsbedürftig |
| LIME | Lokale Erklärung einzelner Vorhersagen | Ergebnisse können je nach Sampling schwanken |
| Counterfactuals | Zeigt, welche Änderung zu anderem Ergebnis geführt hätte | Nicht für jedes Modell leicht erzeugbar |
| Entscheidungsbäume | Sehr gut verständlich | Bei komplexen Fällen oft weniger präzise |
| Feature-Importance | Schneller Überblick über relevante Merkmale | Erklärt nicht jede Einzelentscheidung vollständig |
| Modellkarten | Gute Dokumentation von Zweck, Grenzen und Daten | Ersetzen keine Erklärung im Einzelfall |
Erklärbarkeit sollte risikobasiert gewählt werden. Ein internes Textklassifikationsmodell braucht meist weniger Tiefe als ein System zur Bewerberbewertung, Kreditprüfung oder Priorisierung von Meldungen. Sobald Fehlentscheidungen Rechte, Chancen oder Sicherheit beeinflussen, steigen die Anforderungen an Dokumentation, Prüfung und Governance. Dann spielt auch Bias und Diskriminierung in KI eine größere Rolle, weil Erklärbarkeit hilft, problematische Muster sichtbar zu machen.
Praxisbeispiel aus dem KMU-Alltag
Ein Unternehmen mit 180 Mitarbeitenden nutzt ein KI-System, um eingehende Bewerbungen vorzusortieren. Das Modell liefert einen Score und eine Rangfolge. Ohne Erklärbarkeit sehen Recruiter nur ein Ergebnis, aber nicht, ob Sprachmuster, Lücken im Lebenslauf oder bestimmte Formulierungen den Score stark beeinflusst haben. Das erhöht das Risiko, fehlerhafte oder diskriminierende Entscheidungen ungeprüft zu übernehmen.
Mit Erklärbarkeit erhält das HR-Team zusätzlich die wichtigsten Einflussfaktoren pro Bewertung, dokumentierte Grenzen des Modells, typische Fehlermuster und klare Regeln für den menschlichen Eingriff. Genau dieser organisatorische Rahmen passt sowohl zum EU AI Act als auch zu ISO 42001: Informationen müssen verständlich sein, Aufsicht muss praktisch möglich sein und Risiken müssen dokumentiert überprüft werden. Für Unternehmen ist das kein Selbstzweck, sondern eine Voraussetzung für belastbare Freigaben und Auditfähigkeit.
Verwandte Begriffe und praktische Einordnung
Erklärbarkeit hängt eng mit Transparenz, Aufsicht und Risikomanagement zusammen. Wenn Sie den Begriff in Ihrem Unternehmen praktisch verankern wollen, sollten Sie ihn immer gemeinsam mit menschlicher Aufsicht, Interoperabilität und Bias und Diskriminierung in KI betrachten. Für die operative Umsetzung helfen außerdem der EU AI Act Kurs und der ISO 42001 Leitfaden, wenn Sie Anforderungen in Rollen, Prozesse und Schulungen übersetzen möchten.
FAQ
Was bedeutet Erklärbarkeit bei KI?
Erklärbarkeit bedeutet, dass Menschen nachvollziehen können, warum ein KI-System ein bestimmtes Ergebnis erzeugt und welche Grenzen diese Aussage hat.
Welche XAI-Methoden gibt es?
Typische Methoden sind SHAP, LIME, Counterfactuals, Entscheidungsbäume, Feature-Importance und Modellkarten.
Was ist der Unterschied zwischen Erklärbarkeit und Transparenz?
Transparenz beschreibt die Offenlegung von Informationen über ein System. Erklärbarkeit beschreibt, wie gut einzelne Entscheidungen oder Outputs verstanden und geprüft werden können.
Was fordert ISO 42001 zur Erklärbarkeit?
ISO 42001 fordert keinen einzelnen Technikstandard, wohl aber einen dokumentierten Umgang mit Auswirkungen, Risiken, menschlicher Aufsicht und der verständlichen Interpretation von KI-Ergebnissen, insbesondere über Controls in A.5 und A.6.
Muss jede KI-Entscheidung erklärbar sein?
Nicht jede KI-Entscheidung braucht dieselbe Erklärungstiefe. Je höher das Risiko für Betroffene oder Geschäftsprozesse, desto stärker müssen Nachvollziehbarkeit, Dokumentation und Eingriffsmöglichkeiten ausgestaltet sein.