Automatisierte Entscheidungen mittels KI unterliegen nach Art. 22 DSGVO strengen Regeln, und der AI Act ergänzt diese durch Transparenz-, Aufsichts- und Risikomanagementpflichten für Hochrisiko-KI-Systeme. Für Unternehmen ist die Kernfrage deshalb nicht, ob ein Tool "intelligent" ist, sondern ob eine Person am Ende einer rein automatisierten Entscheidung ohne echte menschliche Prüfung mit Rechtsfolgen oder ähnlich gravierenden Nachteilen konfrontiert wird.
Die kurze Antwort lautet: Wenn ein KI-System eigenständig über Kredit, Bewerbung, Versicherungsprämie oder vergleichbare Einzelfälle entscheidet, greift Art. 22 DSGVO sehr schnell. Zusätzlich kommen je nach Einsatzbereich Pflichten aus dem AI Act hinzu, insbesondere zu Hochrisiko-KI nach Annex III, menschlicher Aufsicht, Dokumentation und Betreiberverantwortung. Den regulatorischen Grundrahmen finden Sie ergänzend in KI-Verordnung vs. DSGVO, die operative Schulungsperspektive auf der EU-AI-Act-Schulung und die Datenschutz-Folgenabschätzung in DSFA für KI-Systeme.
Wann Art. 22 Abs. 1 DSGVO bei KI greift
Art. 22 Abs. 1 DSGVO verbietet Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und gegenüber einer Person rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen. Drei Tatbestandsmerkmale sind deshalb immer zu prüfen: erstens liegt überhaupt eine Entscheidung vor, zweitens erfolgt sie ausschließlich automatisiert, und drittens ist die Wirkung rechtlich oder ähnlich erheblich.
Eine Entscheidung liegt vor, wenn das System nicht nur unterstützt, sondern einen Einzelfall tatsächlich sortiert, annimmt, ablehnt, bepreist oder priorisiert. Ein bloßes internes Risikosignal ohne Folgewirkung fällt nicht automatisch unter Art. 22. Sobald das Signal aber den Ausschlag für eine Ablehnung, einen schlechteren Tarif oder eine Nicht-Einladung zum Vorstellungsgespräch gibt, wird die Schwelle schnell überschritten.
Rein automatisiert bedeutet mehr als "mit viel Software". Art. 22 greift nur dann, wenn keine sinnvolle menschliche Einflussnahme stattfindet. Eine formale Sichtkontrolle reicht nicht. Wenn Mitarbeiter Ergebnisse regelmäßig nur abnicken, ohne Datengrundlage, Plausibilität und Ausnahmesituationen wirklich prüfen zu können, bleibt die Entscheidung faktisch automatisiert. Genau diese Abgrenzung ist für KI-Scoring-Systeme, Recruiting-Tools und Preisalgorithmen zentral.
Rechtliche Wirkung liegt typischerweise bei Entscheidungen über Vertragsabschluss, Kreditvergabe, Kündigung, Leistungsgewährung oder Versicherungsannahme vor. Eine ähnlich erhebliche Beeinträchtigung kann auch ohne unmittelbare Rechtsänderung gegeben sein, etwa wenn Personen systematisch vom Arbeitsmarkt, von essenziellen Dienstleistungen oder von wirtschaftlich relevanten Chancen ausgeschlossen werden. KI-gestützte Vorselektion in HR oder Scoring für Verbraucherfinanzierung ist deshalb regelmäßig besonders sensibel.
Profiling allein ist übrigens noch nicht automatisch verboten. Art. 22 DSGVO richtet sich nicht gegen jede Bewertung oder Segmentierung, sondern gegen die Entscheidungswirkung solcher Profile. Wenn ein System lediglich Hinweise liefert, die anschließend wirklich eigenständig durch Fachpersonal gewürdigt werden, kann Art. 22 außerhalb des Verbots bleiben. Sobald das Profil aber die maßgebliche Weichenstellung übernimmt, kippt die Bewertung.
Nicht jeder KI-Einsatz löst also automatisch Art. 22 aus. Ein internes Frühwarnsystem, das nur zusätzliche Prüfungen anstößt, eine Betrugswarnung mit nachgelagerter Sachbearbeiterentscheidung oder ein Assistenzsystem für Dokumentensichtung kann außerhalb des Verbots bleiben, wenn die menschliche Stelle tatsächlich frei prüft und den KI-Output nicht bloß bestätigt. Genau diese prozessuale Trennschärfe sollten Unternehmen dokumentieren, bevor sie von "nur unterstützender KI" sprechen.
Die drei Ausnahmen aus Art. 22 Abs. 2 DSGVO und ihre Grenzen
Art. 22 Abs. 2 DSGVO lässt rein automatisierte Entscheidungen nur in drei eng begrenzten Konstellationen zu: wenn sie für den Abschluss oder die Erfüllung eines Vertrags erforderlich sind, wenn sie auf einer unions- oder mitgliedstaatlichen Rechtsgrundlage beruhen oder wenn die betroffene Person ausdrücklich eingewilligt hat. Keine dieser Ausnahmen ist ein Freifahrtschein für KI-Automatisierung.
Die Vertragsausnahme wird in der Praxis oft überschätzt. "Erforderlich" meint nicht bloß wirtschaftlich bequem oder skalierbar, sondern tatsächlich notwendig für den konkreten Vertrag. Unternehmen müssen erklären können, warum der Prozess ohne Vollautomatisierung nicht sinnvoll erfüllbar ist und warum ein milderes Mittel mit menschlicher Beteiligung nicht ausreicht. Für viele HR-, Versicherungs- und Pricing-Szenarien ist diese Hürde hoch.
Die gesetzliche Ermächtigung setzt eine klare Rechtsgrundlage im Unions- oder Mitgliedstaatenrecht voraus, die zugleich geeignete Schutzmaßnahmen vorsieht. Ein allgemeines Brancheninteresse oder eine interne Compliance-Richtlinie genügt nicht. Wenn Unternehmen sich auf diese Ausnahme berufen wollen, müssen sie die konkrete Norm und die darin vorgesehenen Sicherungen sauber dokumentieren.
Die ausdrückliche Einwilligung ist im KI-Kontext ebenfalls heikel. Sie muss freiwillig, informiert, eindeutig und widerruflich sein. In Beschäftigungsverhältnissen oder bei wirtschaftlichem Druck ist die Freiwilligkeit oft zweifelhaft. Zudem heilt eine Einwilligung keine intransparenten Black-Box-Prozesse. Auch mit Einwilligung bleiben Transparenz-, Informations- und Sicherheitsanforderungen bestehen.
Selbst wenn eine Ausnahme greift, verlangt Art. 22 Abs. 3 DSGVO zusätzliche Schutzmaßnahmen. Betroffene müssen mindestens das Recht auf menschliches Eingreifen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung erhalten. Für besondere Kategorien personenbezogener Daten gilt nach Art. 22 Abs. 4 ein nochmals strengeres Regime. Unternehmen sollten deshalb nie nur die Ausnahme prüfen, sondern immer auch die flankierenden Rechte und Prozessschritte operationalisieren.
Typische KI-Anwendungsfälle mit hohem Art.-22-Risiko
Die klassische Risikozone sind Scoring- und Auswahlprozesse, in denen KI aus historischen Daten Vorhersagen über Zuverlässigkeit, Eignung oder Risiko ableitet. Je näher das Ergebnis an einer Ja-Nein-Entscheidung liegt, desto eher wird Art. 22 DSGVO relevant.
| KI-Anwendungsfall | Typische Wirkung | DSGVO-Risiko | AI-Act-Bezug |
|---|---|---|---|
| Kreditscoring | Kredit wird bewilligt, abgelehnt oder verteuert | Art. 22 sehr naheliegend, Informationspflichten hoch | Hochrisiko nach Annex III bei Kreditwürdigkeit |
| Bewerberselektion | Einladung oder Ablehnung im Recruiting | Art. 22 sehr naheliegend bei Auto-Filterung | Hochrisiko in Beschäftigung nach Annex III |
| Dynamische Preisgestaltung | Unterschiedliche Preise oder Konditionen pro Person | Erhebliche Beeinträchtigung möglich, je nach Marktstellung | Je nach Branche plus Transparenz- und Governance-Pflichten |
| Versicherungsentscheidung | Annahme, Prämie oder Risikoklasse | Art. 22 naheliegend bei Vollautomatisierung | Hochrisiko bei Lebens- und Krankenversicherung |
Kreditscoring ist der deutlichste Fall. Wenn ein Modell aus SCHUFA-Daten, Kontobewegungen oder anderen Merkmalen automatisch entscheidet, ob ein Verbraucher Kredit erhält oder zu welchen Konditionen, liegt eine rechtlich wirksame Entscheidung mit erheblicher persönlicher Auswirkung vor. Hier reichen Standardformulierungen im Datenschutzhinweis nicht aus; erforderlich sind belastbare Rechtsgrundlagen, Transparenz und ein echter Eskalationsweg zur menschlichen Prüfung.
Automatisierte Bewerberselektion ist ebenso kritisch. Der AI Act stuft Systeme zur Rekrutierung, Analyse von Bewerbungen und Bewertung von Kandidaten ausdrücklich als Hochrisiko-KI ein. Parallel stellt Art. 22 DSGVO die Frage, ob Bewerber ohne echte menschliche Entscheidung aussortiert werden. Wer CV-Parsing, Ranking und Auto-Reject kombiniert, bewegt sich in einer regulatorischen Hochzone aus Datenschutz, Arbeitsrecht und KI-Governance. Für den arbeitsrechtlichen Blick lohnt ergänzend KI-Schulung und Rechte von Arbeitnehmern.
Auch personalisierte Preis- und Versicherungsmodelle können problematisch werden. Wenn eine Person wegen algorithmischer Bewertung schlechtere Vertragsbedingungen erhält, kann das wirtschaftlich ähnlich erheblich sein wie eine formale Ablehnung. Besonders in der Lebens- und Krankenversicherung nennt Annex III des AI Acts KI-Systeme zur Risikobewertung und Preisbildung ausdrücklich als Hochrisiko.
Zusammenspiel mit dem AI Act: Art. 14, Art. 26 und Annex III
Der AI Act ersetzt Art. 22 DSGVO nicht, sondern verschärft die Organisationsanforderungen für bestimmte KI-Systeme. Ein Unternehmen kann daher zugleich datenschutzrechtlich im Art.-22-Bereich und regulatorisch im Hochrisiko-Bereich des AI Acts sein.
Art. 14 AI Act verlangt für Hochrisiko-KI eine wirksame menschliche Aufsicht. Das ist mehr als ein symbolischer Freigabeklick. Menschen müssen das System verstehen, Fehlfunktionen erkennen, Ergebnisse einordnen und im Bedarfsfall eingreifen oder stoppen können. Genau diese Logik deckt sich praktisch mit der DSGVO-Anforderung, dass eine menschliche Beteiligung echt und nicht bloß formal sein muss.
Annex III ist für Unternehmen besonders wichtig, weil dort sensible Einsatzfelder konkret genannt werden. Dazu gehören Beschäftigung, Arbeitnehmermanagement und Zugang zu Selbstständigkeit ebenso wie Kreditwürdigkeitsprüfung sowie Risiko- und Preisbewertung in Lebens- und Krankenversicherung. Wenn Ihr KI-System in diesen Bereichen arbeitet, sollten Sie nicht nur Art. 22 DSGVO prüfen, sondern von Anfang an Hochrisiko-Governance annehmen.
Art. 26 AI Act verpflichtet Betreiber von Hochrisiko-KI unter anderem dazu, das System gemäß Gebrauchsanweisung einzusetzen, die menschliche Aufsicht organisatorisch abzusichern, Eingabedaten geeignet zu halten und Vorfälle zu adressieren. Für die Praxis heißt das: Datenschutz- und KI-Compliance müssen dieselbe Entscheidungskette dokumentieren. Wer mehr Struktur sucht, findet den Managementsystem-Blick in ISO 42001 und die Governance-Überschneidung in AI Act vs. NIS2 vs. DSGVO.
NIS2 tritt ergänzend hinzu, wenn Entscheidungssysteme in sicherheitskritischen oder wesentlichen Einrichtungen betrieben werden. Dann geht es zusätzlich um Zugriffsschutz, Lieferantensteuerung, Vorfallmanagement und Resilienz. NIS2 legitimiert aber keine automatisierten Einzelfallentscheidungen gegenüber Personen; sie ergänzt nur die organisatorische Sicherheitsseite solcher Systeme.
EuGH SCHUFA-Urteil C-634/21: Warum Scoring nicht neutral ist
Das EuGH-Urteil vom 7. Dezember 2023 in der Rechtssache C-634/21 hat die Praxis rund um Scoring deutlich verschärft. Der Gerichtshof hat klargestellt, dass ein Score einer Auskunftei als automatisierte Einzelentscheidung im Sinne von Art. 22 DSGVO einzuordnen sein kann, wenn Dritte diesem Score eine maßgebliche Rolle bei der Kreditvergabe beimessen.
Die Kernaussage ist für KI-Systeme weitreichend. Unternehmen können sich nicht damit entlasten, dass "nur" ein Score, Ranking oder Wahrscheinlichkeitswert geliefert wird. Wenn dieser Wert faktisch über Bewilligung oder Ablehnung entscheidet, schaut das Datenschutzrecht auf die tatsächliche Wirkung und nicht auf das Etikett des Tools. Genau deshalb ist KI-Scoring in Kredit-, HR- oder Versicherungsprozessen kein bloßes Analyseinstrument mehr, sobald nachgelagerte Stellen den Output determinierend übernehmen.
Für Unternehmen folgt daraus eine praktische Vier-Punkte-Liste. Erstens müssen sie prüfen, ob Scores nur informieren oder tatsächlich entscheiden. Zweitens müssen sie dokumentieren, wie menschliche Prüfer abweichen können und wann sie abweichen müssen. Drittens müssen sie die Informationspflichten so formulieren, dass die betroffene Person die wesentlichen Entscheidungsfaktoren versteht. Viertens dürfen sie Black-Box-Ausgaben nicht als neutrale Vorprüfung verniedlichen.
Informationspflichten nach Art. 13, 14 und 15 DSGVO
Art. 13 und 14 DSGVO verlangen bei automatisierten Entscheidungen aussagekräftige Informationen über die involvierte Logik sowie über Tragweite und angestrebte Auswirkungen der Verarbeitung. Art. 15 DSGVO wiederholt diesen Anspruch im Auskunftsrecht. Unternehmen müssen Betroffenen also nicht den kompletten Quellcode offenlegen, aber sie müssen die Entscheidungslogik verständlich und fallbezogen erklären können.
In der Praxis bedeutet das: Beschreiben Sie die Datenkategorien, die zentralen Entscheidungskriterien, die Bedeutung der Faktoren, die möglichen Konsequenzen und die vorhandenen Rechte auf menschliche Überprüfung und Anfechtung. Die häufige Antwort "das Modell ist zu komplex" genügt nicht. Komplexität ist ein Governance-Problem des Unternehmens, kein Argument gegen Transparenz.
Gerade bei KI lohnt sich eine zweistufige Erklärung. Die erste Ebene richtet sich an Betroffene in klarer Sprache und nennt Hauptfaktoren, Entscheidungszweck und Folgen. Die zweite Ebene richtet sich intern an Compliance, Datenschutz und Fachverantwortliche und enthält Modellannahmen, Schwellenwerte, Datenquellen, Override-Regeln und Monitoring. Diese Zweiteilung verbessert sowohl die Rechtskonformität als auch die Auditfähigkeit.
Warum eine DSFA bei KI-Entscheidungen oft unvermeidbar ist
Eine Datenschutz-Folgenabschätzung ist bei KI-gestützten Entscheidungen häufig der sauberste Ausgangspunkt, weil sie Rechtsgrundlage, Risikoanalyse, Betroffenenperspektive und Schutzmaßnahmen in einem Verfahren bündelt. Besonders naheliegend ist sie, wenn umfangreich profiliert wird, sensible Daten einfließen, systematisch bewertet oder in Hochrisiko-Bereichen wie Beschäftigung, Kredit und Versicherung entschieden wird.
Die DSFA sollte bei Art.-22-nahen Systemen mindestens sieben Punkte beantworten: Zweck und Prozess des Systems, Datenquellen, Entscheidungslogik, Auswirkungen auf Betroffene, Diskriminierungsrisiken, menschliche Aufsicht und verfügbare Rechtsbehelfe. Wer diese Fragen erst nach dem Go-live stellt, dokumentiert nur noch Versäumnisse. Eine frühe DSFA zwingt das Unternehmen dagegen, das Betriebsmodell vor dem produktiven Einsatz nachvollziehbar zu machen.
Praktisch ist die DSFA auch die Brücke zum AI Act. Viele Informationen, die dort für Hochrisiko-KI benötigt werden, etwa zum Einsatzzweck, zu Kontrollmaßnahmen, zur Aufsicht und zu Restrisiken, lassen sich strukturiert mit der datenschutzrechtlichen Bewertung verzahnen. Unternehmen vermeiden so doppelte Dokumentation und erkennen früher, ob ein Tool nur assistiert oder faktisch bereits automatisiert entscheidet.
Praxistipps für rechtssichere KI-Entscheidungen
Die wichtigste Maßnahme ist ein echter Human-in-the-Loop-Prozess. Menschen müssen fachlich geschult sein, Zugriff auf die relevanten Informationen haben, eigenständig prüfen dürfen und ihre Abweichungen dokumentieren. Eine Freigabequote von nahezu 100 Prozent für den KI-Vorschlag ist ein Warnsignal, kein Entlastungsbeweis.
Die zweite Maßnahme ist eine belastbare Dokumentation. Halten Sie pro Anwendungsfall fest, welcher Zweck verfolgt wird, welche Daten genutzt werden, ob Art. 22 DSGVO ausgelöst wird, welche Ausnahme gegebenenfalls herangezogen wird, welche Betroffenenrechte umgesetzt sind und welche AI-Act-Pflichten parallel greifen. Diese Dokumentation sollte mit Ihrer Datenschutz-Folgenabschätzung, Ihrer KI-Richtlinie und Ihren Betreiberprozessen konsistent sein.
Die dritte Maßnahme ist Transparenz im Produkt- und Prozessdesign. Formulieren Sie Datenschutzhinweise, Bewerberinformationen, Kreditinformationen oder Versicherungsunterlagen so, dass Betroffene den KI-Einsatz früh erkennen. Ergänzen Sie leicht erreichbare Kontaktpunkte für menschliche Nachprüfung. Wer die Transparenz erst im Beschwerdefall nachliefert, ist zu spät.
Die vierte Maßnahme ist risikobasierte Modellsteuerung. Nutzen Sie nur Merkmale, die sachlich erforderlich und überprüfbar sind, testen Sie auf Diskriminierung, begrenzen Sie automatisierte Schwellenentscheidungen und überwachen Sie Fehlerraten sowie Override-Muster. Wenn der Use Case in Annex III fällt, sollte die Fachseite nicht ohne Compliance, Datenschutz und gegebenenfalls Informationssicherheit entscheiden.
Fazit
Automatisierte Entscheidungen mit KI sind kein gewöhnlicher Effizienzhebel, sondern ein hoch regulierter Eingriff in Betroffenenrechte. Art. 22 DSGVO verbietet rein automatisierte Entscheidungen mit rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung grundsätzlich und lässt nur enge Ausnahmen zu. Der AI Act ergänzt diese Logik dort, wo Hochrisiko-KI eingesetzt wird, insbesondere über menschliche Aufsicht, Betreiberpflichten und Dokumentation.
Für Unternehmen ist die pragmatische Konsequenz klar: Prüfen Sie jeden KI-Einsatz darauf, ob er faktisch entscheidet oder nur unterstützt. Wo Art. 22 DSGVO im Raum steht, brauchen Sie echte menschliche Kontrolle, belastbare Transparenz und dokumentierte Rechte auf Intervention und Anfechtung. Wenn Sie diese Prozesse jetzt sauber aufbauen möchten, ist der nächste sinnvolle Schritt eine strukturierte EU-AI-Act-Schulung für Fachbereiche, HR, Compliance und Geschäftsleitung.