Automatisierte Entscheidungen dürfen keine maßgebliche Rolle spielen
Fuchs: „Urteil von wegweisender Bedeutung auch für KI-basierte Entscheidungen“
Mit seinem Urteil vom 07.12.2023 hat der Europäische Gerichtshof (EuGH) die Rechte Betroffener gestärkt. Es schützt Bürger:innen davor, zum Objekt undurchsichtiger Entscheidungsvorschläge zu werden. Konkret hat der EuGH die Schuldnerbewertung der Schufa als automatisierte Entscheidung eingestuft, die sich Betroffene nur in Ausnahmefällen und unter Überwindung hoher Hürden gefallen lassen müssen. Denn gemäß Artikel 22 der Datenschutzgrundverordnung (DSGVO) hat jeder Mensch das Recht, nicht durch rein automatisierte Entscheidungen benachteiligt zu werden. Was nun für algorithmisch errechnete Schufa-Scores gilt, hat Folgen weit über den Wirkungsbereich von Auskunfteien hinaus – denn es ist auf den Einsatz vieler KI-Systeme übertragbar.
Bereits die abstrakte Bewertung des Risikos eines Zahlungsausfalls durch die Schufa stufte der EuGH nun als Entscheidung mit Rechtswirkung ein. Diese Haltung ist nachvollziehbar, bedenkt man, wie stark sich Banken und Unternehmen in aller Regel maßgeblich auf diese Vorbewertung stützen, ohne den Score überprüfen zu können. Im Gegenteil sind Letztentscheider:innen faktisch gezwungen, der Schufa-Bewertung blind zu vertrauen. Ebenfalls intransparent und damit für das EuGH-Urteil gleichermaßen relevant sind viele KI-Anwendungen.
Die Argumentation des EuGH betrifft auch viele KI-Systeme
Ähnlich wie Auskunfteien werden auch KI-Systeme häufig eingesetzt, um vorbereitende Entscheidungsgrundlagen zu entwerfen. Diese computergenerierten Vorschläge können nach den Maßstäben des EuGH bereits als eigenständig einzustufen sein, wenn sie im Entscheidungsprozess eine maßgebliche Rolle spielen. Wird künstliche Intelligenz beispielsweise eingesetzt, um Bewerbungen vorzusortieren oder um für medizinische Einrichtungen zu analysieren, welche Patien:innen sich besonders für eine Studie eignen, sind die Ergebnisse nur auf den ersten Blick reine Vorschläge.
Wenn diese vorbereitenden Darstellungen aber auf Basis kaum nachvollziehbarer, von der KI eigenständig entwickelter Kriterien entstanden sind, ist die Nähe zur Wirkweise einer Auskunfteien-Bewertung im Sinne des EuGH-Urteils groß. Was also für Schufa-Scores gilt, gilt dann auch für den Output einer künstlichen Intelligenz. Dem Urteil entsprechend müssen solche KI-basierte Bewertungen mit einer menschlichen Beurteilung verknüpft werden.
Das stellt Anwendende vor einige Herausforderungen, denn die letztentscheidende Person benötigt Sachkunde und genug Zeit, um die maschinelle Vorentscheidung hinterfragen zu können. Nach den neuen Maßstäben des EuGH ist genau das aber jetzt essenziell: die involvierte Logik nachvollziehen und gegebenenfalls übersteuern zu können, die hinter dem computergenerierten Vorschlag steckt.
Das letzte Wort hat der Mensch
Diese Anforderung steht grundsätzlich im Konflikt mit der Funktionsweise autonomer Einschätzungen durch künstliche Intelligenz. Nur durch eine engmaschige menschliche Steuerung des KI-Trainings lässt sich dieser Herausforderung begegnen. Die Entscheidungswege einer KI können oft nur in der Entwicklungsphase nachvollzogen und beeinflusst werden. Es ist daher Aufgabe der Entwickler:innen, Transparenz herzustellen, und Aufgabe der Anwender:innen ist es, sich mit der Funktionsweise auseinanderzusetzen und sie in jedem Einzelfall zu überprüfen.
Sollte diese Abgrenzung von Mensch und Maschine nicht gelingen, sind Bewertungen von Einzelpersonen durch eine künstliche Intelligenz nur in den engen Grenzen des Artikels 22 DSGVO zulässig. Ausnahmsweise dürfen automatische Entscheidungen dann nur in folgenden Fällen übernommen werden:
- wenn die betroffene Person ausdrücklich eingewilligt hat
- wenn die automatisierte Entscheidung im Ausnahmefall für die Erfüllung eines Vertrags erforderlich ist, weil zum Beispiel in einer Online-Anwendung die sofortige verbindliche Rückmeldung notwendig ist
Aber auch in diesen Fällen sind die Betroffenen nicht schutzlos. Wenn sie sich von der KI falsch eingeschätzt fühlen, haben sie das Recht, ihren individuellen Standpunkt darzulegen und die Nachprüfung durch einen Menschen zu verlangen. Dieses Recht auf Neuentscheidung wird nach den neuen Maßstäben des EuGH künftig wichtiger werden.
Thomas Fuchs, der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit: „Das Urteil ist von wegweisender Bedeutung für die digitale Gesellschaft. Betroffene von intransparenten Entscheidungen, sowohl von Auskunfteien als auch von KI-basierten Systemen, werden gestärkt. Der Gerichtshof hat damit die Spielregeln für den Einsatz künstlicher Intelligenz konkretisiert. KI-Systeme gleichen in ihrer Entscheidungsfindung häufig einer Blackbox und bewerten Personen auf nicht nachvollziehbare Weise. Für künstliche Intelligenz gilt daher ähnliches wie für Auskunfteien: Man darf ihnen nicht blind vertrauen. Das letzte Wort muss stets der Mensch haben, und die Betroffenen können dies einfordern. Entscheidungspersonen müssen tatsächlich in der Lage sein, die Vorschläge einer KI zu hinterfragen, und sie müssen die individuelle Situation der Betroffenen berücksichtigen. Dies erfordert Sachkunde, ausreichende Ressourcen und Einblicke in die Entscheidungsprozesse innerhalb der KI.“
Hier finden Sie das Urteil des EuGH und die Pressemitteilung auf Englisch.
