Menschliche Aufsicht über KI-Systeme

Menschliche Aufsicht über KI-Systeme bezeichnet organisatorische und technische Vorkehrungen, durch die eine fachkundige Person den Betrieb eines KI-Systems verstehen, überwachen und erforderlichenfalls beeinflussen kann. Bei Hochrisiko-KI-Systemen verlangt die KI-Verordnung eine wirksame, risikogerechte Aufsicht während der Nutzung. Sie soll Fehlentscheidungen, Automatisierungsvertrauen und Grundrechtsverletzungen begrenzen. Eine nur formale Anwesenheit eines Menschen genügt nicht; die Aufsichtsperson benötigt Kompetenz, Befugnisse und tatsächliche Eingriffsmöglichkeiten.

Anforderungen der KI-Verordnung

Art. 14 der KI-Verordnung verpflichtet Anbieter, Hochrisiko-KI-Systeme so zu gestalten, dass natürliche Personen sie wirksam beaufsichtigen können. Betreiber müssen nach Art. 26 geeignete Personen bestimmen.

Aufgaben der Aufsichtsperson

Verstehen und überwachen

Die Person muss Fähigkeiten und Grenzen des Systems kennen, Ausgaben richtig einordnen und Anzeichen von Fehlfunktionen erkennen. Besonders wichtig ist der Schutz vor einem unkritischen Vertrauen in maschinelle Ergebnisse, dem sogenannten Automatisierungsbias.

Eingreifen und stoppen

Je nach Risiko muss sie eine Ausgabe verwerfen, korrigieren oder das System sicher unterbrechen können. Organisatorisch müssen hierfür klare Zuständigkeiten, ausreichende Zeit und echte Entscheidungsbefugnisse bestehen.

Beispiel

Ein Krankenhaus nutzt KI zur Priorisierung von Untersuchungen. Der zuständige Arzt prüft Datenqualität und Plausibilität, darf die Rangfolge ändern und kann das System bei auffälligen Ergebnissen abschalten. Die ärztliche Unterschrift allein wäre noch keine wirksame Aufsicht.

Häufige Fragen

Ist menschliche Aufsicht bei jeder KI vorgeschrieben?

Nein. Die besonderen Vorgaben des Art. 14 betreffen Hochrisiko-KI-Systeme; andere Vorschriften können zusätzliche Prüfpflichten begründen.

Wer trägt die Verantwortung?

Anbieter müssen geeignete Aufsicht ermöglichen, Betreiber müssen sie praktisch organisieren. Die konkrete Verantwortlichkeit hängt von Rolle und Pflichtverletzung ab.

Darf die Aufsichtsperson der KI stets folgen?

Sie darf Ergebnisse berücksichtigen, muss sie aber risikogerecht prüfen und gegebenenfalls übergehen können.

Rechtsquelle

Siehe Art. 14 und 26 der Verordnung (EU) 2024/1689.

Dieser Beitrag dient der allgemeinen Information und ersetzt keine Rechtsberatung.