KI Aufsicht organisieren: Vom Freigabebeschluss zur laufenden Überwachung

Aufsicht beginnt mit einem überprüfbaren Freigabebeschluss

Laufende Aufsicht funktioniert nur, wenn die ursprüngliche Freigabe messbare Bedingungen enthält. Das Leitungsorgan sollte deshalb Zweck, zulässige Nutzergruppen, Datenkategorien, erlaubten Entscheidungseinfluss, genehmigte Systemversion und wesentliche Schutzmaßnahmen festhalten. Ohne diesen Sollzustand lässt sich später nicht zuverlässig beurteilen, ob die Anwendung noch innerhalb der Freigabe arbeitet oder sich unbemerkt in einen anderen Risikobereich verschoben hat.

Die Intensität der Aufsicht muss zur Tragweite passen. Ein internes Schreibwerkzeug für unkritische Entwürfe verlangt andere Kontrollen als ein System, dessen Ausgaben Personalentscheidungen, Kreditprozesse oder sicherheitsrelevante Abläufe beeinflussen. Die Hochrisikopflichten des Kapitels III gelten nach der geänderten Fristenregel für Anhang-III-Systeme grundsätzlich ab 2. Dezember 2027 und für Anhang-I-Systeme ab 2. August 2028. Bereits anwendbare gesellschaftsrechtliche, datenschutzrechtliche und sonstige Pflichten bleiben davon unberührt.

• Freigabegegenstand und Systemversion eindeutig bezeichnen
• Kontrollziele aus den Freigabebedingungen ableiten
• Prüfdichte nach Schadenspotenzial und Veränderungsdynamik staffeln

Quellen: [1] [2] [4]

Verantwortung, Rollen und Berichtslinien festlegen

Für jede wesentliche Anwendung sollte eine namentlich oder funktional bestimmte Stelle die operative Verantwortung tragen. Der fachliche Owner verantwortet Zwecktreue und Prozessqualität; IT und Informationssicherheit überwachen technische Verfügbarkeit und Angriffsflächen; Datenschutz, Recht und Compliance prüfen ihre jeweiligen Risikofelder. Diese Aufteilung muss Entscheidungskompetenzen, Stellvertretung und Ressourcenausstattung einschließen, damit ein Warnsignal nicht zwischen mehreren Funktionen liegen bleibt.

Delegation beendet die Leitungsverantwortung nicht. Geschäftsführung oder Vorstand benötigen verdichtete, entscheidungsfähige Berichte und müssen bei erheblichen Abweichungen eingreifen können. Berichtsintervalle sollten verbindlich sein, zugleich braucht es einen direkten Sondermeldeweg für kritische Ereignisse. Wesentliche Unsicherheiten, fehlende Anbieterinformationen und überfällige Maßnahmen gehören ausdrücklich in den Bericht; eine ausschließlich grüne Ampel ohne belastbare Kriterien ist kein wirksames Aufsichtsinstrument.

• Operativen Owner und unabhängige Kontrollfunktionen benennen
• Regelberichte und unverzügliche Sondermeldungen trennen
• Offene Maßnahmen mit Verantwortlichen und Fristen führen

Quellen: [1] [2]

Kennzahlen müssen Risiken sichtbar machen

Gute Kennzahlen beschreiben nicht nur technische Genauigkeit. Je nach Anwendung sind Fehlentscheidungen, menschliche Übersteuerungen, Beschwerden, unterschiedliche Ergebnisse für relevante Personengruppen, Datenschutzverletzungen, Sicherheitsereignisse, Verfügbarkeit und Zweckabweichungen zu beobachten. Schwellenwerte brauchen einen Bezugszeitraum, eine verantwortliche Auswertung und eine klare Reaktion. Ein Durchschnittswert kann kritische Ausreißer verdecken; deshalb sind Schweregrad und Fallgruppen zusätzlich zu betrachten.

Bei personenbezogenen Daten muss das Monitoring selbst datenschutzkonform gestaltet sein. Es sollte nur die für Kontrolle und Nachweis erforderlichen Daten verarbeiten, Zugriffe begrenzen und angemessene Löschfristen vorsehen. Die DSGVO verlangt unter anderem Rechtmäßigkeit, Zweckbindung, Datenminimierung und geeignete technische sowie organisatorische Maßnahmen. Aufsicht über KI rechtfertigt daher keine grenzenlose Sammlung von Beschäftigten- oder Kundendaten.

• Qualitäts-, Grundrechts-, Datenschutz- und Sicherheitsindikatoren kombinieren
• Schwellenwerte mit Zeitraum und verbindlicher Folge definieren
• Monitoringdaten selbst in Datenschutz und Berechtigungskonzept einbeziehen

Quellen: [3] [5]

Änderungen lösen eine Neubewertung aus

KI Anwendungen verändern sich auch ohne sichtbares neues Projekt. Anbieter tauschen Modelle aus, passen Nutzungsbedingungen an, erweitern Funktionen oder verlagern Verarbeitung. Intern kommen neue Datenquellen, Schnittstellen, Nutzergruppen und Entscheidungszwecke hinzu. Das Änderungsmanagement muss solche Ereignisse erkennen und danach fragen, ob die ursprüngliche Rollenbestimmung, Risikoeinstufung, Datenschutzprüfung, Vertragslage und Freigabe noch tragen.

Nicht jede Änderung verlangt denselben Aufwand. Ein dokumentierter Triageprozess kann zwischen rein administrativen Anpassungen, kontrollpflichtigen Änderungen und einer vollständigen Wiederfreigabe unterscheiden. Hohe Relevanz haben insbesondere Zweckänderungen, ein stärkerer Automatisierungsgrad, neue betroffene Personengruppen, sensible Daten, erhebliche Leistungsabweichungen und ein Wechsel zentraler Modellkomponenten. Bis zum Abschluss der Prüfung kann eine begrenzte Nutzung oder Aussetzung erforderlich sein.

• Anbieter- und Modelländerungen vertraglich meldepflichtig machen
• Änderungen nach festgelegten Relevanzkriterien triagieren
• Bei wesentlichen Änderungen Freigabe und Kontrollen neu festlegen

Quellen: [3] [4]

Vorfälle und Beinahevorfälle konsequent bearbeiten

Ein zentraler Meldekanal sollte Fehlentscheidungen, unerwartete Ausgaben, Sicherheitsprobleme, Beschwerden und Beinahevorfälle aufnehmen. Meldende Personen brauchen eine verständliche Kategorisierung und dürfen nicht erst beweisen müssen, dass bereits ein Rechtsverstoß vorliegt. Die Erstbewertung klärt Schwere, Reichweite, betroffene Personen, Fortdauer und Eindämmungsmöglichkeiten. Gleichzeitig sind Protokolle, Versionen und relevante Kommunikation so zu sichern, dass die Ursachenanalyse nachvollziehbar bleibt.

Auf die Erstmaßnahme folgen Ursachenanalyse und Maßnahmenverfolgung. Zu prüfen sind Daten, Konfiguration, menschliche Kontrolle, Prozessgestaltung, Anbieterleistung und missverständliche Arbeitsanweisungen. Jede Maßnahme benötigt Owner, Frist und Wirksamkeitskontrolle. Daneben ist gesondert zu prüfen, ob gesetzliche Informations- oder Meldepflichten gegenüber Betroffenen, Behörden, Vertragspartnern oder Versicherern ausgelöst werden; die interne Meldung erfüllt solche externen Pflichten nicht automatisch.

• Niederschwelligen Meldeweg für Vorfälle und Beinahevorfälle schaffen
• Beweise und Systemzustand frühzeitig sichern
• Abhilfe bis zur nachgewiesenen Wirksamkeit verfolgen

Quellen: [3] [5]

Aus Aufsicht müssen Leitungsentscheidungen folgen

Aufsicht ist erst wirksam, wenn Ergebnisse Entscheidungen auslösen. Der periodische Bericht sollte Trends, Grenzwertüberschreitungen, offene Maßnahmen und eine begründete Empfehlung zur Fortführung enthalten. Mögliche Reaktionen reichen von zusätzlicher Schulung und engeren Nutzungsgrenzen über technische Anpassungen bis zur Aussetzung. Wiederkehrende Abweichungen dürfen nicht durch immer neue Fristverlängerungen normalisiert werden; sie verändern die Informationsgrundlage der ursprünglichen Freigabe.

Mindestens jährlich sowie anlassbezogen sollte das zuständige Gremium das gesamte Überwachungsdesign überprüfen. Dabei sind Inventarvollständigkeit, Rollen, Kennzahlen, Teststichproben, Vorfallbearbeitung, Anbietersteuerung und Eskalationen einzubeziehen. Die interne Revision kann unabhängig beurteilen, ob das beschriebene System tatsächlich gelebt wird. Eine sorgfältige Organisation reduziert Blindstellen, garantiert aber weder Fehlerfreiheit noch eine Befreiung von möglicher Haftung.

• Fortführung ausdrücklich und begründet bestätigen
• Wiederholte Abweichungen auf höherer Ebene entscheiden
• Überwachungsrahmen regelmäßig unabhängig prüfen lassen

Quellen: [1] [2]

Häufige Fragen