Wann Geschäftsführung und Vorstand einen KI Einsatz stoppen müssen

Rechtsverstoß und nicht mehr vertretbares Risiko trennen

Die erste Stoppschwelle ist rechtlich: Eine Anwendung darf nicht fortgeführt werden, wenn sie einen bereits anwendbaren Verbotstatbestand des Artikels 5 erfüllt oder andere zwingende Voraussetzungen offensichtlich fehlen. Die Verbote sind tatbestandsgebunden; etwa sind Emotionserkennung oder biometrische Verfahren nicht pauschal in jeder Konstellation verboten. Die tatsächliche Zweckbestimmung, Einsatzweise, betroffenen Personen und gesetzlichen Ausnahmen müssen deshalb zügig, aber sorgfältig geprüft werden.

Daneben gibt es die unternehmerische Risikoschwelle. Auch ein nicht eindeutig verbotenes System kann unvertretbar werden, wenn erwartbare Schäden außer Verhältnis zum Nutzen stehen, Kontrollen versagen oder die Leitung keine angemessene Informationsgrundlage mehr besitzt. § 25 GmbHG verlangt die Sorgfalt eines ordentlichen Geschäftsmannes, § 84 AktG jene eines ordentlichen und gewissenhaften Geschäftsleiters. Wirtschaftlicher Druck allein rechtfertigt weder Fortführung noch Abschaltung; entscheidend ist die dokumentierte Gesamtwürdigung.

• Anwendbare Verbote und zwingende Voraussetzungen zuerst prüfen
• Rechtswidrigkeit nicht mit bloßer wirtschaftlicher Unzweckmäßigkeit vermischen
• Unsicherheit und verbleibendes Schadenspotenzial ausdrücklich bewerten

Quellen: [1] [4] [5]

Konkrete Warnsignale in Stoppschwellen übersetzen

Stoppschwellen müssen beobachtbar sein. Beispiele sind schwere oder gehäufte Fehlentscheidungen, unmittelbare Gefahren für Gesundheit oder Sicherheit, systematische Benachteiligungsindikatoren, Verlust menschlicher Eingriffsmöglichkeit, erhebliche Datenschutzverletzungen, manipulierte Eingaben, unbefugte Datenabflüsse oder eine wesentliche Zweckabweichung. Für jedes Signal sind Messgröße, Zeitraum, Schweregrad und Eskalationsstufe festzulegen. Sonst wird erst im Krisenmoment darüber gestritten, ob die Schwelle tatsächlich erreicht ist.

Neben harten Grenzwerten braucht es qualitative Kriterien. Eine einzelne, besonders schwere Fehlentscheidung kann sofortiges Handeln verlangen, obwohl statistische Schwellen noch nicht überschritten sind. Umgekehrt kann eine erhöhte Fehlerrate bei einem leicht reversiblen Hilfswerkzeug zunächst durch engere Nutzung begrenzt werden. Die Bewertung sollte Reichweite, Reversibilität, Betroffenenvulnerabilität, Datenkategorien, verfügbare Alternativen und Geschwindigkeit weiterer Schäden berücksichtigen.

• Quantitative und qualitative Auslöser kombinieren
• Schwere Einzelfälle unabhängig von Durchschnittswerten eskalieren
• Reversibilität und Ausbreitungsgeschwindigkeit in die Stufe einbeziehen

Quellen: [1] [3]

Sofortmaßnahmen müssen technisch ausführbar sein

Ein Beschluss zum Stopp hilft wenig, wenn niemand Zugänge sperren, Schnittstellen trennen oder automatisierte Entscheidungen auf einen manuellen Prozess zurückstellen kann. Für wesentliche Systeme sollten daher Notfallzugänge, Verantwortliche, Stellvertretungen und erreichbare Anbieterkanäle getestet sein. Der Plan muss auch Wochenenden, Abwesenheiten und den Ausfall des primären Owners berücksichtigen. Kritische Abhängigkeiten von einem einzigen Lieferanten oder Administratorkonto sind vorab zu beseitigen.

Die Sofortmaßnahme sollte den Schaden begrenzen und zugleich eine spätere Aufklärung ermöglichen. Relevante Protokolle, Modell- und Konfigurationsstände, Eingaben, Ausgaben und Freigabeunterlagen sind rechtmäßig zu sichern. Unkontrolliertes Löschen kann Beweise vernichten; grenzenlose Datensicherung kann dagegen Datenschutz und Vertraulichkeit verletzen. Rechtsabteilung, Datenschutz, Informationssicherheit und Fachbereich sollten deshalb einen abgestimmten Sicherungsumfang und dokumentierte Zugriffsbeschränkungen vorsehen.

• Abschalt- und Rückfallverfahren praktisch testen
• Befugnisse samt Stellvertretung schriftlich festlegen
• Beweissicherung mit Datenschutz und Geheimnisschutz abstimmen

Quellen: [3] [4]

Begrenzen, aussetzen oder endgültig beenden

Nicht jeder Vorfall verlangt dieselbe Reaktion. Eine Begrenzung kann Nutzerkreis, Datenquellen oder Funktionen reduzieren, Outputs einer verbindlichen menschlichen Prüfung unterstellen oder automatisierte Folgeschritte entfernen. Eine Aussetzung stoppt den produktiven Einsatz bis zur Klärung. Die endgültige Beendigung ist angezeigt, wenn der Zweck rechtswidrig ist, wirksame Kontrollen fehlen, notwendige Nachweise dauerhaft nicht erhältlich sind oder das verbleibende Risiko nicht vertretbar beherrscht werden kann.

Die Wahl muss das Risiko tatsächlich adressieren. Ein zusätzlicher Hinweistext behebt weder eine unzulässige Datenverarbeitung noch eine technisch nicht kontrollierbare Fehlentscheidung. Ebenso ist menschliche Kontrolle nur wirksam, wenn die prüfende Person Zeit, Kompetenz, Informationen und reale Abweichungsbefugnis besitzt. Jede Zwischenlösung braucht eine Befristung, einen verantwortlichen Entscheider und klare Kriterien, wann sie aufgehoben, verschärft oder in eine Beendigung überführt wird.

• Mildere Maßnahme nur wählen, wenn sie das konkrete Risiko beherrscht
• Menschliche Kontrolle auf tatsächliche Wirksamkeit prüfen
• Zwischenmaßnahmen befristen und mit Folgebeschluss verbinden

Quellen: [1] [5]

Kommunikation und gesetzliche Meldungen koordinieren

Nach einer Aussetzung benötigen Beschäftigte eine eindeutige Anweisung, welche Funktionen nicht mehr verwendet werden dürfen und welcher Ersatzprozess gilt. Betroffene Kundinnen, Kunden oder Geschäftspartner sind abhängig von Schaden, Vertrag und Rechtslage angemessen zu informieren. Kommunikation darf Ursachen nicht vor Abschluss der Untersuchung behaupten, soll aber bekannte Auswirkungen und Schutzmaßnahmen klar benennen. Unterschiedliche Botschaften von IT, Recht und Management untergraben Vertrauen und erschweren die Bearbeitung.

Parallel ist zu prüfen, ob externe Melde- oder Informationspflichten bestehen. Bei einer Verletzung des Schutzes personenbezogener Daten können die Artikel 33 und 34 DSGVO relevant sein; andere Pflichten können sich aus Produkt-, Arbeits-, Vertrags- oder Aufsichtsrecht ergeben. Zuständigkeit, Frist und Inhalt sind je Regime getrennt festzustellen. Das Fehlen einer abschließend benannten allgemeinen österreichischen AI Act Behörde macht unmittelbar anwendbares Unionsrecht nicht gegenstandslos.

• Interne Sperranweisung und Ersatzprozess gleichzeitig kommunizieren
• Externe Pflichten nach Rechtsgebiet und Frist getrennt prüfen
• Nur bestätigte Tatsachen und klare Schutzmaßnahmen mitteilen

Quellen: [3] [1]

Wiederfreigabe ist eine neue Entscheidung

Eine Wiederfreigabe setzt mehr als die Zusage des Anbieters voraus. Die Ursache muss nachvollziehbar geklärt, die Abhilfe umgesetzt und ihre Wirksamkeit mit geeigneten Tests belegt sein. Zusätzlich sind Rechtslage, Rolle des Unternehmens, Systemversion, Datenflüsse, menschliche Kontrolle und verbleibende Risiken neu zu bewerten. Die zuständige Stelle nach Freigabematrix entscheidet auf dieser aktualisierten Informationsgrundlage und dokumentiert Bedingungen sowie Beobachtungszeitraum.

Ein gestufter Neustart kann das Risiko begrenzen: zunächst kontrollierte Testumgebung, danach kleine Nutzergruppe, engmaschige Kontrollen und erst anschließend breiter Betrieb. Für jede Stufe braucht es Abbruchkriterien. Wiederholt sich der Vorfall oder bleibt die Ursache unsicher, darf der wirtschaftliche Aufwand einer dauerhaften Beendigung nicht ausgeblendet werden. Eine dokumentierte Wiederfreigabe kann Sorgfalt zeigen, ist jedoch keine Garantie gegen künftige Fehler oder Haftung.

• Ursache, Abhilfe und Wirksamkeitsnachweis getrennt dokumentieren
• Neustart stufenweise mit erneuten Abbruchkriterien durchführen
• Wiederfreigabe durch die nach Risikostufe zuständige Stelle beschließen

Quellen: [4] [5] [2]

Häufige Fragen