Verbotene KI-Praktiken nach Art. 5 AI Act

Keine Verbotsliste ohne Tatbestandsprüfung

Art. 5 knüpft die Verbote an konkrete Kombinationen aus Methode, Zweck, betroffener Gruppe, Einsatzkontext und möglichem Schaden. Ein Produktname oder eine technische Kategorie reicht deshalb nicht. Dass ein System Emotionen ableitet, Gesichter verarbeitet oder Verhalten bewertet, beantwortet die Verbotsfrage noch nicht. Die Prüfung muss den vorgesehenen Zweck und den tatsächlichen Einsatz erfassen und außerdem berücksichtigen, welche Ergebnisse vernünftigerweise vorhersehbar sind.

Unternehmen sollten Verbotsprüfungen vor Beschaffung, Entwicklung und wesentlichen Einsatzänderungen durchführen. Marketingversprechen, Konfiguration, Zielgruppen, Datenquellen und betriebliche Anweisungen gehören in dieselbe Akte. Eine zulässige Basistechnologie kann durch einen bestimmten Einsatz in einen verbotenen Tatbestand geraten. Umgekehrt ist nicht jede kontroverse Anwendung automatisch nach Art. 5 untersagt; sie kann jedoch Hochrisiko-, Transparenz-, Datenschutz-, Arbeits- oder Gleichbehandlungspflichten auslösen.

• Zweck und tatsächlichen Einsatz gemeinsam erfassen
• Betroffene Personen und mögliche Schäden bestimmen
• Ausnahmen nicht ohne Beleg annehmen

Quellen: [1]

Manipulation, Vulnerabilität und Social Scoring

Seit 2. Februar 2025 gelten unter anderem Verbote für bestimmte unterschwellige, absichtlich manipulative oder täuschende Techniken, wenn sie das Verhalten wesentlich verzerren und dadurch erhebliche Schäden verursachen oder wahrscheinlich verursachen. Ebenfalls erfasst ist unter Voraussetzungen die schädliche Ausnutzung besonderer Schutzbedürftigkeit wegen Alter, Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation. Nicht jede Personalisierung oder Beeinflussung erfüllt diese mehrgliedrigen Tatbestände.

Bestimmtes Social Scoring ist verboten, wenn die Bewertung natürlicher Personen anhand sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften zu gesetzlich erfassten nachteiligen Behandlungen führt. Entscheidend sind insbesondere Kontextfremdheit oder Unverhältnismäßigkeit. Teams müssen daher Datenbasis, Bewertungsziel, Entscheidungsfolgen und Kontextwechsel untersuchen. Eine bloße Umbenennung in Risiko-, Vertrauens- oder Reputationswert ändert den Tatbestand nicht.

• Einflussmethode und Schadensschwelle dokumentieren
• Vulnerabilitätsmerkmale und Ausnutzung prüfen
• Bewertungskontext mit Entscheidungsfolge vergleichen

Quellen: [1]

Biometrie, Emotionen und Strafverfolgung

Art. 5 verbietet unter Voraussetzungen die biometrische Kategorisierung natürlicher Personen anhand biometrischer Daten, um bestimmte sensible Eigenschaften abzuleiten oder zu erschließen. Außerdem ist Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen grundsätzlich untersagt, soweit keine gesetzliche Ausnahme etwa für medizinische oder Sicherheitszwecke greift. Daraus folgt weder ein vollständiges Verbot jeder biometrischen Analyse noch ein generelles Verbot jeder Emotionserkennung in allen Lebensbereichen.

Die biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken unterliegt einem grundsätzlichen Verbot mit eng beschriebenen Ausnahmen, Voraussetzungen und Verfahrenssicherungen. Für gewöhnliche Unternehmen ist die Ausnahmeprüfung regelmäßig kein Standardfreibrief. Zusätzlich ist das ungezielte Scraping von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen zum Aufbau oder zur Erweiterung von Gesichtserkennungsdatenbanken verboten. Datenbeschaffung und Modelltraining müssen deshalb Teil der Produktfreigabe sein.

• Sensible biometrische Kategorien präzise bestimmen
• Arbeits- und Bildungskontext gesondert behandeln
• Herkunft von Gesichtsbildern kontrollieren

Quellen: [1]

Weitere bereits geltende Verbotsbereiche

Zu den ursprünglichen Fallgruppen gehört eine bestimmte Bewertung oder Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht, wenn sie ausschließlich auf Profiling oder auf der Beurteilung von Persönlichkeitsmerkmalen und Eigenschaften beruht. Der Verordnungstext enthält eine Abgrenzung für Systeme, die eine menschliche Beurteilung einer bereits auf objektiven und überprüfbaren Tatsachen beruhenden Beteiligung an einer Straftat unterstützen. Diese Grenze erfordert eine genaue Prozessanalyse.

Auch bei scheinbar internen Pilotprojekten greifen die Verbote, wenn die Tatbestandsvoraussetzungen erfüllt sind. Forschung, Entwicklung oder Tests sind nicht automatisch außerhalb des Anwendungsbereichs; Art. 2 enthält spezifische Grenzen und Bedingungen, die gesondert geprüft werden müssen. Eine Freigabe sollte daher nicht allein auf dem Etikett Test, Sandbox oder Proof of Concept beruhen. Sobald reale Personen, Entscheidungen oder operative Daten betroffen sind, braucht es klare Stop-Kriterien und verantwortliche Eskalationsstellen.

• Prognose von Unterstützung menschlicher Beurteilung trennen
• Objektive Tatsachengrundlage nachvollziehbar festhalten
• Pilot- und Testbezeichnungen nicht als Ausnahme behandeln

Quellen: [1]

Neue Verbote ab 2. Dezember 2026

Die Verordnung (EU) 2026/1744 ergänzt Art. 5 um Tatbestände zu KI-Systemen, die realistische intime oder sexuell explizite Inhalte erzeugen oder manipulieren, welche eine identifizierbare natürliche Person darstellen, ohne dass die erforderliche Einwilligung vorliegt. Ein weiterer Tatbestand betrifft die Erzeugung oder Manipulation von Material oder Darstellungen im Zusammenhang mit sexuellem Kindesmissbrauch. Am Rechtsstand 16. September 2026 sind diese neuen Verbote noch nicht anwendbar; ihr Anwendungstermin ist der 2. Dezember 2026.

Für Anbieter knüpft Art. 5 Abs. 1a insbesondere an Zweckbestimmung oder vernünftigerweise vorhersehbare und reproduzierbare Ergebnisse sowie an angemessene technische Schutzmaßnahmen an. Betreiber werden nach Abs. 1b erfasst, wenn sie Systeme zur entsprechenden Erzeugung oder Manipulation verwenden. Der genaue Wortlaut, die qualifizierte Einwilligung und eng begrenzte Ausnahmen müssen fallbezogen geprüft werden. Produktteams sollten Schutzmaßnahmen und Missbrauchstests bereits vor dem Anwendungstermin dokumentieren, ohne die künftigen Tatbestände als schon geltendes Verbot zu bezeichnen.

• Stichtag 2. Dezember 2026 sichtbar ausweisen
• Anbieterzweck und vorhersehbaren Output testen
• Betreiberverwendung getrennt bewerten

Quellen: [1] [2]

Freigabe, Monitoring und Eskalation organisieren

Ein belastbarer Prozess beginnt mit einer roten Linie im Use-Case-Register. Wer einen möglichen Art.-5-Tatbestand erkennt, darf ihn nicht allein durch eine Datenschutzfreigabe oder Vertragsklausel übergehen. Legal, Compliance, Produkt, HR, Security und gegebenenfalls Grundrechteexpertise sollten anhand einer festen Tatsachenakte entscheiden. Zu dokumentieren sind Zweck, Technik, Nutzeranweisung, Zielgruppe, Daten, Wirkung, Schutzmaßnahmen, Ausnahmen und verbleibende Unsicherheiten.

Nach der Freigabe bleiben Monitoring und Änderungsmanagement nötig. Neue Funktionen, andere Zielgruppen, Promptvorlagen, Datenquellen oder messbare Missbrauchsmuster können die Bewertung verändern. Verstöße gegen Art. 5 können nach Art. 99 Abs. 3 mit Geldbußen bis 35 Mio. EUR oder bei Unternehmen bis 7 % des weltweiten Vorjahresumsatzes geahndet werden; grundsätzlich gilt der höhere Wert, bei KMU der niedrigere Höchstwert. Daneben bleiben Strafrecht, DSGVO, Arbeitsrecht, Gleichbehandlungsrecht, Urheberrecht und Persönlichkeitsschutz relevant.

• Art.-5-Stop-Kriterium im Freigabeprozess verankern
• Änderungen und Missbrauchssignale überwachen
• Rechtsstand und Leitlinien regelmäßig neu prüfen

Quellen: [1]

Häufige Fragen