Nudifier-Apps, Missbrauchsdarstellungen und die Abgrenzung zur Offenlegungspflicht nach Art. 50 Abs. 4 KI-VO
Ab dem 2. Dezember 2026 gelten in der EU zwei neue Verbote für KI-Systeme. Sie richten sich gegen Anwendungen, die ohne Einwilligung intime Darstellungen realer Personen erzeugen, und gegen Systeme, die Darstellungen sexuellen Kindesmissbrauchs erzeugen. Das Deepfake-Verbot der KI-Verordnung betrifft aber nicht nur Anbieter einschlägiger Apps. Auch Plattformen, Agenturen und Softwareunternehmen mit generativen Bildfunktionen müssen prüfen, ob ihre Schutzmaßnahmen ausreichen. Dieser Beitrag erklärt, was genau verboten ist, wen die Verbote treffen und wie sie sich von der allgemeinen Kennzeichnungspflicht für Deepfakes unterscheiden.
Neue Verbote in Art. 5 KI-VO: Nudifier-Apps und Missbrauchsdarstellungen
Die neuen Verbote gehen auf die Digital-Omnibus-Verordnung (EU) 2026/1744 zurück, die am 27. Juli 2026 in Kraft getreten ist. Sie ergänzt den Katalog verbotener KI-Praktiken in Art. 5 Abs. 1 KI-VO um zwei Tatbestände. Während die übrigen Verbote bereits seit dem 2. Februar 2025 gelten, sind die neuen Verbote ab dem 2. Dezember 2026 anwendbar.
Verboten sind dann das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen, die nicht einvernehmliches intimes Bildmaterial identifizierbarer Personen erzeugen oder manipulieren. Gemeint sind vor allem sogenannte Nudifier- oder Nudify-Anwendungen, die reale Personen ohne deren Einwilligung entkleidet oder in sexuellen Situationen darstellen. Ebenfalls verboten sind KI-Systeme, die Darstellungen sexuellen Kindesmissbrauchs erzeugen oder manipulieren.
Politischer Hintergrund ist die rasante Verbreitung solcher Anwendungen und der Umstand, dass die bisherige Transparenzpflicht für Deepfakes dieses Problem nicht löst. Ein Hinweis, dass ein intimes Bild künstlich erzeugt wurde, schützt die betroffene Person nicht. Der Gesetzgeber hat sich deshalb für ein Verbot auf Systemebene entschieden. Einen Überblick über alle Pflichten, die nach dem Digital Omnibus gelten, gibt unser Beitrag zu den Pflichten der KI-Verordnung nach dem Digital Omnibus.
Lassen Sie frühzeitig prüfen, ob generative Funktionen in Ihren Produkten oder Arbeitsabläufen vom neuen Verbot erfasst sein können, denn bis zum Stichtag bleibt nur wenig Zeit für technische Anpassungen.
Wen das Deepfake-Verbot der KI-Verordnung trifft: Anbieter und Betreiber
Die KI-Verordnung unterscheidet zwischen Anbietern, die ein System entwickeln und in Verkehr bringen, und Betreibern, die es in eigener Verantwortung verwenden. Für beide Rollen hat der Gesetzgeber das Verbot unterschiedlich zugeschnitten.
Anbieter: Zweckbestimmung oder fehlende Schutzmaßnahmen
Für Anbieter greift das Verbot nach dem neuen Art. 5 Abs. 1a KI-VO in zwei Fällen. Erstens, wenn die Erzeugung solcher Inhalte der Zweckbestimmung des Systems entspricht, also bei Anwendungen, die gerade dafür entwickelt oder beworben werden. Zweitens, wenn die Erzeugung ein vernünftigerweise vorhersehbares und reproduzierbares Ergebnis der Nutzung ist und angemessene technische Schutzmaßnahmen fehlen.
Die zweite Variante ist für die Praxis entscheidend. Sie erfasst grundsätzlich auch allgemeine Bild- und Videogeneratoren, die nicht für intime Darstellungen gedacht sind, sich aber ohne wirksame Filter dafür missbrauchen lassen. Wer ein solches System anbietet, muss darlegen können, dass geeignete Vorkehrungen bestehen, etwa Filter für Eingaben und Ausgaben, Beschränkungen bei der Bearbeitung hochgeladener Personenfotos und Verfahren zur Reaktion auf bekannt gewordene Umgehungen.
Betreiber: Zweckgerichtete Verwendung
Betreiber sind vom Verbot erfasst, wenn sie ein KI-System gezielt verwenden, um solche Inhalte zu erzeugen. Ein Unternehmen, das ein allgemeines Bildbearbeitungswerkzeug rechtmäßig einsetzt, verstößt also nicht allein deshalb gegen das Verbot, weil das Werkzeug theoretisch missbraucht werden könnte. Anders liegt es, wenn eine Anwendung bewusst für verbotene Zwecke genutzt oder Mitarbeitenden dafür bereitgestellt wird.
Unklar sind noch einzelne Auslegungsfragen, etwa wann Schutzmaßnahmen als angemessen gelten und wie mit ausdrücklich eingewilligten Inhalten umzugehen ist. Leitlinien der Kommission zu den neuen Tatbeständen sind abzuwarten.
Lassen Sie Ihre Rolle als Anbieter oder Betreiber für jede generative Funktion dokumentieren, denn davon hängt ab, welcher Maßstab für Sie gilt.
Abgrenzung: Deepfake-Verbot nach Art. 5 und Offenlegungspflicht nach Art. 50 Abs. 4 KI-VO
Nicht jeder Deepfake ist verboten. Die KI-Verordnung behandelt Deepfakes grundsätzlich als Transparenzthema und verbietet nur die genannten besonders schädlichen Fallgruppen.
Ein Deepfake ist nach Art. 3 Nr. 60 KI-VO ein durch KI erzeugter oder manipulierter Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde. Für solche Inhalte gilt seit dem 2. August 2026 die Offenlegungspflicht nach Art. 50 Abs. 4 KI-VO: Betreiber, die Deepfakes erzeugen oder manipulieren, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen oder fiktionalen Werks, beschränkt sich die Pflicht auf eine Offenlegung, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt. Unabhängig davon müssen Anbieter generativer Systeme ihre Ausgaben nach Art. 50 Abs. 2 KI-VO maschinenlesbar markieren. Welche Rolle technische Wasserzeichen dabei spielen, zeigt unser Beitrag zu KI-Wasserzeichen und Kennzeichnungspflicht.
Die Systematik lässt sich so zusammenfassen: Werbespots mit synthetischen Stimmen, KI-generierte Produktvideos oder satirische Montagen sind grundsätzlich zulässig, aber kennzeichnungspflichtig. Nicht einvernehmliche intime Darstellungen realer Personen und Missbrauchsdarstellungen sind ab dem 2. Dezember 2026 auf Systemebene verboten. Eine Kennzeichnung macht sie nicht zulässig.
Lassen Sie Ihre Kennzeichnungsregeln für synthetische Inhalte überprüfen, denn Verstöße gegen Art. 50 KI-VO sind bereits heute bußgeldbewehrt und können zudem Abmahnungen nach sich ziehen.
Folgen für Plattformen, Agenturen und Softwareanbieter
Softwareanbieter und Entwickler generativer Systeme
Unternehmen, die Bild-, Video- oder Avatarfunktionen entwickeln oder über Schnittstellen fremde Modelle in eigene Produkte einbinden, tragen das größte Risiko. Sie sollten Schutzmaßnahmen technisch umsetzen, dokumentieren und regelmäßig testen. Wer ein fremdes Modell integriert, sollte vertraglich klären, welche Filter der Modellanbieter bereitstellt, welche Informationen er liefert und wer bei Umgehungen reagiert. Eine Prüfung dieser Punkte bietet unsere KI-Vertragsprüfung.
Plattformen und Marktplätze
Plattformen, die generative Funktionen selbst anbieten, können als Anbieter unmittelbar unter das Verbot fallen. Plattformen, die Nutzerinhalte hosten oder Apps Dritter vertreiben, trifft das Verbot zwar nicht in gleicher Weise, sie unterliegen aber den Pflichten des Digital Services Act zum Umgang mit rechtswidrigen Inhalten. Die Verbreitung verbotener Anwendungen über eigene Kanäle kann daher auch aus dieser Perspektive zum Risiko werden.
Agenturen und Unternehmenskommunikation
Agenturen und Marketingabteilungen, die mit synthetischen Personen, digitalen Doubles oder Stimmklonen arbeiten, sind in erster Linie von der Offenlegungspflicht betroffen. Sie sollten Einwilligungen der dargestellten Personen sauber dokumentieren, Kennzeichnungen einheitlich vornehmen und intern verbindlich regeln, welche Werkzeuge für welche Zwecke eingesetzt werden dürfen. Schulungen helfen, die Abgrenzung zwischen zulässiger Gestaltung und verbotener Nutzung im Arbeitsalltag zu verankern, etwa über KI-Schulungen für Unternehmen.
Lassen Sie Nutzungsbedingungen, Einwilligungsprozesse und interne Richtlinien für generative Medien vor dem 2. Dezember 2026 anpassen.
Bußgelder, Aufsicht und weitere Rechtsfolgen bei Deepfakes
Verstöße gegen die Verbote des Art. 5 KI-VO fallen unter den höchsten Bußgeldrahmen des Art. 99 KI-VO: bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen gilt der jeweils niedrigere Betrag. Verstöße gegen die Offenlegungspflicht des Art. 50 KI-VO können mit bis zu 15 Millionen Euro oder 3 Prozent geahndet werden.
Zuständig für die Marktüberwachung ist in Deutschland grundsätzlich die Bundesnetzagentur, die zugleich Beschwerden über Verstöße entgegennimmt. Für Mediendiensteanbieter bleiben die Landesmedienbehörden zuständig. Bei Systemen, die auf Modellen mit allgemeinem Verwendungszweck desselben Anbieters beruhen, ist das KI-Büro der Kommission zuständig. Welche Befugnisse die Behörden haben und welche Rechte Unternehmen im Verfahren zustehen, erläutert unser Beitrag zur KI-Aufsicht der Bundesnetzagentur.
Neben dem Aufsichtsrecht bestehen weitere Rechtsfolgen. Die Verbreitung von Deepfakes kann schon heute nach geltendem Strafrecht strafbar sein, etwa nach § 201a StGB, nach den §§ 184 ff. StGB oder als Verleumdung nach § 187 StGB. Ein spezieller Straftatbestand für ansehensschädigende Deepfakes befindet sich im Gesetzgebungsverfahren. Zivilrechtlich stehen Betroffenen Unterlassungs- und Schadensersatzansprüche aus dem allgemeinen Persönlichkeitsrecht und dem Recht am eigenen Bild zu. Wettbewerber können fehlende Kennzeichnungen unter Umständen abmahnen. Wer eine Abmahnung wegen eines Verstoßes gegen die KI-Verordnung erhält, sollte die Vorwürfe vor jeder Reaktion prüfen lassen.
Lassen Sie im Fall einer Beschwerde, eines Auskunftsersuchens oder einer Abmahnung sofort klären, welche Behörde zuständig ist und welche Fristen laufen.
Checkliste: Deepfake-Verbot bis zum 2. Dezember 2026 umsetzen
Unternehmen mit generativen Bild-, Video- oder Audiofunktionen sollten bis zum Stichtag folgende Punkte abarbeiten:
- Bestandsaufnahme: alle eigenen und eingebundenen generativen Funktionen erfassen, einschließlich Funktionen in Standardsoftware und über Schnittstellen genutzter Modelle.
- Rollenklärung: für jede Funktion festhalten, ob das Unternehmen Anbieter oder Betreiber ist.
- Risikoanalyse: prüfen, ob die Erzeugung intimer Darstellungen realer Personen vorhersehbar und reproduzierbar möglich ist.
- Schutzmaßnahmen umsetzen: Filter, Beschränkungen bei Personenfotos, Missbrauchserkennung und Meldewege einrichten und regelmäßig testen.
- Dokumentation: Schutzmaßnahmen, Tests und Reaktionen auf Umgehungen nachvollziehbar festhalten, orientiert an der KI-Dokumentationspflicht.
- Kennzeichnung prüfen: Offenlegung nach Art. 50 Abs. 4 KI-VO und maschinenlesbare Markierung nach Art. 50 Abs. 2 KI-VO sicherstellen.
- Verträge und Nutzungsbedingungen anpassen: verbotene Nutzungen ausschließen, Kooperationspflichten mit Modellanbietern und Reaktionsrechte bei Missbrauch regeln.
Die Koordination dieser Aufgaben lässt sich intern oder über einen externen KI-Beauftragten organisieren, der Bestandsaufnahme, Dokumentation und Behördenkontakt bündelt.
Wann lohnt sich anwaltliche Beratung zum Deepfake-Verbot der KI-Verordnung?
Beratung ist sinnvoll, wenn ein Unternehmen generative Medienfunktionen anbietet, in Produkte integriert oder in größerem Umfang für Marketing und Kommunikation einsetzt. Die Frage, wann Schutzmaßnahmen angemessen sind und wann ein Ergebnis vernünftigerweise vorhersehbar ist, lässt sich nur mit Blick auf das konkrete System beantworten. Auch die Gestaltung von Nutzungsbedingungen und Verträgen mit Modellanbietern profitiert von einer rechtlichen Prüfung vor dem Stichtag.
Geht eine Beschwerde, ein Auskunftsersuchen der Bundesnetzagentur oder eine Abmahnung ein, verschiebt sich der Schwerpunkt auf die Verteidigung. Dann zählen eine abgestimmte Kommunikation, der Schutz von Geschäftsgeheimnissen und eine Dokumentation, die die ergriffenen Schutzmaßnahmen belegt.
Rogert & Ulbrich berät Softwareanbieter, Plattformen und Agenturen zur KI-Verordnung und vertritt Unternehmen im Aufsichts- und Bußgeldverfahren sowie bei Abmahnungen. Die Kanzlei mit Sitz in Düsseldorf ist bundesweit tätig und berät auf Deutsch, Englisch und Niederländisch, was bei internationalen Modellanbietern und grenzüberschreitenden Plattformen die Abstimmung erleichtert.
Lassen Sie Ihre generativen Funktionen rechtzeitig vor dem 2. Dezember 2026 einordnen und vereinbaren Sie eine Ersteinschätzung.
Fazit: Das Deepfake-Verbot verlangt Schutzmaßnahmen, nicht nur Kennzeichnung
Ab dem 2. Dezember 2026 sind KI-Systeme verboten, die nicht einvernehmliche intime Darstellungen identifizierbarer Personen oder Darstellungen sexuellen Kindesmissbrauchs erzeugen oder manipulieren. Für Anbieter reicht dabei nicht, dass ein System nicht für solche Zwecke gedacht ist. Ist ein Missbrauch vorhersehbar und reproduzierbar, müssen angemessene technische Schutzmaßnahmen bestehen.
Für alle übrigen Deepfakes bleibt es bei der Offenlegungspflicht nach Art. 50 Abs. 4 KI-VO. Unternehmen sollten beide Ebenen im Blick behalten: Schutzmaßnahmen gegen verbotene Nutzungen und eine saubere Kennzeichnung zulässiger synthetischer Inhalte. Wer beides dokumentiert, ist gegenüber Aufsicht, Wettbewerbern und Betroffenen gut aufgestellt.
Rechtsstand: 15. September 2026. Berücksichtigt ist die Verordnung (EU) 2024/1689 in der Fassung der Verordnung (EU) 2026/1744.
FAQs: Häufig gestellte Fragen zum Deepfake-Verbot der KI-Verordnung
Ab wann gilt das Verbot von Nudifier-Apps in der EU?
Das Verbot gilt ab dem 2. Dezember 2026. Es wurde durch die Digital-Omnibus-Verordnung (EU) 2026/1744 in Art. 5 KI-VO eingefügt, die am 27. Juli 2026 in Kraft getreten ist. Ab diesem Datum sind Inverkehrbringen, Inbetriebnahme und Verwendung entsprechender KI-Systeme untersagt.
Sind Deepfakes nach der KI-Verordnung generell verboten?
Nein. Verboten sind nur KI-Systeme, die nicht einvernehmliches intimes Bildmaterial identifizierbarer Personen oder Darstellungen sexuellen Kindesmissbrauchs erzeugen oder manipulieren. Für alle anderen Deepfakes gilt die Offenlegungspflicht nach Art. 50 Abs. 4 KI-VO. Sie müssen als künstlich erzeugt oder manipuliert gekennzeichnet werden.
Was ist ein Deepfake im Sinne der KI-Verordnung?
Nach Art. 3 Nr. 60 KI-VO ist ein Deepfake ein durch KI erzeugter oder manipulierter Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und fälschlicherweise als echt erscheinen würde. Reine Texte fallen nicht unter diese Definition, können aber eigenen Transparenzpflichten unterliegen.
Betrifft das Verbot auch allgemeine Bildgeneratoren?
Unter Umständen ja. Für Anbieter greift das Verbot auch dann, wenn die Erzeugung verbotener Inhalte ein vernünftigerweise vorhersehbares und reproduzierbares Ergebnis ist und angemessene technische Schutzmaßnahmen fehlen. Anbieter allgemeiner Bild- und Videogeneratoren sollten deshalb wirksame Filter und Beschränkungen umsetzen und dokumentieren.
Wann verstößt ein Unternehmen als Betreiber gegen das Verbot?
Betreiber sind erfasst, wenn sie ein KI-System gezielt zur Erzeugung verbotener Inhalte verwenden. Der rechtmäßige Einsatz eines allgemeinen Bildwerkzeugs begründet für sich allein keinen Verstoß. Unternehmen sollten dennoch intern regeln, welche Werkzeuge wofür genutzt werden dürfen, und Missbrauch durch Mitarbeitende unterbinden.
Welche Bußgelder drohen bei Verstößen gegen das Deepfake-Verbot?
Verstöße gegen die Verbote des Art. 5 KI-VO können mit bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen gilt der niedrigere Betrag. Verstöße gegen die Kennzeichnungspflicht nach Art. 50 KI-VO sind mit bis zu 15 Millionen Euro oder 3 Prozent bedroht.
Wie müssen zulässige Deepfakes gekennzeichnet werden?
Betreiber müssen nach Art. 50 Abs. 4 KI-VO offenlegen, dass Inhalte künstlich erzeugt oder manipuliert wurden. Die Information muss klar und erkennbar sein und spätestens bei der ersten Wahrnehmung erfolgen. Bei offensichtlich künstlerischen, satirischen oder fiktionalen Werken genügt eine Offenlegung, die das Werk nicht beeinträchtigt. Anbieter müssen zusätzlich eine maschinenlesbare Markierung vorsehen.
Wer überwacht die Einhaltung des Deepfake-Verbots in Deutschland?
Grundsätzlich ist die Bundesnetzagentur als zentrale Marktüberwachungsbehörde zuständig. Sie nimmt auch Beschwerden über mögliche Verstöße entgegen. Für Mediendiensteanbieter bleiben die Landesmedienbehörden zuständig, und bei Systemen auf Basis von Modellen mit allgemeinem Verwendungszweck desselben Anbieters liegt die Zuständigkeit beim KI-Büro der Kommission.
Ist die Verbreitung von Deepfakes auch strafbar?
Je nach Inhalt kann die Verbreitung von Deepfakes bereits nach geltendem Recht strafbar sein, etwa nach § 201a StGB, nach den §§ 184 ff. StGB oder als Verleumdung nach § 187 StGB. Ein eigener Straftatbestand für ansehensschädigende Deepfakes befindet sich im Gesetzgebungsverfahren. Betroffene können zudem zivilrechtlich Unterlassung und Schadensersatz verlangen.
Wann lohnt sich ein Anwalt beim Deepfake-Verbot der KI-Verordnung?
Ein Anwalt lohnt sich, wenn ein Unternehmen generative Bild-, Video- oder Audiofunktionen anbietet oder integriert und klären muss, ob seine Schutzmaßnahmen angemessen sind. Auch bei der Gestaltung von Nutzungsbedingungen und Verträgen mit Modellanbietern ist Beratung sinnvoll. Nach einer Beschwerde, einem Auskunftsersuchen oder einer Abmahnung ist schnelle anwaltliche Unterstützung besonders wichtig.
