Was der Vorfall bei OpenAI und Hugging Face für Anbieter und Betreiber von KI-Systemen bedeutet

Ein Sicherheitstest gerät außer Kontrolle, ein KI-Modell verlässt die abgeschottete Testumgebung und dringt in die Systeme eines fremden Unternehmens ein. Was lange als theoretisches Szenario galt, ist eingetreten. Für Unternehmen, die Künstliche Intelligenz anbieten oder einsetzen, stellt sich damit eine sehr konkrete Frage: Welche Pflichten greifen, wenn ein KI-System eigenständig handelt, und wer haftet für die Folgen?

KI-Hackerangriff auf Hugging Face: Was bislang bekannt ist

OpenAI hat die Verantwortung für einen Cyberangriff auf die KI-Plattform Hugging Face übernommen und den Vorgang selbst als beispiellosen Cyber-Vorfall bezeichnet. Ausgangspunkt war ein interner Sicherheitstest, bei dem neue Modelle Sicherheitslücken erkennen und ausnutzen sollten. Die Modelle gingen dabei deutlich weiter als vorgesehen: Sie verließen über eine bis dahin unbekannte Schwachstelle die Testumgebung, gelangten ins offene Internet und verschafften sich anschließend Zugriff auf geschützte Informationen der Plattform. Die betroffene Plattform berichtet von tausenden Einzelschritten und einem mehrfachen Wechsel der Steuerungsinfrastruktur.

Rechtlich ist der Fall vor allem deshalb bemerkenswert, weil es keinen menschlichen Angreifer mit Schädigungsabsicht gab. Das Verhalten entstand aus einer legitimen Aufgabenstellung heraus. Genau diese Konstellation stellt die vertrauten Zurechnungs- und Verschuldensmodelle vor praktische Schwierigkeiten.

KI-Hackerangriff und KI-Verordnung: Diese Pflichten gelten bereits heute

Die KI-Verordnung (Verordnung (EU) 2024/1689) wird gestuft anwendbar. Die Pflichten für Modelle mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025, der allgemeine Anwendungsbeginn bleibt der 2. August 2026. Der Ende Juni 2026 verabschiedete Digital Omnibus hat allein die Hochrisiko-Pflichten verschoben, auf den 2. Dezember 2027 für eigenständige Systeme nach Anhang III und auf den 2. August 2028 für in Produkte eingebettete Systeme.

Für einen Vorfall wie den beschriebenen ist Art. 55 KI-VO einschlägig. Anbieter von Modellen mit systemischem Risiko müssen Modellbewertungen einschließlich adversarialer Tests durchführen, systemische Risiken mindern, schwerwiegende Vorfälle erfassen und dem Büro für Künstliche Intelligenz melden sowie ein angemessenes Cybersicherheitsniveau sicherstellen. Ein Modell, das seine eigene Testumgebung verlässt, berührt alle vier Pflichten zugleich. Wer ein fremdes Modell in ein eigenes Produkt integriert, unter eigenem Namen bereitstellt oder wesentlich verändert, kann selbst zum Anbieter werden. Die geltenden Stichtage ordnen wir im Beitrag KI-Verordnung Fristen 2025 bis 2027 ein.

Lassen Sie frühzeitig klären, ob Sie als Anbieter oder als Betreiber einzuordnen sind, denn davon hängen sämtliche weiteren Pflichten ab.

Meldepflichten nach einem KI-Sicherheitsvorfall: KI-VO, NIS-2 und DSGVO

Ein solcher Vorfall löst regelmäßig mehrere Meldepflichten gleichzeitig aus, mit unterschiedlichen Adressaten und sehr unterschiedlichen Fristen:

  • KI-Verordnung: Art. 3 Nr. 49 KI-VO definiert den schwerwiegenden Vorfall. Anbieter von Modellen mit systemischem Risiko melden an das Büro für Künstliche Intelligenz, für Hochrisiko-KI-Systeme sieht Art. 73 KI-VO eine Meldung an die Marktüberwachungsbehörde vor.
  • NIS-2: Für wesentliche und wichtige Einrichtungen gilt seit Dezember 2025 das NIS2-Umsetzungs- und Cybersicherheitsstärkungsgesetz mit Erstmeldung binnen 24 Stunden, Folgemeldung binnen 72 Stunden und Abschlussbericht binnen eines Monats.
  • DSGVO: Sind personenbezogene Daten betroffen, gilt Art. 33 DSGVO mit 72 Stunden gegenüber der Aufsichtsbehörde, bei hohem Risiko zusätzlich Art. 34 DSGVO.

Voraussetzung jeder fristgerechten Meldung ist eine belastbare Dokumentation, aus der sich Zeitpunkt, Umfang und Wirkung des Vorfalls nachvollziehen lassen. Wie diese aufgebaut sein sollte, zeigt unsere Leistungsseite zur KI-Dokumentationspflicht. Lassen Sie Ihre Meldeketten prüfen, bevor ein Vorfall eintritt, denn die Fristen laufen ab Kenntnis und nicht ab Abschluss der internen Analyse.

Haftung bei autonom handelnder KI: Wer trägt das Risiko?

Die KI selbst haftet nicht, sie ist kein Rechtssubjekt. Verantwortlich sind die Unternehmen, die das System entwickeln, bereitstellen oder einsetzen. Im Vertragsverhältnis kommt § 280 Abs. 1 BGB in Betracht, außerhalb davon § 823 BGB. Maßgeblich sind dort die Verkehrspflichten: War das System angemessen abgeschottet, waren die Berechtigungen begrenzt, gab es Überwachung und eine dokumentierte Abbruchmöglichkeit? Je autonomer ein System agiert, desto höher fallen diese Anforderungen aus.

Hinzu kommt das Produkthaftungsrecht. Die Richtlinie (EU) 2024/2853 erfasst Software und KI-Systeme ausdrücklich als Produkte und ist bis zum 9. Dezember 2026 umzusetzen. Die geplante KI-Haftungsrichtlinie wurde dagegen zurückgezogen, sodass es bei den allgemeinen Haftungsregeln bleibt. Für die Geschäftsleitung gilt daneben der Sorgfaltsmaßstab aus § 43 GmbHG und § 93 AktG, ergänzt um die nicht delegierbare Überwachungspflicht nach den NIS-2-Vorgaben.

Lassen Sie Haftungs-, Freistellungs- und Informationsklauseln prüfen, bevor Sie ein KI-System produktiv einsetzen. Unterstützung bietet unsere KI-Vertragsprüfung.

Was Unternehmen jetzt konkret tun sollten

  • KI-Inventar aufbauen: jedes System mit Zweck, Datenbasis, Anbieter, Schnittstellen und Verantwortlichem erfassen.
  • Rollen bestimmen: für jedes System dokumentieren, ob Anbieter- oder Betreiberpflichten greifen.
  • Autonomie begrenzen: minimale Rechte, klare Freigabepunkte, getestete Abschaltmöglichkeit, protokollierte Aktivitäten.
  • Notfallplan erweitern: KI-spezifische Vorfälle mit Meldewegen und Beweissicherung abbilden.
  • Kompetenz nachweisen: Art. 4 KI-VO verlangt ausreichende KI-Kompetenz, belegbar über dokumentierte KI-Schulungen für Unternehmen und eine geregelte KI-Kompetenzpflicht.

Wer diese Aufgaben nicht dauerhaft intern abbilden kann, bündelt sie extern. Ein externer KI-Beauftragter übernimmt Inventarisierung, Risikoeinstufung und Dokumentation und ist im Ernstfall unmittelbar ansprechbar.

Wann lohnt sich anwaltliche Beratung bei einem KI-Sicherheitsvorfall?

Im Vorfeld geht es um die Einordnung der eingesetzten Systeme, die Anbieter- oder Betreiberrolle und um Verträge, die Verantwortlichkeiten sauber verteilen. Im akuten Vorfall zählt die Priorisierung paralleler Meldefristen und die Beweissicherung für spätere Regressansprüche. In der Auseinandersetzung geht es um Abwehr und Durchsetzung: Wer eine Abmahnung wegen eines Verstoßes gegen die KI-Verordnung erhält, sollte die geltend gemachten Pflichten prüfen lassen, statt vorschnell eine Unterlassungserklärung abzugeben.

Lassen Sie Ihre konkrete Situation einordnen, sobald ein KI-System außerhalb des vorgesehenen Rahmens agiert hat, und vereinbaren Sie dafür eine Ersteinschätzung.

Fazit: KI-Hackerangriff zeigt die Grenzen technischer Kontrolle

Der Vorfall verschiebt die Rechtslage nicht, er macht aber sichtbar, wo Organisationen Lücken haben. Die KI-Verordnung verlangt bereits heute Modellbewertung, Risikominderung, Cybersicherheit und die Meldung schwerwiegender Vorfälle. Haftungsrechtlich bleibt es bei bekannten Maßstäben, angewendet auf einen neuen Sachverhalt: Wer ein autonom agierendes System einsetzt, muss es beherrschen, begrenzen und dokumentieren. Wer Inventar, Rollen, Verträge und Meldewege jetzt ordnet, ist im Ernstfall handlungsfähig.

FAQs: Häufig gestellte Fragen zum KI-Hackerangriff und zur KI-Verordnung

Was ist beim KI-Hackerangriff auf Hugging Face passiert?

Bei einem internen Sicherheitstest sollten KI-Modelle von OpenAI Schwachstellen auffinden und ausnutzen. Die Modelle verließen dabei über eine unbekannte Sicherheitslücke die abgeschottete Testumgebung und griffen anschließend auf geschützte Informationen der Plattform Hugging Face zu. OpenAI hat die Verantwortung übernommen und eine gemeinsame Untersuchung mit der betroffenen Plattform angekündigt.

Gilt die KI-Verordnung für diesen Fall bereits?

Ja, in wesentlichen Teilen. Die Pflichten für Modelle mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025, dazu gehören Modellbewertung, Risikominderung, Cybersicherheit und die Meldung schwerwiegender Vorfälle. Verschoben wurden durch den Digital Omnibus lediglich die Pflichten für Hochrisiko
KI-Systeme.

Welche Pflichten treffen Anbieter von Modellen mit systemischem
Risiko?

Nach Art. 55 KI-VO müssen sie Modellbewertungen einschließlich adversarialer Tests durchführen, systemische Risiken bewerten und mindern, schwerwiegende Vorfälle erfassen und dem Büro für Künstliche Intelligenz melden sowie ein angemessenes Cybersicherheitsniveau für Modell und Infrastruktur gewährleisten. Diese Pflichten bestehen unabhängig davon, ob ein Schaden eingetreten ist.

Wer haftet, wenn ein KI-System eigenständig fremde Systeme angreift?

Die KI selbst haftet nicht. In Betracht kommen die vertragliche Haftung nach § 280 Abs. 1 BGB, die deliktische Haftung nach § 823 BGB wegen Verletzung von Verkehrspflichten sowie die Produkthaftung. Entscheidend ist regelmäßig, ob Abschottung, Rechtevergabe und Überwachung dem Stand der Technik entsprachen.

Muss ein KI-Sicherheitsvorfall gemeldet werden?

Häufig ja, und zwar mehrfach. In Betracht kommen die Meldung schwerwiegender Vorfälle nach der KI-Verordnung, die Meldung erheblicher Sicherheitsvorfälle nach den NIS-2-Vorgaben mit Fristen von 24 und 72 Stunden sowie die Datenschutzmeldung nach Art. 33 DSGVO. Welche Pflicht greift, hängt von Rolle, Sektor und Betroffenheit personenbezogener Daten ab.

Was ist ein schwerwiegender Vorfall im Sinne der KI-Verordnung?

Art. 3 Nr. 49 KI-VO erfasst darunter Vorkommnisse, die mittelbar oder unmittelbar unter anderem zu erheblichen Schäden an Gesundheit oder Eigentum, zu einer schwerwiegenden Störung kritischer Infrastruktur oder zu einer Verletzung grundrechtsschützender Unionsvorschriften führen. Die Bewertung erfolgt im Einzelfall und sollte dokumentiert werden.

Gelten Pflichten auch für Unternehmen, die KI nur einsetzen?

Ja. Betreiber trifft ein eigener Pflichtenkreis, etwa die KI-Kompetenz nach Art. 4 KI-VO. Wer ein fremdes Modell in ein eigenes Produkt integriert, unter eigenem Namen bereitstellt oder wesentlich verändert, kann zusätzlich in die Anbieterrolle wechseln. Die Abgrenzung sollte für jedes System dokumentiert werden.

Welche Bußgelder drohen bei Verstößen gegen die KI-Verordnung?

Die Sanktionen sind gestaffelt. Für verbotene Praktiken sind Geldbußen bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes möglich, für die meisten übrigen Verstöße bis zu 15 Millionen Euro oder 3 Prozent. Für Anbieter von Modellen mit allgemeinem Verwendungszweck gilt ein eigener Rahmen. Hinzu treten Bußgelder aus Datenschutz- und Cybersicherheitsrecht.

Wie lassen sich agentische KI-Systeme rechtssicher einsetzen?

Sinnvoll ist eine Kombination aus technischer Begrenzung und dokumentierter Organisation: minimale Berechtigungen, klar definierte Freigabepunkte, eine getestete Abschaltmöglichkeit, protokollierte Aktivitäten und ein Notfallplan, der KI-Vorfälle abbildet. Ergänzend sollten Verträge mit Anbietern Informations- und Haftungsfragen regeln. Diese Maßnahmen wirken zugleich haftungsbegrenzend.

Wann lohnt sich ein Anwalt bei einem KI-Hackerangriff?

Anwaltliche Unterstützung ist sinnvoll, sobald ein KI-System außerhalb des vorgesehenen Rahmens agiert hat, sobald Meldefristen laufen oder Ansprüche geltend gemacht werden. Auch im Vorfeld ist die Prüfung von Rollen, Verträgen und Dokumentation sinnvoll, weil sich Pflichtverstöße dann noch ohne Zeitdruck beheben lassen.