OpenAI will Destillationskampagne mit Verbindung zu Moonshot AI gestoppt haben

Was nach Angaben von OpenAI passiert ist

Laut OpenAI zielte die Kampagne darauf ab, "geschütztes Reasoning" abzugreifen. Das Unternehmen versteht darunter die interne Aufzeichnung, mit der ein Modell eine Aufgabe durchdenkt. Wer sie extrahiert, kann Informationen offenlegen, die in der endgültigen Antwort zurückgehalten werden, und anderen helfen, die Fähigkeiten des Modells nachzubauen. Die übergeordnete Praxis nennt OpenAI adversariale Destillation: die systematische und unautorisierte Nutzung der Ausgaben oder des Reasonings eines Modells, um ein anderes Modell zu trainieren, nachzubilden oder zu verbessern.

OpenAI betont, die Akteure hätten weder die Verschlüsselung geknackt noch eine Datenbank kompromittiert oder direkten Zugriff auf gespeicherte Nutzerunterhaltungen erlangt. Stattdessen hätten sie Modellinteraktionen so manipuliert, dass sich geschütztes Reasoning in einer für den Anfragenden sichtbaren Form reproduzieren ließ, und zwar koordiniert und in großem Umfang, was gegen die Nutzungsbedingungen verstoße.

Eine der beschriebenen Methoden bestand darin, verschlüsseltes Reasoning aus einer Unterhaltung zu kopieren und ein Modell in einer anderen Unterhaltung zu bitten, die verborgenen Inhalte zu entschlüsseln und abzuschreiben. Auch unabhängige Sicherheitsforscher meldeten im Rahmen einer verantwortungsvollen Offenlegung verwandte Schwachstellen bei modellübergreifenden Zugriffen und bei der Verdichtung von Unterhaltungen. OpenAI sagt, es habe bestätigt, dass die Angriffswege real waren, und die Arbeit der Forscher habe geholfen, Gegenmaßnahmen zu beschleunigen.

Zeitlicher Ablauf und Zuordnung

Nach Angaben von OpenAI begannen die Aktivitäten am 1. Juli mit geringem Volumen. Am 24. und 25. Juli habe es Spitzen mit hohem Volumen gegeben: 16.000 Anfragen mit einem einschlägigen Extraktionsmuster von mehr als 4.000 Nutzern. Weitere Untersuchungen hätten ähnliche Prompt-Muster bei einem Cluster von mehr als 15.000 Nutzern ergeben, den das Unternehmen bis zum 28. Juli vollständig unterbunden haben will.

Zur Zuordnung sagt OpenAI, es sei unklar, ob alle beobachteten Akteure von einem einzigen Urheber stammen. Einen Kern der Aktivitäten ordnet das Unternehmen jedoch Personen aus dem Umfeld von Moonshot AI zu, dem Entwickler von Kimi.

Wie OpenAI reagiert hat

Das Unternehmen setzt nach eigenen Angaben auf eine Kombination aus Kontomaßnahmen, technischen Kontrollen und Abstimmung mit Partnern. Zu den Maßnahmen gehören:

• Sperrung oder Einschränkung betrügerischer Konten, strengere Kontrollen bei Registrierung und Infrastruktur sowie ausgeweitete Überwachung verwandter Netzwerke.
• Stärkerer Schutz verborgenen Reasonings über Nutzer, Workspaces, Organisationen und Modellfamilien hinweg.
• Schließung eines Wegs, über den jemand, der bereits das verschlüsselte Reasoning eines anderen Nutzers besaß, es wiedergeben und den Inhalt wiederherstellen konnte.
• Zusätzliche Prüfungen, die gestreamte Ausgaben erkennen und zurückhalten, die Reasoning offenlegen könnten.

Liefen verwandte Aktivitäten über Dienste Dritter, habe OpenAI mit diesen Anbietern zusammengearbeitet, um die beteiligten Konten zu identifizieren und stillzulegen. Die Erkenntnisse teilte das Unternehmen zudem über das Frontier Model Forum und Informationskanäle der Regierungen. OpenAI betont, die Manipulation sei keine Schwachstelle, die nur seine Modelle betreffe, und warnt, dass Systeme mit übertragbaren oder wiedergebbaren Reasoning-Artefakten ähnlichen Risiken ausgesetzt sein könnten.

Warum das wichtig ist und wie es weitergeht

OpenAI argumentiert, adversariale Destillation berge Risiken für Sicherheit und nationale Sicherheit. Extrahiertes Reasoning könne genutzt werden, um ein anderes Modell zu trainieren, ohne dass die Schutzvorkehrungen erhalten bleiben, die für die nutzerseitigen Ausgaben des ursprünglichen Modells gelten. In großem Maßstab, so das Unternehmen, könne Destillation die Übertragung fortgeschrittener Fähigkeiten beschleunigen, ohne dass ein vergleichbarer Aufwand für Sicherheit nötig sei. Diese Sorge wachse, je mehr Fähigkeiten Modelle in Bereichen mit doppeltem Verwendungszweck (Dual Use) erhielten.

Das Unternehmen erwartet, dass die Versuche raffinierter werden, wenn Frontier-Modelle besser werden und Akteure nach günstigeren Wegen suchen, deren Fähigkeiten nachzuahmen. Die Arbeit sei nicht abgeschlossen: Bei Partnern gehostete Bereitstellungen bräuchten denselben Schutz wie die eigenen Dienste, und Angriffe über Tool-Ausgaben erforderten Schutzmaßnahmen, die mehr als gewöhnlichen sichtbaren Text prüfen. OpenAI will weiter Tool-Abwehr, Klassifikator-Abdeckung und Modellverweigerungen verbessern und Kontrollen über Cloud-Partner hinweg ausrollen. Die Reaktion konzentriere sich auf stärkere technische Schutzmaßnahmen, bessere Erkennung und Durchsetzung gegen koordinierte Kampagnen sowie einen intensiveren Austausch von Bedrohungsinformationen in Industrie und Regierung.