Goodfire: Sonden-basierte Cyber-Monitore schlagen LLM-Judge bei 50-fach geringeren Kosten

8. Oktober 2026Quelle: Goodfire Research

Goodfire Research hat nach eigenen Angaben Cybersicherheits-Monitore für Kimi K3 und GLM 5.3 entwickelt, die einen LLM-Judge bei rund 50-fach geringeren Kosten übertreffen, selbst wenn sie live bei jedem Token laufen. Laut dem Unternehmen arbeiten die Monitore auf einem produktiven Inferenz-Stack und behalten den Token-Durchsatz der Basiskonfiguration bei.

Das Wichtigste in Kürze

Goodfire hat Sonden-basierte Cyber-Monitore für Kimi K3 und GLM 5.3 entwickelt und auf einem produktiven Inferenz-Stack eingesetzt.
Die Kaskade erreicht den Recall des Judge bei 93 % Recall und 5,5 % FPR und kostet etwa 50-mal weniger, nämlich unter 200 US-Dollar pro Million Austausche.
Die Sonden laufen in einem modifizierten SGLang mit weniger als 2 % Durchsatzrückgang, innerhalb des Benchmark-Rauschens.
Universelle Jailbreaks sanken laut Goodfire auf einer statischen Red-Teaming-Batterie eines unabhängigen Evaluators auf 0 %.

Warum Cyber-Monitoring so schwierig ist

Goodfire beschreibt Cybersicherheit als eines der schwierigsten Umfelder für die Überwachung von KI-Agenten. Harmloses und bösartiges Verhalten sehen sich oft ähnlich, da das Prüfen einer Codebasis auf Schwachstellen und deren Ausnutzung sich überschneidende Aufgaben umfassen. Um beides zu unterscheiden, muss die Absicht über eine ganze Trajektorie hinweg verfolgt werden, die sich über Millionen Token erstrecken kann.

Die naheliegende Lösung ist, einen LLM-Judge jeden Turn lesen zu lassen. Laut Goodfire ist das jedoch zu langsam und zu teuer, um es in Echtzeit neben dem Agenten laufen zu lassen. In der Praxis erfolgt das Monitoring daher asynchron, sodass der Agent bereits gehandelt hat, wenn eine schädliche Trajektorie markiert wird. Auf Basis der OpenRouter-Preise schätzt das Unternehmen, dass die Überwachung von einer Million Turns aus Kimi-K3-Rollouts mit Opus 5 in der Größenordnung von 200.000 US-Dollar kosten würde, mit Kimi K3 selbst etwa 30.000 US-Dollar.

Eine Sonde als erster Filter

Goodfires Ansatz ist eine Monitor-Kaskade. Eine Sonde liest die internen Aktivierungen des Modells und fungiert als günstiger, permanent aktiver Detektor. Überschreitet ihr Ausgabewert einen kalibrierten Schwellenwert, wird der Austausch an einen LLM-Judge eskaliert, der die Anfrage ablehnen oder die Interaktion fortsetzen kann. Das Unternehmen gibt an, eine neue Sondenarchitektur entworfen zu haben, die sowohl Verhalten erfassen soll, das auf einen Abschnitt eines Turns beschränkt ist, als auch Verhalten, das über einen gesamten Turn hinweg auftritt.

Nach der Kalibrierung erreicht die Sonde laut Goodfire 0 % FNR und 95 % TNR auf einem zurückgehaltenen Datensatz aus agentischen und Chat-Interaktionen. Da der Judge nur markierte Aktivitäten sieht, lässt sich ein schnellerer und weniger leistungsfähiger Judge einsetzen, was die Kosten weiter senkt.

Als Trainingsdaten simulierte das Team Nutzer mit schädlichen und harmlosen Zielen in Cyber- und Nicht-Cyber-Umgebungen wie Softwareentwicklung und Tool-Nutzung. Ein Teil der Daten wurde mit Prime Intellects Verifiers, Prime Sandboxes und Tunnels erhoben, mit denen Kimi K3 offensive und harmlose Cyber-Aufgaben ohne Netzwerkzugang ausführen konnte. Eine präzise Richtlinie trennt wohlmeinende Aufgaben, etwa die begrenzte Reproduktion von Schwachstellen, von böswilligen, etwa der Ausnutzung von Schwachstellen. Simulierte Nutzer können schädliche Absichten jederzeit einführen oder verstärken, auch nach einer zunächst harmlosen Anfrage.

Ergebnisse und Inferenz-Engineering

Goodfire nennt für die Kaskade im Vergleich zu einem Judge, der bei jedem Turn läuft, folgende Ergebnisse:

Sie ist dem Judge im Pareto-Sinn überlegen und erreicht am gewählten Betriebspunkt denselben Recall, nämlich 93 % Recall bei 5,5 % FPR.
Sie kostet etwa 50-mal weniger, nämlich unter 200 US-Dollar pro Million Austausche.
Sie hält den Token-Durchsatz der Basis-Inferenz und verursacht keine zusätzliche Latenz.
Sie senkt universelle Jailbreaks auf einer statischen Red-Teaming-Angriffsbatterie eines unabhängigen Evaluators auf 0 %.

Um das Serving nicht zu verlangsamen, erweiterte Goodfire SGLang so, dass Sondenwerte direkt in der Serving-Engine berechnet werden, einschließlich eigener Kernels für die Sondenlogik. Die Werte werden über den Radix-Baum, den DSpark-Speculator und die Prefill-Decode-Disaggregation hinweg behalten, um Neuberechnungen zu vermeiden. Bei mehreren Kimi-K3-Replikaten führt jeder Worker die Sonden aus und hält die Verläufe für seine aktiven Anfragen. Außerdem erweiterte das Unternehmen den SMG-Router, sodass die Monitoring-Konfiguration bei der Request-Konvertierung an den gewählten Worker weitergereicht wird und Monitoring-Ereignisse mit dem Antwortstrom zurückkommen.

Über vier Inferenz-Workloads hinweg blieb der Durchsatz mit Sonden laut Unternehmen im Vergleich zu Standard-SGLang innerhalb des Rauschens der Benchmarks, mit einem Rückgang von weniger als 2 %. Zudem gibt es an, dass die Kaskade die durchschnittliche zusätzliche Verzögerung pro Agenten-Turn im Vergleich zur Prüfung jedes Turns um das 50-Fache senkt.

Was das für Betreiber offener Modelle bedeutet

Goodfire argumentiert, dass Echtzeit-Monitoring agentischer Rollouts mit diesem Aufbau praktikabel wird, sodass riskante Cyber-Aktionen blockiert werden können, bevor ein Tool aufgerufen wird. Das Unternehmen weist darauf hin, dass offene Modelle nicht mit einem vollständigen Sicherheits-Stack ausgeliefert werden, und bezeichnet ein solches Monitoring-Setup als praktischen Standard für alle, die sie in agentischen Szenarien betreiben. Es lädt Betreiber, die offene Modelle bereitstellen oder darauf aufbauen, zur Kontaktaufnahme ein.