Baseten und Goodfire AI starten Project Beacon für Sicherheitskontrollen direkt in der Inferenz offener Modelle

So funktioniert Project Beacon

Baseten zufolge liegt Project Beacon die Überlegung zugrunde, dass Sicherheit weder ein statisches Feature noch etwas sein sollte, das erst im Nachhinein greift. Wer die internen Aktivierungen eines Modells während der Generierung ausliest, kann Richtlinien definieren, die ein unsicheres Ereignis in dem Moment abfangen, in dem es auftritt.

Die von Baseten beschriebene Architektur kombiniert Aktivierungsmonitore und Textmonitore, die jede Anfrage klassifizieren. Ein Frontier-Modell wird nur dann hinzugezogen, wenn beide zu unterschiedlichen Ergebnissen kommen. Kundenspezifische Richtlinien entscheiden anschließend, ob eine Freigabe angefordert, die Anfrage abgelehnt, auf eine Alternative ausgewichen oder das Ereignis für Administratoren protokolliert wird. Laut Baseten läuft das Monitoring parallel zur Generierung und blockiert die Erzeugung der Antwort nicht.

Die Arbeit teilen sich die beiden Unternehmen auf: Goodfire entwickelt Monitore für bestimmte Verhaltensweisen auf unterstützten Modellen, während Baseten deren Signale mit den Systemen verbindet, die festlegen, wie eine Anwendung reagiert.

Diese Risiken soll das System adressieren

Baseten nennt vier Arten von Sicherheitsrisiken auf der Inferenzebene:

• Prompt Injection: Anweisungen in einem Dokument oder Tool-Ergebnis versuchen, einen Agenten umzulenken.
• Aktionen außerhalb der Richtlinien: Ein Agent schlägt eine Änderung vor, die sein Nutzer oder seine Organisation nicht autorisiert hat.
• Offenlegung sensibler Daten: Kunden- oder Unternehmensinformationen tauchen an Stellen auf, an denen sie nicht hingehören.
• Cyber-Missbrauch: Das Verhalten eines Modells weckt in einem sicherheitskritischen Workflow Bedenken.

Jedes dieser Risiken erfordert nach Angaben des Unternehmens eine Mischung aus Monitoring, Textprüfungen, Tool-Kontrollen und manueller Überprüfung.

Die Ankündigung ordnet das Problem in ein schnelllebiges Umfeld ein. Modelle und Agenten lesen heute interne Dokumente, rufen Tools auf, spielen Änderungen in Produktivsysteme ein und führen mehrstufige Workflows autonom aus, während neue Frontier-Modelle wöchentlich oder sogar täglich erscheinen. Baseten zufolge ist dieses Risiko zu einem der Haupthindernisse für den Einsatz von KI in Unternehmen geworden.

Was das für Unternehmen und Entwickler bedeutet

Baseten arbeitet nach eigenen Angaben auf ein sofort einsetzbares Sicherheitspaket hin: eine Grundausstattung aus unterstützten Monitoren und Prüfungen, Richtlinien für unterschiedliche Workloads, Warnmeldungen sowie ein Protokoll darüber, was markiert und wie damit umgegangen wurde. Teams sollen pro Modell ihre eigenen Standards anwenden können.

Für Unternehmen lautet das Versprechen zentrale Governance. Wenn die Ausgaben für Inferenz in den Teams wachsen, werden separate Filter und Prüfprozesse für jede einzelne Anwendung schwer beherrschbar. Baseten will deshalb eine Sicherheitsbasis anbieten, die zentral angewendet werden kann und sich je Workload anpassen lässt.

Für Entwickler arbeitet das Unternehmen darauf hin, Sicherheitsereignisse und Kontrollen über dieselben APIs und Entwicklerwerkzeuge bereitzustellen, die auch für die Inferenz auf Baseten genutzt werden. Als Beispiel nennt Baseten einen Agenten für Zahlungsstreitigkeiten, der Händlernachrichten und Kontodaten liest, bevor er eine Erstattung vorschlägt. Nicht vertrauenswürdige Inhalte könnten ihn umlenken, und eine falsche Aktion könnte Daten offenlegen oder Geld bewegen. Jeden Schritt mit einem weiteren großen Modell zu prüfen, verursache zusätzliche Kosten und Latenz, so Baseten. Entwickler benötigten daher zeitnahe Signale, um zu entscheiden, ob sie fortfahren, nachforschen, eine Freigabe anfordern oder auf eine Alternative ausweichen.

Zeitplan und Verfügbarkeit

Baseten plant, in den kommenden Monaten eng in die Inferenz integrierte Sicherheitsfunktionen zu veröffentlichen. Sie sollen zunächst für ausgewählte Modelle und überwachte Verhaltensweisen starten und dann um Unternehmenskontrollen und Funktionen für Entwickler erweitert werden.

Das Unternehmen will die Funktionen mit einer kleinen Zahl früher Partner auf den Markt bringen und lädt Unternehmen, denen Sicherheitskontrollen bei wachsender KI-Nutzung wichtig sind, ein, sich für einen frühen Zugang zu melden. Preise oder konkrete Veröffentlichungstermine nannte das Unternehmen nicht.

Project Beacon knüpft an frühere Sicherheitsschritte auf der Baseten Platform an. Das Unternehmen nennt hier den Start von Base Labs für offene Sicherheitsforschung, die Partnerschaft mit Hugging Face und Goodfire AI für Sicherheitsinfrastruktur sowie die Zusammenarbeit mit NVIDIA an der Open Agent Safety Platform.