Orca Security senkt Kosten für Abfragen in natürlicher Sprache um 90 Prozent mit Amazon Bedrock

Orca Security und AWS haben Discovery AI entwickelt, einen Agenten für natürliche Sprache auf Amazon Bedrock, der Fragen in Klartext in gültige Sonar-Abfragen übersetzt. Laut AWS hat Orca die Abfragekosten gegenüber der ersten Ausgangsbasis um 90 Prozent, die Eingabe-Token um 93 Prozent und die Latenz um 75 Prozent gesenkt.
- Orca Security und AWS haben Discovery AI entwickelt, das auf Amazon Bedrock Fragen in natürlicher Sprache in Sonar-Abfragen umwandelt.
- Laut AWS sanken die Abfragekosten um 90 Prozent, die Eingabe-Token um 93 Prozent und die Latenz um 75 Prozent gegenüber der ursprünglichen Ausgangsbasis.
- Der erste Prototyp benötigte rund 2 Millionen Eingabe-Token und etwa 60 Sekunden pro Workload; das Produktionssystem antwortet in 15 Sekunden.
- Eine Pipeline mit neun Stufen nutzt Claude Haiku 4.5, Amazon Nova 2 Lite, Amazon-Titan-Embeddings und Cohere Rerank 3.5.
- Der Beispielabruf war laut AWS der wichtigste Hebel für die Genauigkeit.
Das Problem: eine Abfragesprache mit mehr als 900 Modellen
Orca Security bietet kontextbezogene Sicherheit für Cloud, Code und KI. Das System Sonar ist ein domänenspezifisches Abfragewerkzeug, mit dem Nutzer den gesamten Datengraphen durchsuchen, filtern und erkunden. Laut AWS deckt Sonar mehr als 900 Cloud-Modelle ab, also Ressourcentypen wie eine Amazon-EC2-Instanz oder einen Amazon-S3-Bucket.
Wer diese Daten abfragen will, muss JSON-Objekte mit exakten Modellnamen bauen, aus 18 Operatoren wählen (Vergleichsfunktionen wie „equals“ oder „contains“) und sich durch Eltern-Kind-Hierarchien über Cloud-Anbieter hinweg bewegen. Das setzt gute Kenntnisse des Sonar-Schemas voraus, was für Analysten, die schnell Antworten brauchen, eine Hürde darstellt.
Orcas erster Proof of Concept lud das vollständige Sonar-Schema in einen einzigen Prompt auf dem größten verfügbaren Modell, einschließlich mehr als 900 Modelldefinitionen, aller Beziehungstypen und zahlreicher Beispielabfragen. Designpartner und interne Nutzer reagierten positiv auf die Qualität der Ergebnisse. Im Produktionsmaßstab zeigten sich jedoch drei Nachteile:
- Der Token-Verbrauch lag bei rund 2 Millionen Eingabe-Token pro Workload, was die Kosten in die Höhe trieb.
- Die Antwortzeiten lagen Ende-zu-Ende bei etwa 60 Sekunden pro Workload.
- Die Genauigkeit bei komplexen Abfragen über mehrere Modelle war begrenzt, da verschachtelte Beziehungen und Abfragen mit mehreren Bedingungen oft nachgebessert werden mussten.
Eine Pipeline mit neun Stufen und je Stufe unterschiedlichen Modellen
Orca hat Discovery AI als Hybrid auf Amazon Bedrock konzipiert, der Retrieval Augmented Generation (RAG) mit schemabewusster Abfrageerstellung kombiniert. Laut AWS entschied sich das Team für Bedrock, weil der Dienst über eine einzige API Zugriff auf mehrere Modelle bietet, sodass jede Stufe ein anderes Foundation Model nutzen kann, ohne separate Integrationen. Zudem übernimmt er die Governance-Kontrollen von AWS über IAM, VPC-Endpunkte und AWS CloudTrail, womit Orcas Sicherheitsanforderungen erfüllt wurden. Durch das modellunabhängige Design kann das Team neuere Modellversionen einsetzen, ohne die Pipeline neu aufbauen zu müssen.
Die Pipeline läuft in neun Schritten ab:
- Anfrageeingang und Kontexteinrichtung: Die Anfrage wird mit der Organisation des Nutzers, den verbundenen Cloud-Anbietern und Metadaten kombiniert.
- Schneller deterministischer Matcher: Regex- und regelbasierter Abgleich erkennt strukturierte Eingaben wie IP-Adressen, CVEs, ARNs, Datei-Hashes und Alert-IDs. Bei einem Treffer wird über einen Schnellpfad ein vordefinierter Filter ohne LLM-Inferenz zurückgegeben.
- LLM-Guardrail-Prüfung: blockiert Prompt Injection, themenfremde Anfragen und nicht unterstützte Eingaben.
- Embedding-basierte Kandidatensuche: Amazon Titan Text Embeddings rufen die 20 nächstliegenden, bereits validierten Beispiele ab.
- Neuronales Relevanz-Reranking: Cohere Rerank 3.5 auf Amazon Bedrock wählt die fünf aussagekräftigsten Beispiele aus.
- Auswahl relevanter Modelle: Mehr als 900 Sonar-Modelle werden auf eine kleine Menge eingegrenzt und mit Schemas versehen, die von kompakten Micro-Schemas bis zu detaillierteren Mini-Schemas reichen.
- Agentische Filtergenerierung: Ein werkzeuggestützter Agent erstellt den Filter und kann ihn iterativ verfeinern.
- Statische und API-gestützte Validierung: Der Filter wird zunächst statisch und dann gegen Orcas Sonar-API geprüft. Fehler gehen unter Angabe des beanstandeten Elements an den Generator zurück; wird die maximale Zahl an Wiederholungen erreicht, folgt eine Antwort über einen ungültigen Filter.
- Nachbearbeitung und Antwort: Die endgültige Antwort wird aufbereitet.
Welches Modell was übernimmt
Das Team ordnete die Modelle den Anforderungen der jeweiligen Stufe zu. Anthropic Claude Haiku 4.5 treibt den Model Selector und den Generator an, die für eine präzise Abfrageerstellung starkes Schlussfolgern benötigen. Amazon Nova 2 Lite übernimmt Guardrail und Validator, wo schnelle Inferenz bei geringeren Kosten Vorrang hat. Amazon Titan liefert die Embeddings für den Beispielabruf, und Cohere Rerank 3.5 sortiert die Kandidaten neu.
AWS zufolge war der Beispielabruf der wichtigste Hebel für die Genauigkeit in der Pipeline. Gute Beispiele bringen dem Generator effizienter bei, wie Fragen in Sonar-Abfragen zu übersetzen sind, als das Schema allein. Das Orca-Team testete auf Bedrock mehrere Abrufstrategien. Laut dem Beitrag war eine reine semantische Top-K-Suche auf Titan-Embeddings zwar schnell, lieferte aber tendenziell nahezu doppelte Beispiele.
Was das bedeutet
Laut AWS verarbeitet das Produktionssystem täglich Tausende Abfragen bei Antwortzeiten von 15 Sekunden, nach rund 60 Sekunden im Proof of Concept. Für Security-Analysten bedeutet das: Sie können Fragen zur Cloud-Infrastruktur in natürlicher Sprache stellen, statt das Sonar-Schema zu lernen. Der Fall zeigt zudem ein Muster, bei dem eine Aufgabe auf mehrere kleinere, spezialisierte Modelle und deterministische Abkürzungen verteilt wird, anstatt alles in einem Prompt an das größte Modell zu schicken.


