Amazon Bedrock bietet strukturierte Ausgaben für alle Claude-Modelle von Anthropic

Constrained Decoding statt nachträglicher Prüfung

Laut AWS beruhen strukturierte Ausgaben auf Constrained Decoding. Dabei wird ein JSON-Schema schon während der Token-Generierung durchgesetzt, nicht erst danach. Das Modell erzeugt keine Tokens, die gegen das Schema verstoßen. Nach Darstellung von AWS wird die Formatierung der Ausgabe dadurch von probabilistisch zu deterministisch.

Auf beiden Bedrock-Endpunkten stehen zwei Mechanismen zur Verfügung. Der erste ist ein JSON-Schema-Ausgabeformat, das die Struktur der Modellantwort steuert und sich für Datenextraktion, Berichtserstellung und API-Antworten eignet. Der zweite ist Strict Tool Use, bei dem Tool-Parameter gegen Schemas validiert werden. Er zielt auf agentische Workflows, Function Calling und mehrstufige Automatisierung.

Laut AWS ist jede Antwort gültiges JSON, sodass Entwickler keine JSON.parse()-Fehler oder Parsing-Exceptions mehr erleben. Feldtypen werden durchgesetzt, Pflichtfelder sind immer vorhanden. Da die Ausgaben stets dem Schema entsprechen, sind keine Wiederholungsversuche bei Verstößen nötig. AWS ergänzt, dass die Beschränkung auf die im Schema definierten Felder die Zahl der Ausgabe-Tokens senkt und bei Workloads mit hohem Volumen die Inferenzkosten reduzieren kann.

So funktioniert es und was bei der Performance zu erwarten ist

AWS beschreibt vier Schritte hinter jeder Anfrage mit JSON-Schema:

• Schemavalidierung: Bedrock prüft das Schema gegen die unterstützte Teilmenge von JSON Schema Draft 2020-12.
• Grammatikkompilierung: Bei neuen Schemas kompiliert Bedrock ein Grammatik-Artefakt, sodass die erste Anfrage etwas länger dauern kann.
• Caching: Kompilierte Grammatiken werden 24 Stunden zwischengespeichert, was spätere Anfragen beschleunigt.
• Eingeschränkte Generierung: Das Modell erzeugt Tokens, die gültiges, zum Schema passendes JSON ergeben.

Der Cache ist auf das Konto des Kunden begrenzt und gilt 24 Stunden ab dem ersten Zugriff. Eine Änderung der Schemastruktur macht den Cache ungültig und löst eine neue Kompilierung aus. Wird nur der Name oder die Beschreibung geändert, bleibt die zwischengespeicherte Grammatik erhalten.

Strukturierte Ausgaben funktionieren auch mit Batch-Inferenz, sodass große Mengen an Anfragen asynchron mit schemakonformen Ergebnissen verarbeitet werden können. Auf dem Endpunkt bedrock-runtime lässt sich die Funktion ohne zusätzliche Einrichtung mit regionsübergreifender Inferenz nutzen. Für Echtzeit-Anwendungen können strukturierte Antworten als typisierte Events gestreamt werden.

Codebeispiele und Strict Tool Use

Für die InvokeModel-API auf bedrock-runtime erläutert AWS, dass der Request-Body Anthropic-nativ ist. Das Schema wird daher als JSON-Objekt und nicht als JSON-String in output_config.format übergeben. Das Beispiel im Beitrag extrahiert Lead-Daten aus einer Kunden-E-Mail und gibt Name, E-Mail-Adresse, gewünschten Tarif und die Angabe zurück, ob eine Demo angefragt wurde. AWS weist darauf hin, dass die Antwort dem Schema entspricht und keine zusätzliche Validierung braucht. Außerdem empfiehlt AWS, vor dem Parsen den Stop-Grund zu prüfen, da eine Antwort abgeschnitten sein kann, wenn max_tokens zu niedrig gesetzt ist.

Auf dem Endpunkt bedrock-mantle wird Strict Tool Use aktiviert, indem in einer Tool-Definition strict: true gesetzt wird. Laut AWS ist damit garantiert, dass die Tool-Parameter exakt dem Eingabeschema entsprechen. Im Wetterbeispiel ist das Feld location immer ein String und das Feld unit immer entweder celsius oder fahrenheit. Das Modell kann keine Felder außerhalb des Schemas hinzufügen. AWS beschreibt Amazon Bedrock Mantle als ausgelegt für agentische Anwendungen mit serverseitigen Tools, Hintergrund-Inferenz und zustandsbehafteten Konversationen. Die Garantie sei besonders wertvoll, wenn Modelle mehrstufige Workflows mit Tools wie Websuche und Code Interpreter orchestrieren.

Anwendungsfälle und Bedeutung für Entwickler

AWS nennt drei Muster, bei denen strukturierte Ausgaben den Aufwand für die Fehlerbehandlung am stärksten senken. Bei der Datenextraktion werden Felder aus Rechnungen, Verträgen, E-Mails und Transkripten in JSON überführt, das direkt für Datenbanken oder CRM-Systeme taugt. Verlässliche Tool-Aufrufe von Agenten validieren Argumente schon bei der Generierung, sodass mehrstufige Workflows nicht an fehlerhaften Eingaben scheitern. Klassifizierung im großen Maßstab sortiert Tickets, Leads oder Inhalte nach Absicht, Priorität und Stimmung für Routing, Moderation und Auswertung.

Weitere Beispiele aus dem Beitrag sind das Extrahieren erforderlicher Felder aus Finanzberichten und Compliance-Dokumenten, das Umwandeln klinischer Notizen in elektronische Patientenakten, die Anreicherung von Produktkatalogen sowie die Analyse von Verträgen auf zentrale Bedingungen, Parteien und Pflichten. AWS verweist zudem auf Claude Haiku 5.5 für schnelle und wiederkehrende Aufgaben wie Zusammenfassungen, Kompaktierungen, Datenbankabfragen und Klassifizierungsanfragen.

Für Teams, die auf Bedrock aufbauen, bedeutet das laut AWS praktisch, dass sich Code zur Schemavalidierung und Wiederholungslogik für fehlerhafte Ausgaben einsparen lässt. Damit sei die Funktion nach Angaben von AWS reif für den Produktiveinsatz im großen Maßstab.