Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS zeigt, wie sich Coding-Agent-Anfragen mit NeMo Switchyard routen lassen

13. November 2026, 23:30Von der KI Nachrichten RedaktionQuelle: AWS
AWS zeigt, wie sich Coding-Agent-Anfragen mit NeMo Switchyard routen lassen
Bild: AWS

AWS hat eine Beispielbereitstellung veröffentlicht, die Anfragen von Coding-Agenten auf Amazon Bedrock mithilfe von NVIDIA NeMo Switchyard und LiteLLM zwischen Modellen verteilt. Dabei wird die Leistung anhand der Kosten pro gelöster Aufgabe gemessen, nicht allein anhand des Token-Preises.

Das Wichtigste in Kürze
  • AWS bewertet das Routing von Coding-Agenten anhand der Kosten pro gelöster Aufgabe.
  • NVIDIA NeMo Switchyard unterstützt in der LiteLLM-Integration Stage- und Random-Routing.
  • Das Beispiel stellt LiteLLM und Switchyard auf Amazon ECS mit AWS Fargate bereit.
  • LiteLLM leitet Anfragen über Amazon Bedrock an Modelle weiter.
  • AWS bezeichnet die Integration als experimentell und für den Nicht-Produktiveinsatz bestimmt.

Warum Kosten auf Aufgabenebene zählen

Coding-Agenten wie Claude Code und OpenAI Codex CLI können bei der Bearbeitung einer einzigen Entwickleranfrage wenige Modellaufrufe oder Dutzende davon ausführen. Sie können Dateien lesen, Code bearbeiten, Tests ausführen und Arbeit wiederholen. Die Gesamtkosten hängen daher von der Anzahl der Durchläufe, dem in jedem Durchlauf erneut übermittelten Verlauf und davon ab, ob die Aufgabe erfolgreich abgeschlossen wird.

AWS weist darauf hin, dass Entwickler für jeden Versuch bezahlen, auch für Arbeiten an Aufgaben, die nie abgeschlossen werden. Daher empfiehlt das Unternehmen, das Routing anhand der Kosten pro gelöster Aufgabe zu bewerten: Die Gesamtkosten aller Durchläufe werden durch die Zahl der Durchläufe geteilt, deren Tests erfolgreich sind. So können Teams eine Gruppe gerouteter Modelle mit einzelnen Modell-Baselines anhand ihrer eigenen Workloads vergleichen.

Wie Switchyard ein Modell auswählt

NVIDIA NeMo Switchyard ist eine Open-Source-Bibliothek, mit der ein KI-Agent auswählt, welches Modell eine Anfrage bearbeitet. In der LiteLLM-Integration des Beispiels untersucht das Stage-Routing die jüngsten Tool-Aktivitäten und Ergebnisse im Anfrageverlauf, bevor es zwischen zwei möglichen Modellen auswählt. Damit diese Strategie funktioniert, muss der Agent den vollständigen Gesprächsverlauf übermitteln.

Beim Random-Routing wird stattdessen aus den konfigurierten Modellen ausgewählt, optional mit Gewichtungen. AWS beschreibt diese Variante als geeignet für Traffic-Aufteilungen und A/B-Vergleiche. Stage erfordert genau zwei Kandidaten, Random mindestens zwei. Keine der beiden Strategien verwendet ein Bewertungsmodell. Klassifikatorgestützte Strategien wie Task- und Composite-Routing benötigen Aufrufe an Zwischenmodelle, die diese Integration nicht unterstützt.

Die AWS-Bereitstellungsarchitektur

Die Anleitung nutzt das AWS Cloud Development Kit, um LiteLLM, ein Open-Source-Gateway für große Sprachmodelle, zusammen mit dem Switchyard-Routing-Plugin in einem AWS-Konto bereitzustellen. LiteLLM ruft die Modelle über Amazon Bedrock auf. LiteLLM und das Plugin laufen gemeinsam in einem Container auf Amazon Elastic Container Service mit AWS Fargate und verwenden private Subnetze.

Anfragen nutzen eine OpenAI-kompatible Schnittstelle, wobei das Modellfeld auf switchyard gesetzt wird. AWS Certificate Manager, Amazon Route 53, AWS WAF und ein Application Load Balancer stellen den Endpunkt und die Netzwerksteuerung bereit. Der Load Balancer leitet ausschließlich /v1/chat/completions, /v1/models und /health/liveliness an die ECS-Aufgabe weiter. LiteLLM ruft das ausgewählte Modell anschließend über die Amazon-Bedrock-Converse- oder ConverseStream-API auf.

Die Antwort enthält einen x-litellm-model-name-Header, der das antwortende Modell angibt. Das Modellfeld im Antwort-Body bleibt dagegen auf switchyard gesetzt. Der Inferenzverkehr nutzt einen Amazon-Bedrock-Runtime-Interface-Endpunkt in der Amazon VPC.

Ein Beispiel für Evaluierung, nicht für den Produktiveinsatz

Für das Beispiel ist Zugriff auf Claude Opus 5.5 und NVIDIA Nemotron 3 Super 120B in Amazon Bedrock erforderlich. AWS zufolge wurde das Paar in US East (N. Virginia) getestet. Nutzer sollen die regionale Verfügbarkeit und die Unterstützung von Tool-Aufrufen in anderen Regionen prüfen.

AWS weist außerdem darauf hin, dass das Beispiel switchyard-server 0.3.0 installiert und das veröffentlichte LiteLLM-Image v1.102.0 verwendet. Das Unternehmen bezeichnet switchyard-server 0.3.0 als Demo- und Evaluierungskomponente und erklärt, dass sich die Konfiguration und APIs der experimentellen Integration ändern können. AWS empfiehlt die Bereitstellung in einem Nicht-Produktionskonto, Tests vor einem verlässlichen Einsatz sowie die Abstimmung mit Sicherheits- und Rechtsteams zu organisatorischen Anforderungen.

Für Nutzer, die Coding-Agenten entwickeln, bietet das Beispiel eine konkrete Möglichkeit zu prüfen, ob Routing die Kosten abgeschlossener Arbeiten senkt. Die zentrale Kennzahl hängt jedoch von den Workloads, der Modellkonfiguration und den Testergebnissen des jeweiligen Teams ab, nicht von einem isoliert betrachteten Token-Preis.

Ähnliche Meldungen

AWS: Agenten schrieben den Emulator für mehr als 200 Dienste ohne menschliche Codeprüfung
Für Entwickler12. November 2026, 22:52

AWS: Agenten schrieben den Emulator für mehr als 200 Dienste ohne menschliche Codeprüfung

AWS zufolge schrieben und testeten autonome Agenten jede Codezeile des AWS Emulator, einer kostenlosen lokalen Kopie von mehr als 200 AWS-Diensten, während ein…

AWS ergänzt im Oktober Modelle, Agenten-Schutz und Kostenkontrollen
Produkte und Tools11. November 2026, 23:26

AWS ergänzt im Oktober Modelle, Agenten-Schutz und Kostenkontrollen

AWS zufolge bieten die Veröffentlichungen im Oktober 2026 Entwicklern von KI-Anwendungen mehr Modellauswahl, bessere Kontrollen für Agenten im Produktivbetrieb und…

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock
Modelle11. November 2026, 02:07

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock

Moonshot AIs Kimi K3.1 Pro Highspeed ist ab sofort auf Amazon Bedrock verfügbar. Entwickler erhalten damit Zugriff auf ein nachtrainiertes Kimi-K3-Modell mit einem…