AWS bringt SageMaker-Inferenz-Skill für Kiro, Claude Code und Codex

Was der Skill leistet

Der Skill aws-ai-ml ist über das Agent Toolkit for AWS verfügbar. AWS beschreibt ihn als Toolkit, das sich in jeden Coding-Agenten einklinken lässt, der das Model Context Protocol (MCP) unterstützt, und den Agenten zu einem Experten für die Optimierung von SageMaker-AI-Inferenz macht.

Die Idee: Der Skill soll die Lücke zwischen dem Ziel eines Ingenieurs und der dafür nötigen Infrastruktur schließen. AWS weist darauf hin, dass SageMaker AI Serverful-Hosting für Echtzeit-, Batch- und asynchrone Modi unterstützt, mit On-Demand- und reservierter Kapazität, heterogenen Instanzen, Isolation per Virtual Private Cloud (VPC) und automatischer Skalierung. Die meisten Ingenieure wüssten, so das Unternehmen, vorab nicht, welche Instanzfamilie oder welcher Serving-Container am besten passt. Sie kommen mit einem Anwendungsfall, etwa einem Leistungsziel, einer Kostengrenze oder einem zu evaluierenden Modell.

Der Nutzer beschreibt sein Ziel, der Agent stellt Rückfragen und erzeugt Code für das SageMaker Python SDK v3, den man prüfen, anpassen und in der eigenen Umgebung ausführen kann. Laut AWS beruht der Code auf echten Benchmarks und gemessenen Leistungsdaten, und jeder Schritt ist sichtbar und als Code formuliert, statt hinter einer undurchsichtigen Oberfläche zu verschwinden.

Benchmarking, Instanzauswahl und Vergleiche

Für ein Modell, das bereits auf einem SageMaker-AI-Endpunkt läuft, kann der Agent ein Python-Notebook erzeugen, das mit den APIs Workload.synthetic() und start_benchmark() einen Lasttest durchführt. Da das Benchmarking echten Traffic an einen Live-Endpunkt sendet, vergewissert sich der Agent zuvor, dass der Endpunkt gefahrlos getestet werden kann. Der resultierende Bericht umfasst:

• Durchsatz: Anfragen pro Sekunde und Ausgabe-Tokens pro Sekunde.
• Latenz: p50, p99, Time-to-First-Token und Inter-Token-Latenz.
• Parallelität: die Anzahl gleichzeitig unterstützter Anfragen.

AWS betont, dass es sich dabei um gemessene Werte unter echter Last auf realer Infrastruktur handelt, nicht um Schätzungen. Der Agent schlägt außerdem Verbesserungsmechanismen vor, als Beispiel nennt AWS Prefill Decoding.

Bei der Wahl des Instanztyps arbeitet der Skill mit Modellen in Amazon S3, mit Foundation Models aus dem Katalog von Amazon SageMaker JumpStart und mit Modellen im Hugging Face Hub. Bei Modellen mit Zugangsbeschränkung wie den Llama-Varianten zeigt der Agent die Lizenzbedingungen an und bittet den Nutzer, diese zu akzeptieren und ein Hugging-Face-Token anzugeben. In jedem Fall erzeugt der Agent Code, der das Modell gegen mögliche Instanzen und Konfigurationen evaluiert, und präsentiert anschließend eine Rangliste von Bereitstellungsoptionen mit Werten zu Durchsatz, Latenzperzentilen, Time-to-First-Token und Parallelität.

Nutzer können außerdem Benchmark-Läufe vergleichen, etwa vor und nach einer Konfigurationsänderung oder über zwei Instanztypen hinweg. Anhand zweier Benchmark-Job-Namen berechnet der Agent die Abweichungen bei den wichtigsten Kennzahlen, mit prozentualen Veränderungen, bei denen ein positiver Wert besser bedeutet.

Optionen für die Einrichtung

Es gibt zwei Wege. Der erste funktioniert mit jedem MCP-kompatiblen Agenten, darunter Kiro, Claude Code und Codex. Er setzt AWS CLI 2.35+ und uv voraus. Nutzer führen aws configure agent-toolkit aus, was Agenten automatisch erkennt, Skills installiert und den AWS MCP Server konfiguriert, und fügen den Skill anschließend mit npx skills add aws/agent-toolkit-for-aws/skills/aws-ai-ml hinzu. AWS ergänzt, dass Kiro und Claude Code Skills auch ohne lokale Installation zur Laufzeit bei Bedarf über den AWS MCP Server finden und laden können.

Der zweite Weg führt über Amazon SageMaker Studio. Nutzer legen einen JupyterLab-Space an, lassen die Freigabe auf Private gestellt, da Skills nur in privaten Spaces synchronisiert werden, und wählen das Image, das mit dem vorkonfigurierten Skill aws-ai-ml ausgeliefert wird. Laut AWS dauert der erste Start 5 bis 10 Minuten; das Unternehmen empfiehlt einen frischen Space, da ein wiederverwendeter Space mit lokal geänderter Skill-Version das Image womöglich nicht übernimmt. Anschließend muss der Agent über das Terminal beim Identitätsanbieter des Nutzers autorisiert werden.

In beiden Fällen benötigen die AWS-Zugangsdaten die Berechtigung, SageMaker-AI-APIs aufzurufen, etwa zum Erstellen von Endpunkten und zum Ausführen von Benchmark- und Empfehlungsjobs. Der erzeugte Code läuft unter den Zugangsdaten des Nutzers, und laut AWS ist für den Skill selbst keine zusätzliche IAM-Konfiguration nötig.

Was das für Nutzer bedeutet

Für Teams, die bereits einen Coding-Agenten einsetzen, verlagert der Skill das Tuning der SageMaker-Inferenz in denselben Chat-Workflow, mit lesbarem Code als Ergebnis statt Einstellungen in der Konsole. Laut AWS gelangen Nutzer in 10 Minuten von null zu einem funktionierenden Dialog. Die endgültige Entscheidung treffen weiterhin die Ingenieure: Der Agent präsentiert Optionen in einer Rangfolge samt Kennzahlen, und der Nutzer wählt anhand von Kosten- und Leistungsanforderungen.