AWS nennt vier Wege, um Amazon-Bedrock-AgentCore-Sitzungen zu beschleunigen

AWS hat vier Architekturmuster vorgestellt, mit denen sich Verzögerungen beim Sitzungsstart in der Amazon Bedrock AgentCore Runtime reduzieren lassen. Dazu gehören die Initialisierung per Snapshot, Build-Hooks und das Vorwärmen, sobald Nutzer aktiv werden. Die Empfehlungen richten sich an Agenten, die in interaktiven Chat- und Sprachumgebungen schnell reagieren müssen.
- Die AgentCore Runtime V2 erstellt Snapshots initialisierter Umgebungen zur Wiederverwendung.
- Neue Sitzungen stellen den Arbeitsspeicher wieder her, während Image-Dateien verzögert geladen werden.
- Build-Hooks können große Dateien, Browser und CLI-Ressourcen vorbereiten.
- Das Vorwärmen im Hintergrund zielt auf interaktive Starts in unter einer Sekunde.
- AWS empfiehlt, die Metriken Latency und OverheadLatency zu vergleichen.
AgentCore V2 bereitet die Umgebung einmalig vor
Die Amazon Bedrock AgentCore Runtime stellt jeder Sitzung eine isolierte MicroVM bereit und fährt auf null zurück, wenn keine Arbeit anfällt. Laut AWS zahlen Nutzer für die Ressourcen, die ihre Sitzungen verbrauchen. Bei platformVersion auf „V2“ initialisiert die Runtime einen Container einmalig, erstellt einen Snapshot und stellt diesen für jede neue Sitzung wieder her.
Während eines Erstellungs- oder Aktualisierungsvorgangs startet AgentCore den Container in einer frischen MicroVM und wartet auf eine erfolgreiche Antwort von GET /ping, die innerhalb von 120 Sekunden eintreffen muss. Anschließend leert die Runtime den Dateicache des Betriebssystems, friert die MicroVM ein und speichert ihren Arbeitsspeicher sowie die Festplatte als Snapshot. Laut AWS dauert jeder Erstellungs- oder Aktualisierungsvorgang einige Minuten, während dieser Snapshot erstellt wird.
Beim Start einer Sitzung wird der Snapshot in einer neuen MicroVM wiederhergestellt. Im Arbeitsspeicher gehaltene Importe, Objekte und Clients stehen sofort zur Verfügung. Dateien aus dem Container-Image werden verzögert geladen: Beim ersten Lesen eines Blocks kommt dieser aus dem Snapshot-Speicher und wird anschließend näher am Host zwischengespeichert.
Vier Muster zielen auf unterschiedliche Anforderungen beim Start
AWS empfiehlt den Wechsel zu V2 und den Abschluss der Initialisierung vor app.run(), wenn ein Sitzungsstart in etwa 2 Sekunden akzeptabel ist. Außerdem rät das Unternehmen, statische Arbeit aus der ersten Anfrage herauszuhalten. Dazu gehören das Importieren von Bibliotheken, das Erstellen von Clients und das Laden statischer Daten aus dem Image.
Einige Agenten können benötigte Ressourcen nicht in ihrem eigenen Prozess halten. Eine Browser-Binärdatei oder ein Kommandozeilenprogramm, das als separater Prozess ausgeführt wird und endet, kann während der Initialisierung gelesen werden, nach der Wiederherstellung des Snapshots jedoch nicht mehr verfügbar sein. Für diese Fälle können Entwickler laut AWS einen Build-Hook verwenden, um die Ressource während der Snapshot-Erstellung zu laden und vorzubereiten. Die AgentCore Runtime unterstützt jetzt Build-Hooks.
Das dritte Muster besteht darin, den Agenten so umzustrukturieren, dass Arbeiten, die zur Initialisierung gehören, nicht innerhalb des Anfrage-Handlers ausgeführt werden. Das vierte ist das Vorwärmen: Sobald Nutzer mit einer Anwendung interagieren, etwa indem sie die App oder ein Chatfenster öffnen, kann die Anwendung im Hintergrund eine Sitzung starten. AWS nennt diese Option für Anwendungen, die einen Start in unter einer Sekunde benötigen.
AWS empfiehlt, die Ursache der Latenz zu messen
AWS unterscheidet zwischen der Zeit, die benötigt wird, um eine Sitzung bereitzustellen, und der Zeit, die im Code des Agenten anfällt, etwa für Modellaufrufe, Tool-Aufrufe, Unteragenten und das Streaming von Antworten. Die AgentCore Runtime veröffentlicht die Metriken Latency und OverheadLatency im Namensraum AWS/Bedrock-AgentCore. Latency misst die Zeit bis zum ersten Byte, während OverheadLatency Plattformvorgänge wie das Starten der MicroVM und das Wiederherstellen des Snapshots abdeckt.
Entwickler können die Zeit ihres Codes schätzen, indem sie OverheadLatency von Latency abziehen. Bei V2 läuft die Initialisierung anders: Sie findet während der Erstellung des Snapshots statt und nicht bei jeder Anfrage. Daher erscheint sie nicht in den Latenzmetriken für Anfragen. AWS empfiehlt, die Initialisierungszeit vor app.run() zu protokollieren und Perzentile wie P90 und P99 oder getrimmte Mittelwerte wie TM90 auszuweisen, statt sich auf einen einfachen Durchschnitt zu verlassen.
Für Nutzer bedeutet das: Wie schnell der Start erfolgt, hängt von der Arbeitslast des Agenten ab. V2 kann wiederkehrende statische Vorbereitungen in einen wiederverwendbaren Snapshot verlagern, Build-Hooks können Ressourcen vorbereiten, die nicht im Prozessspeicher verbleiben, und ein Start im Hintergrund kann interaktive Fälle abdecken, in denen bereits eine kurze Verzögerung auffällt.


