DigitalOcean macht Prompt Caching für Serverless Inference allgemein verfügbar
DigitalOcean hat Prompt Caching auf seiner Plattform Serverless Inference allgemein verfügbar gemacht. Gecachte Eingaben werden mit bis zu 90 % Rabatt abgerechnet, die Zeit bis zum ersten Token sinkt laut Unternehmen um bis zu 80 %. Die Funktion läuft über die unterstützten Modelle im Katalog offener Modelle von DigitalOcean und erfordert keine Änderungen am Anfragecode.
- Prompt Caching ist auf DigitalOcean Serverless Inference allgemein verfügbar: gecachte Eingaben mit bis zu 90 % Rabatt, Zeit bis zum ersten Token um bis zu 80 % kürzer.
- Cache-Affinity-Routing leitet Anfragen an die Replika, die den Großteil des Prompts bereits vorhält, ganz ohne Sitzungs-ID.
- DigitalOcean meldet in Tests im Oktober 2026 Trefferquoten von 85 bis 95 % bei führenden offenen Modellen.
- Neu sind prompt_cache_key, Unterstützung der Responses API, Kontextfenster ab 256K Tokens und ein Dashboard zu den Einsparungen.
Warum KI-Agenten vom Caching profitieren
KI-Agenten starten nie bei null. Jeder neue Aufruf hängt das Ergebnis des vorherigen Tool-Aufrufs an einen Kontext an, der bereits den Systemprompt, die Tool-Definitionen, jede vom Agenten gelesene Datei sowie alle früheren Aktionen und Ergebnisse enthält. Laut DigitalOcean sind mehr als 90 % der Eingabe-Tokens, die Agenten auf Serverless Inference senden, Tokens, die das Modell bereits verarbeitet hat.
Prompt Caching senkt die Kosten dieser wiederholten Tokens je nach Modell um bis zu 90 %. Das Unternehmen weist darauf hin, dass der tatsächliche Rabatt und die Verbesserung der Latenz je nach Modell und Prompt variieren.
Cache-Affinity-Routing
Ein Cache lohnt sich nur, wenn die Anfrage bei der Replika landet, die ihn vorhält. Der Serverless-Traffic wird auf viele Replikas verteilt, sodass eine wiederholte Anfrage ohne spezielles Routing auf der falschen landen kann und der Nutzer für bereits gesendete Tokens den vollen Preis zahlt. DigitalOcean zufolge war das Caching in der öffentlichen Preview für alle aktiv und der Rabatt real, ob eine Anfrage den Cache traf, hing aber weitgehend vom Zufall ab.
Die GA-Version bringt Cache Affinity. Für jede Anfrage prüft der Router, welche Replikas den Großteil des Prompts bereits vorhalten, beschränkt die Auswahl auf diese „warme“ Gruppe und verteilt die Last dann auf die am wenigsten ausgelasteten davon. Ist keine Replika warm, greift er auf eine Lastverteilung über den gesamten Pool zurück. Eine Sitzungs-ID ist nicht nötig, denn die zweite Nachricht einer Unterhaltung enthält bereits die erste, sodass der Router die Übereinstimmung selbst erkennt.
In seinen Tests im Oktober 2026 maß DigitalOcean Cache-Trefferquoten zwischen 85 und 95 % bei seinen führenden offenen Modellen. Das Unternehmen gibt an, Cache Affinity habe die Trefferquoten aus dem mittleren 30-Prozent-Bereich auf über 90 % gehoben. GLM 5.3 sei von einem niedrigen einstelligen Wert auf 88 bis 95 % gesprungen, bei Kimi K3 reichte die Präfix-Wiederverwendung im Benchmark von 84 % bei kurzen Prompts bis zu über 92 % bei langen. DigitalOcean betont, diese Zahlen stammten aus eigenen Benchmark-Tests, die Ergebnisse würden variieren.
Neue Steuerungsmöglichkeiten, größere Kontextfenster und ein Dashboard
Mit GA kommen mehrere Funktionen hinzu:
- prompt_cache_key: Caches sind standardmäßig zwischen Konten isoliert. Mit diesem optionalen Parameter können Entwickler den Traffic innerhalb des eigenen Kontos trennen, etwa den gecachten Kontext eines Rechtsteams von dem eines Marketingteams oder den eines Endkunden von dem eines anderen. Anfragen mit unterschiedlichen Schlüsseln teilen keinen Cache, und der Schlüssel bindet Anfragen nicht an eine bestimmte Replika.
- Unterstützung der Responses API: Prompt Caching funktioniert nun zusätzlich zu Chat Completions auch mit der Responses API. Jede Antwort gibt an, wie viele Tokens aus dem Cache stammten.
- Größere Kontextfenster: Die Kontextfenster wachsen auf 256K Tokens und mehr, sodass sich mehr von einer langen Codebasis, einem Dokument oder einer Unterhaltung als einzelnes Präfix cachen und wiederverwenden lässt.
- Dashboard: Ein neues Prompt-Caching-Dashboard im Control Panel zeigt die Cache-Trefferquote im Zeitverlauf, eine Aufschlüsselung nach Modell und eine Schätzung der eingesparten Dollar. So lassen sich Prompts finden, die vom Caching nicht profitieren.
Erste Schritte und Bedeutung für Nutzer
Das Caching greift automatisch bei jeder berechtigten Anfrage, es muss also nichts aktiviert werden. Nutzer öffnen Serverless Inference im DigitalOcean Control Panel, erzeugen bei Bedarf einen Modellzugriffsschlüssel und senden Anfragen wie bisher an https://inference.do-ai.run/v1. Der Parameter prompt_cache_key wird nur benötigt, um Traffic gezielt zu gruppieren oder zu trennen.
Gecachte Tokens werden je nach Modell mit bis zu 90 % Rabatt abgerechnet, nicht gecachte Tokens zum regulären Eingabepreis. Jede Antwort nennt, wie viele Tokens von jeder Art genutzt wurden, sodass Teams die Einsparungen Anfrage für Anfrage prüfen können. Für Teams, die Agenten mit langem Kontext auf offenen Modellen betreiben, bedeutet das praktisch: Der Rabatt sollte nun deutlich konsistenter greifen als in der Preview. Laut DigitalOcean ist die Funktion ab sofort im gesamten Katalog offener Modelle verfügbar, die Abdeckung soll mit der Zeit wachsen.
