DigitalOcean erklärt Batch Inference: Bis zu 50 Prozent niedrigere Kosten bei OpenAI- und Anthropic-Modellen

Was Batch Inference ist und wie sie sich von der Echtzeitnutzung unterscheidet

Batch Inference, auch Offline- oder asynchrone Inferenz genannt, bedeutet, dass ein KI-Modell eine große Menge an Anfragen als einen einzigen Job abarbeitet und die Ergebnisse später statt sofort zurückliefert. DigitalOcean nennt als Beispiele die Auswertung einer Evaluierungssuite, das Taggen von einem Jahr Produktrezensionen oder die Erzeugung synthetischer Trainingsdaten.

Das Unternehmen argumentiert, dass viele Jobs keine Antwort innerhalb von Sekunden benötigen, aber häufig über dieselben Echtzeit-Endpunkte laufen wie der Live-Traffic, und zwar zu dessen Preisen. Es verweist auf eine Gartner-Prognose von 2,7 Billionen US-Dollar weltweiten KI-Ausgaben im Jahr 2026 und sagt, Unternehmen forderten von Anbietern Unterstützung bei der Kostenkontrolle.

Laut DigitalOcean beantwortet Echtzeit-Inferenz jeweils eine Anfrage, während ein Nutzer oder eine Anwendung wartet, wohingegen Batch Inference Tausende Anfragen parallel verarbeitet. Auf der Plattform des Unternehmens treffen Batch-Ergebnisse innerhalb eines Fertigstellungsfensters von 24 Stunden ein, und zwar als Ergebnisdatei sowie als separate Fehlerdatei, die bis zu 30 Tage lang verfügbar bleibt.

So läuft der Workflow bei DigitalOcean ab

Das Unternehmen beschreibt einen Prozess in fünf Schritten, der seiner Aussage nach auf den meisten Plattformen üblich ist:

• Eingaben sammeln: Die Prompts kommen in eine JSON-Lines-Datei (JSONL), eine Anfrage pro Zeile, jeweils mit eindeutiger ID.
• Als einen Job einreichen: Man lädt die Datei hoch und legt ein Fertigstellungsfenster fest, bei DigitalOcean sind das 24 Stunden.
• Einreihen und ausführen: Die Plattform validiert die Datei, stellt den Job in die Warteschlange und verarbeitet die Anfragen, sobald Kapazität verfügbar ist.
• Ausgabe prüfen: Die Ergebnisse landen in einer Datei, fehlgeschlagene Anfragen in einer separaten Fehlerdatei.
• Herunterladen und nutzen: Man ordnet jede Zeile per ID der jeweiligen Eingabe zu und schreibt die Ausgaben in eine Datenbank oder Pipeline.

DigitalOcean Batch Inference läuft auf der Inference Engine und unterstützt derzeit Textmodelle von OpenAI und Anthropic. Open-Weight-Modelle werden im Moment nicht unterstützt.

Der Beitrag grenzt Batch Inference zudem von Continuous Batching ab. Letzteres ist eine Scheduling-Technik innerhalb einer Model-Serving-Engine, die den aktiven Batch bei jedem Decoding-Schritt aktualisiert. Batch Inference dagegen betrifft die Art, wie Arbeit eingereicht wird. Ein Anbieter kann Continuous Batching sowohl für Echtzeit- als auch für Batch-Traffic einsetzen.

Behauptete Vorteile und erste Ergebnisse

DigitalOcean führt mehrere Vorteile an. Batch-Anfragen kosten bis zu 50 Prozent weniger als Echtzeit-Tarife, und abgerechnet werden nur abgeschlossene Anfragen. Batch-Jobs nutzen Rate Limits, die von Serverless- und Dedicated-Inferenz getrennt sind, sodass ein laufender Job das Echtzeit-Kontingent nicht aufbraucht. Die Plattform wiederholt vorübergehende Fehler (429, 408 und 5xx) bis zu zweimal, und eine fehlgeschlagene Anfrage lässt nicht den gesamten Batch scheitern. Die Jobs laufen mit niedrigerer Scheduling-Priorität auf geteilter GPU-Kapazität außerhalb der Spitzenzeiten.

Das Unternehmen weist außerdem darauf hin, dass der Rabatt nicht überall identisch ausfällt. Es verweist auf einen separaten Vergleich von sechs Anbietern, der nach eigener Aussage Unterschiede zeigt: ob für jedes unterstützte Modell pauschal 50 Prozent gelten und ob ein 24-Stunden-Fenster garantiert wird.

Als Beispiel führt der Beitrag den Entwickler Dumky de Wilde an, der mit der Batch API von OpenAI rund 60.000 Stellenanzeigen nachbearbeitete und aus jeder eine Zusammenfassung, das Gehalt, Technologien und die Art der Stelle extrahierte. Der gesamte Lauf kostete etwa 10 US-Dollar, und laut seinen Angaben sind Batches oft in 10 bis 15 Minuten fertig.

DigitalOcean-Ingenieure führten außerdem einen Test mit 250.000 echten Verbraucherbeschwerden durch, bei dem Produktlinie, Stimmung und Dringlichkeit klassifiziert, Entitäten extrahiert und Zusammenfassungen verfasst wurden. Alle 250.000 Anfragen wurden in sieben Batch-Jobs abgeschlossen, wobei die größten Jobs mit 40.000 Anfragen in 1,4 bis 2,2 Stunden fertig waren. Die berechneten Kosten beliefen sich auf 7,04 US-Dollar, gegenüber 14,07 US-Dollar für dieselben Tokens zu Serverless-Preisen. Im Abgleich mit den eigenen Labels des Datensatzes stimmte GPT-5 Nano zu 83,6 Prozent überein, Claude Haiku 4.5 erreichte 84,9 Prozent.

Was das für Teams bedeutet

Laut der Quelle eignet sich Batch Inference für umfangreiche, voneinander unabhängige Anfragen, deren Ergebnisse warten können, etwa Dokumentenextraktion, Ticket-Triage und Evaluierungen. Für interaktive Funktionen oder Jobs, die Ergebnisse binnen Minuten brauchen, ist sie nach Angaben von DigitalOcean nicht geeignet.

Für Teams, die bislang Echtzeit-Tarife für Rückstandsarbeit zahlen, lautet das Angebot des Unternehmens: niedrigere Kosten und eine Möglichkeit, große Datenmengen durchzuschleusen, ohne die Endpunkte zu verdrängen, auf die Nutzer angewiesen sind. Die Quelle rät zudem, vor dem Laden einer vollständigen Ausgabe in eine Datenbank eine Stichprobe der extrahierten Felder mit den Originaldokumenten abzugleichen.