Hohe GPU-Auslastung kann bei On-Prem-KI-Inferenz teure Verschwendung verbergen

Warum die Auslastung die falsche Kennzahl ist

Laut Everpure hat die Wirtschaftlichkeit der Inferenz im vergangenen Jahr immer mehr Unternehmen zu Kapazitäten im eigenen Rechenzentrum getrieben. Das Unternehmen verweist auf Ausgabepreise für Frontier-Modelle, die sich um den Faktor zwei bis sieben erhöht hätten, auf knappe GPUs und auf eine Inferenznachfrage, die sich alle paar Monate verdoppelt habe. Der Beitrag beschreibt die Referenzarchitektur für die Optimierung von KI-Tokens, die Everpure auf der Everpure Accelerate London vorgestellt hat.

Das Problem laut Beitrag: Die Kosten im eigenen Rechenzentrum sind schwerer zu erkennen als Cloud-Rechnungen. Es gibt keine Rechnung, das erste Warnsignal kommt deshalb meist von Entwicklern, denen langsame Antworten auffallen oder ein System, das mehr Hardware zu brauchen scheint, als es sollte. Ein Dashboard mit einer GPU-Auslastung nahe 100 Prozent sieht nach Erfolg aus, zeigt aber nur, dass die Chips beschäftigt sind.

Everpure schlägt eine andere Kennzahl vor: den effektiven Preis pro Token, also alles, was in die Erzeugung der Tokens geflossen ist, etwa GPU-Stunden und Strom, geteilt durch die erzeugten Tokens. Mit dem falschen Inferenz-Stack, so das Unternehmen, könne ein „kostenloses“ Open-Weight-Modell pro Token genauso viel kosten wie eine Frontier-API.

Wohin die GPU-Zeit fließt: wiederholtes Prefill

Der Beitrag erklärt, dass ein Modell, bevor es irgendeine Ausgabe erzeugt, den gesamten Prompt in einem Schritt namens Prefill verarbeiten muss. Prefill skaliert quadratisch mit der Länge: Verdoppelt sich der Prompt, vervierfacht sich ungefähr der Aufwand. Laut Everpure kann ein Prompt mit 100.000 Tokens auf einem großen Modell selbst auf aktueller Hardware wie NVIDIA DGX B300 oder NVIDIA Vera Rubin NVL72 noch 8 bis 10 Sekunden GPU-Zeit verbrennen, bevor das erste Ausgabe-Token existiert.

Agentische KI verschärft das. Der Beitrag nennt das Beispiel von fünfhundert Entwicklern, die Coding-Agenten auf dieselbe Codebasis ansetzen, mit denselben System-Prompts, Tool-Definitionen und gemeinsamem Kontext. Ein naives Setup baut diesen Kontext für jede Anfrage neu auf und verbraucht 4.000 bis 5.000 GPU-Sekunden, um denselben KV-Zustand neu zu berechnen. Ein Round-Robin-Load-Balancer kann die Verschwendung noch vergrößern, weil die nächste Anfrage einer Sitzung auf einem Knoten mit kaltem Cache landen kann.

Frontier-APIs bepreisen Cache-Treffer direkt, wobei wiederverwendeter Kontext nur einen Bruchteil eines frischen Eingabe-Tokens kostet. Im eigenen Rechenzentrum zeigt sich dieselbe Last stattdessen als verlorener Durchsatz: Jede GPU-Sekunde, die auf die Neuberechnung von Kontext entfällt, fehlt bei der Erzeugung neuer Tokens und verteuert damit jedes erzeugte Token.

Ein flottenweiter Cache und ein zentrales Gateway

Everpures Lösungsvorschlag: den Key-Value-Cache (KV-Cache) einmal berechnen und für die gesamte Flotte verfügbar machen, statt ihn auf dem Knoten zu belassen, der ihn aufgebaut hat. Der Beitrag nennt NVIDIA Dynamo und Pure Key-Value Accelerator (KVA) als Infrastruktur, die den KV-Zustand zwischen Knoten verschiebt. In Benchmarks mit Pure KVA kann sich laut Beitrag eine Neuberechnung von rund 10 Sekunden in eine Cache-Injektion von etwa 500 Millisekunden verwandeln.

Dasselbe Design deckt auch inaktive Sitzungen ab. Agentische Workflows warten häufig auf Tool-Aufrufe, Build-Prozesse oder externe APIs, daher kann das System einen inaktiven KV-Cache in gemeinsamen Speicher auslagern und auf jedem Knoten mit freier Kapazität ohne Neuberechnung wiederherstellen. Everpure zufolge geschieht das hinter einem zentralen Gateway und erfordert keinerlei Änderungen am Client-Code.

Dieses Gateway sitzt zudem vor eigenen wie externen Modellen. Ein schlanker Schwierigkeitsschätzer prüft, was ein Prompt verlangt, und leitet ihn an ein geeignetes Modell weiter. Überlauf bei Lastspitzen kann an ein Frontier-Modell gehen, statt auf bereits ausgelasteter Hardware Warteschlangen aufzubauen. Everpure zufolge wird die eigene Kapazität auf die Grundlast ausgelegt, gemietete Kapazität deckt die Spitzen ab.

Der Beitrag merkt an, dass sich dieses Muster ausbreitet. Er verweist auf NVIDIAs NeMo Switchyard, eine Open-Source-Routing-Schicht, für die LangChain eine Kostensenkung von 74 Prozent gemessen hat, indem zwischen einem effizienten offenen Modell und einem Frontier-Modell geroutet wurde und nur ein kleiner Teil der Aufrufe an die Frontier-Stufe ging.

Was das für Unternehmen bedeutet

Für Teams, die Inferenz im eigenen Rechenzentrum erwägen, lautet die Botschaft des Beitrags: GPUs zu kaufen und offene Modelle zu betreiben, senkt die Token-Kosten nicht von selbst. Cache-Wiederverwendung, Request-Routing und die Abstimmung der Aufgaben auf die Modellgröße entscheiden über das Ergebnis, und sichtbar wird das nur, wenn Teams den effektiven Preis pro Token verfolgen statt allein die Auslastung. Everpure präsentiert seine Referenzarchitektur als einen Weg dahin, der eigene Kapazität mit Frontier-Modellen kombiniert, wenn eine Aufgabe oder eine Lastspitze es erfordert.