Elastic verlagert Jina-Modelle auf NVIDIA RTX Pro 6000 und meldet bis zu achtmal schnelleres Embedding

Umzug von L40 auf RTX Pro 6000

Elastic bietet Jina-AI-Modelle für Reader-, OCR-, Embedding- und Ranking-Aufgaben über zwei verwaltete Dienste an. Die Jina API übernimmt direkte Aufrufe von Jina-Modellen, während der Elastic Inference Service (EIS) vorkonfigurierte, GPU-beschleunigte Endpunkte bereitstellt, die nativ in Elasticsearch integriert sind.

Um mit wachsenden agentenbasierten KI-Workloads Schritt zu halten, stellt Elastic beide Dienste von NVIDIA-L40-GPUs auf NVIDIA RTX Pro 6000 Blackwell Server Edition GPUs um. Einige Modelle der Jina API laufen bereits auf der neuen Hardware, und Kunden, die sie nutzen, erhalten laut Elastic die Geschwindigkeitsgewinne, ohne etwas ändern zu müssen. Das Unternehmen gibt an, weitere Modelle der Jina API und des EIS zu migrieren, sodass mit jedem umgezogenen Modell mehr Kunden Verbesserungen sehen dürften.

Die Modelle hinter den Diensten

Elastic beschreibt die Jina-Modelle als kleine Modelle auf Spitzenniveau, die die Bedeutung von der Aufnahme bis zum Abruf bewahren. Der Beitrag hebt mehrere Aussagen zu den Modellen hervor:

• OCR: jina-ocr-v1 erkennt Text und Schriften in mehr als 100 Sprachen und ist laut Elastic das führende Modell mit weniger als 600 Millionen aktiven Parametern im Benchmark olmOCR-bench.
• Embeddings: Die Jina-Omni-Embedding-Modelle verarbeiten Text, Bild, Audio und Video in mehr als 100 Sprachen. Elastic zufolge ist jina-embeddings-v5-omni-small das leistungsstärkste Open-Weight-Omni-Modell unter 2 Milliarden Parametern im MTEB.
• Reranking: Jina-reranker-v3.5, ein Modell mit 600 Millionen Parametern, schlägt laut Elastic das Modell Qwen3-Reranker-4B mit 4 Milliarden Parametern im Benchmark für strukturierte Daten STaRK.

Warum gemischte Workloads wichtig waren

Elastic argumentiert, dass kleine Modelle die Kapazitätsplanung nicht von selbst vereinfachen. Jina API und EIS sind geteilte Dienste, deshalb laufen große Aufträge neben kleinen auf denselben GPUs. Eine einzelne Reranking-Anfrage kann eine lange Liste von Kandidatendokumenten enthalten, während eine dahinterliegende Suchanfrage nur eine schnelle Antwort braucht. Belegt der große Auftrag die GPU, muss die kleine Anfrage in der Warteschlange warten, und ihre Latenz steigt.

Beim Benchmarking der RTX Pro 6000 kam es dem Unternehmen nach eigenen Angaben vor allem darauf an, ob kleine Anfragen schnell bleiben, während daneben große Aufträge laufen.

Was Elastic gemessen hat

Elastic verglich den Produktivverkehr vor und nach dem Umzug und führte kontrollierte Tests für Fälle durch, die sich in der Produktion nicht isolieren lassen. Im Mittelpunkt stehen Latenz-Perzentile; beim 99. Perzentil wurden demnach 99 von 100 Anfragen schneller bearbeitet als der angegebene Wert. Die folgenden Zahlen vergleichen die bisherige GPU-Konfiguration mit der RTX Pro 6000.

• Embedding (Produktion): Die Latenz im 99. Perzentil sank von 5,86 s auf 0,73 s, also um etwa das Achtfache.
• Reranking (Produktion, bei rund 40 % höherem durchschnittlichen Anfragevolumen): Die Latenz im 90. Perzentil sank von 732 ms auf 171 ms, das entspricht dem 4,3-Fachen.
• Großer Reranking-Auftrag (kontrollierter Test, gleiche Software): Die Abschlusszeit sank von 702 ms auf drei L4 auf 160 ms auf einer GPU, das entspricht dem 4,4-Fachen.
• Kleine Reranking-Anfragen neben großen Aufträgen (Test mit gemischtem Verkehr auf einem gemeinsamen GPU-Pool): Die Latenz sank von 708 ms auf 66 ms, das entspricht dem 10,7-Fachen.
• Dokumenten-OCR mit jina-ocr-v1 (gleicher Satz echter Dokumentseiten): Die Zeit bis zum ersten Ausgabe-Token sank von 0,50 s auf 0,20 s (2,5-fach), und die Seitenumwandlung stieg von 454 Seiten/h auf 1.671 Seiten/h, also auf das 3,7-Fache.

Was das für Kunden bedeutet

Elastic erklärt, dass auf der RTX Pro 6000 kleine Anfragen schnell blieben, während daneben große Aufträge liefen. Für Kunden heiße das, dass eine Suchanfrage nicht langsamer werde, weil auf demselben Dienst gerade ein großer Auftrag läuft. Da die Migration noch andauert, gelten die Gewinne für bereits umgezogene Modelle, und Elastic erwartet, dass mit weiteren gehosteten Modellen mehr Kunden profitieren. Das Unternehmen weist zudem darauf hin, dass Veröffentlichung und Zeitpunkt der beschriebenen Funktionen in seinem alleinigen Ermessen liegen.