llm-d
CoreWeave wird Gründungsmitglied von Red Hats Open-Source-Projekt llm-d
CoreWeave ist Gründungsmitglied des neuen Open-Source-Projekts llm-d von Red Hat, gemeinsam mit IBM Research, Google und NVIDIA. Laut CoreWeave soll das Projekt vLLM…
Für EntwicklerIBM Research: llm-d 1.0 soll quelloffene KI-Inferenz fit für die Produktion machen
IBM Research hat einen Blogbeitrag mit dem Titel „llm-d 1.0 hardens open-source AI inference for production“ veröffentlicht. Er verweist auf eine Version 1.0 von llm-d…
llm-d 1.0 erscheint mit Produktionsfunktionen für offene KI-Inferenz im großen Maßstab
Das Open-Source-Projekt llm-d hat Version 1.0 veröffentlicht. Der Meilenstein soll Organisationen helfen, die Inferenz großer Sprachmodelle im Produktivbetrieb…
Red Hat AI 3.5: Chat und Batch teilen sich eine GPU ohne Latenzeinbußen
Red Hat AI 3.5 macht prioritätsbasiertes Serving allgemein verfügbar. Chat-, Batch- und agentische Last teilen sich damit einen GPU-Pool, interaktive Anfragen kommen…
llm-d zieht in die CNCF Sandbox ein: Open-Source-Initiative für verteilte KI-Inferenz gewinnt an Fahrt
Das Open-Source-Projekt llm-d, das verteilte Inferenz auf Beschleuniger-Infrastruktur orchestrieren und skalieren soll, wird in die Sandbox der Cloud Native Computing…