CoreWeave startet GPT-J-Inferenzdienst mit Ein-Klick-Bereitstellung und Scale-to-zero
CoreWeave stellt EleutherAI’s GPT-J über einen Inferenzdienst mit Ein-Klick-Bereitstellung bereit und kombiniert das Open-Source-Modell mit Zugang zu seiner GPU-Infrastruktur. Das Unternehmen richtet sich an Organisationen, die GPT-J mit schnellerer Skalierung und geringerem Infrastrukturaufwand einsetzen möchten.
- CoreWeave bietet die Bereitstellung von GPT-J-Inferenzen per Klick.
- GPT-J verfügt über 6B Parameter und wurde mit The Pile trainiert.
- Der Dienst unterstützt Scale-to-zero und verbraucht bei reduzierter Auslastung keine Ressourcen.
- AI Dungeon meldete 75% niedrigere Kosten und 50% geringere Latenz.
- NovelAI meldete 3x schnellere Anfragen und 75% niedrigere Cloud-Kosten.
Ein kleineres Modell für die praktische Bereitstellung
GPT-J wurde von EleutherAI mit The Pile trainiert, das CoreWeave als Sprachmodell-Datensatz mit 825 GiB beschreibt. Nach Angaben des Unternehmens ist GPT-J mit 6B Parametern eines der größten verfügbaren Open-Source-Modelle für die Verarbeitung natürlicher Sprache.
CoreWeave zufolge kann das Modell mit GPT-3 und dessen 175B Parametern konkurrieren und mitunter qualitativ bessere Ergebnisse liefern. Aufgrund seiner geringeren Größe benötigt GPT-J laut dem Unternehmen weniger Speicher und Rechenleistung, um es in großem Maßstab bereitzustellen.
EleutherAI erklärte, das Ziel sei gewesen, „das weltweit größte Open-Source-Sprachmodell“ zu entwickeln, und bezeichnete vielfältige Daten als wichtig für die Verbesserung der Qualität großer Modelle. Die Organisation erklärte, GPT-J-6B „erweist sich angesichts seiner Größe und Qualität als unglaublich leistungsfähig“.
Bereitstellung per Klick und reaktionsschnelle Skalierung
Der GPT-J Inference Service von CoreWeave ist über CoreWeave Apps verfügbar. Kunden können dort mit einem Klick einen API-Inferenzdienst bereitstellen. Laut CoreWeave entfällt dadurch der Infrastrukturaufwand, während Kunden auf das gesamte GPU-Angebot des Unternehmens, einschließlich NVIDIA A5000s, zugreifen können.
Der Dienst nutzt die Kubernetes-native Infrastruktur von CoreWeave und unterstützt Scale-to-zero. Wird die Auslastung reduziert, verbraucht der Dienst laut CoreWeave keine Ressourcen und verursacht keine Abrechnung. Das Unternehmen erklärt, sein Autoscaling reagiere schnell. GPT-J lasse sich effizienter bereitstellen, weil aus einer breiten Palette von GPUs ausgewählt werden könne.
CoreWeave erklärt außerdem, dass seine Flotte rund 50,000 GPUs umfasst. Kunden können containerisierte Workloads über Kubernetes bereitstellen. CoreWeave-Ingenieure unterstützen sie bei DevOps, der Optimierung von Workloads sowie bei der Auswahl von GPUs für das Training und die Bereitstellung von Modellen.
Erste Ergebnisse bei Kunden und Unterstützung für Open-Source-NLP
Nick Walton, CEO von AI Dungeon, erklärte, das Unternehmen habe zuvor mit GPT-3 Probleme bei Planung, Kosten und Latenz gehabt. Nach der Verlagerung seiner Recheninfrastruktur zu CoreWeave senkte AI Dungeon die Kosten um 75% und reduzierte die Latenz um 50%, so CoreWeave. Das Unternehmen erwartet weitere Leistungsgewinne, sobald es den Produktionsverkehr auf GPT-J bei CoreWeave umstellt.
AI Dungeon entschied sich nach einem Benchmarking der verfügbaren Rechenleistung von CoreWeave für die A5000. Nach Angaben des Unternehmens bot sie für seine Workloads das beste Verhältnis von Leistung und Kosten. NovelAI stellt ebenfalls sein auf GPT-J basierendes Erzählmodell Sigurd bereit, das mit Romanen und Kurzgeschichten feinabgestimmt wurde. NovelAI-CEO Eren Doğan erklärte, Anfragen seien nach dem Wechsel zu CoreWeave 3x schneller verarbeitet worden, während die Cloud-Kosten um 75% sanken.
CoreWeave erklärt, gemeinsam mit EleutherAI an Open-Source-NLP zu arbeiten. Dafür kommt ein verteilter Trainingscluster mit DGX A100 und vollständiger InfiniBand-Konnektivität zwischen den Knoten zum Einsatz. Für Nutzer und Entwickler bietet die Ankündigung einen verwalteten Weg zur Bereitstellung von GPT-J. Die vom Unternehmen genannten Kosten- und Skalierungsvorteile sollen den Betrieb von NLP-Workloads in der Produktion erleichtern.
CoreWeave: CoreWeave Powers a World of Possibility with GPT-J


