CoreWeave unterstützt Anyscale auf CKS jetzt direkt und bietet verwaltetes Ray an

Das bieten CoreWeave und Anyscale

Ray ist ein verteiltes Open-Source-Framework zur Parallelisierung von Python- und KI-Anwendungen. CoreWeave beschreibt es als Python-natives Framework, das unstrukturierte Datenformate und die Orchestrierung über heterogene Cluster unterstützt, also solche mit CPUs und GPUs. Es soll die Komplexität verteilter KI-Workloads wie Training, Fine-Tuning, Inferenz und multimodale Datenverarbeitung verbergen.

Anyscale wurde von den ursprünglichen Entwicklern von Ray entwickelt. Laut Ankündigung bietet die Plattform Entwicklerwerkzeuge, ausfallsichere Cluster, proprietäre Leistungsverbesserungen namens RayTurbo und integrierte Governance-Kontrollen, die alle auf Ray ausgelegt sind.

Wenn Kunden vollständig verwaltete Ray-Cluster in ihrem eigenen Konto betreiben, behalten sie nach Angaben von CoreWeave die volle Kontrolle über ihre Daten in CoreWeave AI Object Storage und können zugleich auf eine breite Auswahl an beschleunigten Rechenoptionen zugreifen. Das Unternehmen verweist zudem auf die Integration von Weights & Biases mit Anyscale über Ray, die skalierbares Experiment-Tracking und Artefaktmanagement ermöglichen soll.

Angaben zu Zuverlässigkeit und Observability

CoreWeave nennt mehrere Vorteile beim Betrieb von Anyscale-Workloads auf seinen Clustern:

• Cluster-Validierung: Eine Validierungssuite prüft GPUs, CPUs, Arbeitsspeicher, Speicher und Netzwerk und kontrolliert die Funktionsfähigkeit, damit der Cluster bei der Übergabe bereit für großskalige, produktionsreife Workloads ist.
• Proaktive Zustandsprüfung: Automatisierte Checks überwachen Ray-Knoten und beheben die Ursache auffälligen Verhaltens, bevor es die Workloads beeinträchtigt.
• Observability: Die Metriken reichen von GPU-Temperaturen bis zum Ein- und Ausgangsverkehr in Echtzeit. Dashboards decken ganze Flotten ab und helfen Kunden, unteroptimierte Workloads zu erkennen und Jobunterbrechungen auf zugrunde liegende Probleme zurückzuführen.
• Leistung: Laut CoreWeave ermöglicht die Kombination bis zu 96 % Goodput.

Anyscale wird außerdem als vollständig verwaltete Plattform mit Zugriffskontrolle, Single Sign-on mit SAML und Quotenverwaltung beschrieben, was CoreWeave als entscheidend bezeichnet, um Ray über einige wenige Cluster hinaus zu skalieren.

Warum nicht selbst verwaltetes Ray auf CKS

CoreWeave merkt an, dass Ray und KubeRay, der quelloffene Kubernetes-Operator, Teams beim Einstieg mit einem ersten Ray-Workload helfen können, bezeichnet sie aber lediglich als Ausgangsbasis. Um eine produktionsreife Plattform zu erreichen, müssten Teams laut Ankündigung weiterhin Entwicklerwerkzeuge, Observability, Kostenkontrollen, Job-Warteschlangen und Benutzerverwaltung selbst aufbauen.

Anyscale wird als Abkürzung positioniert. Genannt werden folgende Komponenten:

• Anyscale Workspaces: eine interaktive Entwicklerkonsole mit Workload-Observability, mit der Entwickler Infrastruktur ohne Kubernetes-Kenntnisse selbst bereitstellen können.
• Fully Managed Ray Clusters: Entleerung und Austausch fehlerhafter Knoten, schnelle Autoskalierung und Monitoring mit verwalteten Prometheus- und Grafana-Dashboards.
• RayTurbo: Optimierungen, die in der Open-Source-Distribution nicht verfügbar sind, darunter eine fünfmal schnellere Datenvorverarbeitung mit RayTurbo Data sowie die Bibliotheken RayTurbo Train und RayTurbo Serve.
• Budget- und Kosten-Dashboards: Budgets auf Organisations- oder Projektebene, mit Warnungen bei Überschreitung der Limits.
• SLA-gestützter Support: garantierte Reaktionszeiten von Ray-Experten mit kostenpflichtigen Support-Plänen.

Als Beispiel nennt CoreWeave Reinforcement Learning mit der RayTurbo-Distribution von RLlib. Entwickler können demnach mit Python-Syntax und einer notebookähnlichen IDE Jobs ausführen, die auf bis zu 64 GPUs und Tausende Simulationen skalieren, auch auf RL-Frameworks, die in der Open-Source-Distribution nicht nativ unterstützt werden, etwa BC-IRL und APPO mit proprietären Scale-out-Erweiterungen.

Was das für Kunden bedeutet

Für CoreWeave-Kunden, die bereits KI-Workloads auf CKS betreiben, bedeutet die Ankündigung eine verwaltete Ray-Option, die im eigenen Konto läuft und die Daten in CoreWeave AI Object Storage belässt. Teams, die sonst Werkzeuge rund um Open-Source-Ray und KubeRay zusammenstellen müssten, können stattdessen die verwalteten Komponenten von Anyscale nutzen.

Für den Einstieg, ob für eine multimodale Datenpipeline, Modelltraining oder Inferenz in großem Maßstab, sollten Kunden ihren CoreWeave-Account-Manager kontaktieren oder an [email protected] schreiben, um eine Demo oder ein Proof-of-Concept zu vereinbaren. Preise nennt die Quelle nicht.