Alibaba Cloud stellt KI-Speicherportfolio vor: von der KV-Cache-Ebene bis zu CPFS mit 100 PiB

Warum Alibaba Cloud KI-Speicher nach Workload aufteilt

Alibaba Cloud argumentiert, KI-Workloads seien nicht generisch. In seinem Leitfaden für Solution Architects schreibt das Unternehmen, dass das Training eines Modells mit einer Billion Parametern, Inferenz mit langem Kontext, der Aufbau einer RAG-Pipeline und der Betrieb Tausender Agenten jeweils unterschiedliche Anforderungen an Durchsatz, Latenz, Parallelität und Datenstruktur stellen. Generischer Cloud-Speicher erzwinge auf jeder Ebene Kompromisse.

Das angekündigte Portfolio soll diese Kompromisse beseitigen, indem der Speicher für jede Phase spezialisiert wird. Der Quelltext nennt fünf Produkte: KVCacheStore, OSS Tables, CPFS, AgenticFS und erweitertes EBS. Dieser Artikel behandelt die vier Produkte, die der vorliegende Text ausführlich beschreibt.

KVCacheStore: eine neue Ebene für die Inferenz

KVCacheStore beschreibt Alibaba Cloud als dedizierte Speicherebene für das Auslagern des KV-Cache bei der LLM-Inferenz. Sie liegt zwischen dem GPU-Speicher und dem entfernten gemeinsamen Speicher; das Unternehmen bezeichnet sie als das erste Public-Cloud-Produkt für KV-Cache-Speicher der Stufe G3.5.

Laut Alibaba Cloud blieben bisher, wenn der KV-Cache den GPU-Speicher überstieg, nur die Neuberechnung von Tokens, die rechenintensiv ist, oder entfernter gemeinsamer Speicher, der für Echtzeit-Inferenz zu langsam ist. Das Unternehmen nennt folgende Zahlen:

• Unterstützung für KV-Cache-Einträge im Bereich von Hunderten Milliarden
• 900 Prozent größeres Abdeckungsfenster des Caches
• 54 Prozent geringere Latenz bis zum ersten Token bei Cache-Misses
• 50 Prozent niedrigere Kosten pro Token und eine effektive Cache-Trefferquote von 99 Prozent in Kombination mit der Orchestrierung durch Tair KVCM

Das Unternehmen empfiehlt Tair KVCM als Orchestrierungsebene mit KVCacheStore als G3.5-Backend, insbesondere für Kontextfenster über 128K Tokens, mehrstufige Agentensitzungen und Echtzeit-Betrieb mit hoher Parallelität.

OSS Tables: Objekte, Vektoren und Tabellen in einem Bucket

OSS unterstützte bislang nur Objektspeicher. OSS Tables ergänzt im selben Bucket native Vektorindizierung und Ähnlichkeitssuche sowie strukturierten Tabellenspeicher mit hochdurchsatzfähigen Punktabfragen. Der Zugriff auf alle drei Modalitäten erfolgt über eine einheitliche API, mit einem gemeinsamen Namespace und einer einzigen Abrechnungsposition.

Alibaba Cloud zufolge vereinfacht das die übliche RAG-Pipeline, die in der Regel Objektspeicher für Dokumente, eine separate Vektordatenbank für Embeddings und einen Tabellenspeicher für Metadaten benötigt, verbunden durch ETL-Pipelines. Mit OSS Tables, so das Unternehmen, entfallen die Bereitstellung einer Vektordatenbank, die Pflege von ETL und die doppelte Datenhaltung. Weil die Embeddings neben den Dokumenten liegen, aus denen sie stammen, gebe es zudem keine Synchronisationsverzögerung.

Das Unternehmen räumt aber ein: Für anspruchsvolle Workloads, die komplexe hybride Suche oder feingranulare Kontrolle über Indizes erfordern, könne eine dedizierte Vektordatenbank weiterhin sinnvoll sein; Teams sollten das im Einzelfall prüfen.

CPFS: paralleler Speicher für Trainingscluster

Das CPFS (Cloud Parallel File System) der neuen Generation richtet sich laut Alibaba Cloud an große KI-Trainingscluster mit Hunderten bis Millionen von GPUs. Es basiert auf einem durchgängig selbst entwickelten Technologie-Stack. Zu den angekündigten Zahlen gehören:

• Gesamtdurchsatz im Bereich von 100 TB/s pro Dateisystem
• Hunderte Millionen IOPS
• 100 PiB Kapazität pro Dateisystem, eine Verfünffachung
• 50 Prozent kürzere Modellstartzeit
• 30 Prozent höhere Spitzenauslastung der Rechenleistung
• 69 Prozent niedrigere KI-Speicherkosten

Alibaba Cloud zufolge ermöglicht die Größenordnung von 100 PiB, dass die meisten Trainingscluster mit einem einzigen Namespace auskommen. CPFS könne damit als einzige Hot-Data-Ebene für Checkpoints, das Staging von Trainingsdaten und Zwischenergebnisse dienen. Das mehrstufige Staging-Muster sei aus Sicht des Unternehmens nicht mehr nötig.

AgenticFS und was es für Architekten bedeutet

AgenticFS ist ein Dateispeicherdienst in der NAS-Produktfamilie, konzipiert für Agent-Sandbox-Umgebungen, die auf dem Container Compute Service (ACS) und Function Compute (FC) laufen. Alibaba Cloud nennt es ein brandneues Produkt und den ersten Dateispeicher, der speziell für Workloads in Agenten-Sandboxes gebaut wurde. Der für diesen Artikel verfügbare Quelltext endet vor den weiteren Details zu AgenticFS und zum erweiterten EBS.

Für Architekten lautet das Versprechen Konsolidierung und Spezialisierung: eine dedizierte Cache-Ebene für die Inferenz, ein Bucket für RAG-Daten und ein großes Dateisystem für das Training. Sämtliche Leistungs- und Kostenangaben stammen von Alibaba Cloud selbst; die Quelle enthält weder unabhängige Tests noch Angaben zu Preisen und Verfügbarkeit.