Together AI startet kostenloses Caching für GPU-Cluster

Together AI hat den Together Storage Accelerator gestartet, eine verteilte Caching-Schicht für seine GPU Clusters, die wiederholte Datenzugriffe aus lokalem NVMe-Speicher bedient. Nach Angaben des Unternehmens ist der Dienst ab sofort ohne zusätzliche Kosten verfügbar und kann den Zugriff auf Object Storage sowie Daten aus dem Hugging Face Hub beschleunigen.
- TSA ist ab sofort ohne zusätzliche Kosten auf Together GPU Clusters verfügbar.
- Nach dem ersten Zugriff cached der Dienst Objekte auf dem Cluster-NVMe.
- Together AI ermittelte bei warmen Zugriffen auf ein 2-GiB-Objekt eine etwa 20-fache Beschleunigung.
- Ein Test mit 200 Knoten reduzierte die Abrufe vom Ursprung von 200 auf einen.
- Bestehende Speicher- und Hugging-Face-Workflows können TSA ohne Änderungen an der Anwendung nutzen.
Daten näher an den GPUs cachen
Together Storage Accelerator, kurz TSA, läuft auf jedem GPU-Knoten eines Clusters und stellt Endpunkte für bestehende Speicher-Workflows bereit. Wenn ein Knoten ein Objekt zum ersten Mal abruft, speichert TSA es auf dem Cluster-NVMe. Spätere Zugriffe von jedem Knoten können dann innerhalb des Clusters bedient werden, anstatt das Objekt erneut von einem entfernten Ursprung abzurufen.
Nach Angaben von Together AI behebt dies einen häufigen Engpass bei KI-Workloads. Teams können Quelldaten in Amazon S3, Cloudflare R2 oder dem T4-Objektspeicher von Together AI ablegen oder Modelle aus dem Hugging Face Hub herunterladen. Transfers über Cloud- und Regionsgrenzen hinweg können zusätzliche Latenz, Daten-Egress-Kosten und Ratenlimits verursachen, insbesondere wenn viele Knoten denselben Checkpoint anfordern.
Tests zeigen schnellere Zugriffe auf bereits geladene Daten
Bei Messungen vom 28. Oktober 2026 auf einem H100-Knoten in einem Together GPU Cluster in us-central wurde ein 2-GiB-Objekt aus einem Cloudflare-R2-Bucket ohne TSA mit 143 bis 169 MB/s gelesen, was 12,7 bis 15,0 Sekunden dauerte. Ein warmer TSA-Zugriff erreichte 3,0 bis 3,4 GB/s und dauerte 0,64 bis 0,72 Sekunden. Together AI zufolge war er damit etwa 20-mal schneller.
Bei kleinen Dateien aus demselben Bucket senkte TSA die Latenz eines warmen Lesezugriffs bei einer 5-KB-Datei von 320 Millisekunden auf 5 Millisekunden und bei einer 2,4-MB-Datei von 680 Millisekunden auf 8 Millisekunden. In einem Test mit 200 Knoten, die denselben Checkpoint abriefen, reduzierte TSA die Abrufe vom Ursprung von 200 auf einen.
Nach Angaben des Unternehmens lag der erste Lesezugriff über TSA innerhalb von etwa 5 Prozent eines direkten Downloads. Zugleich weist Together AI darauf hin, dass die Ergebnisse vom Ursprung, den Objektgrößen und dem Netzwerkpfad abhängen. Sofern nicht anders angegeben, wurden die Messungen mit Einzelstream-Zugriffen durchgeführt und anhand eines direkten Downloads per MD5 überprüft.
Keine Anpassung der Anwendung erforderlich
Nach Angaben von Together AI können Nutzer TSA aktivieren, ohne ihre Anwendungen zu ändern, ein neues SDK hinzuzufügen oder Datenlader neu zu schreiben. Eine einzige Endpunktkonfiguration unterstützt S3-kompatiblen Speicher, darunter S3, R2 und T4. Ein weiterer Endpunkt kann für den Hugging Face Hub verwendet werden. Vorhandener boto3-Code, transformers-Aufrufe und Kommandozeilen-Workflows funktionieren weiterhin unverändert.
Die Zugangsdaten werden vom Nutzer konfiguriert und von TSA über einen verschlüsselten Secrets-Tresor verarbeitet. Die Technologie basiert auf ASTRA, das Together AI als seine Accelerated Storage Transport & Retrieval Architecture beschreibt. Das Unternehmen zufolge unterstützt ASTRA einige der weltweit größten GPU-Flotten, darunter die eigene Inferenzflotte.
TSA ist in jedem Together GPU Cluster kostenlos enthalten. Nutzer können den Dienst über die Cluster-Einstellungsseite aktivieren. Together AI zufolge lässt er sich in weniger als zehn Minuten konfigurieren. TSA funktioniert mit bestehenden S3-kompatiblen Speichern, während T4 eine Option bietet, um häufig verwendete Daten neben den GPUs vorzuhalten. T4 befindet sich weiterhin in der Limited Preview.


