Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Together AI startet kostenloses Caching für GPU-Cluster

19. November 2026Von der KI Nachrichten RedaktionQuelle: Together AI
Together AI startet kostenloses Caching für GPU-Cluster
Bild: Together AI

Together AI hat den Together Storage Accelerator gestartet, eine verteilte Caching-Schicht für seine GPU Clusters, die wiederholte Datenzugriffe aus lokalem NVMe-Speicher bedient. Nach Angaben des Unternehmens ist der Dienst ab sofort ohne zusätzliche Kosten verfügbar und kann den Zugriff auf Object Storage sowie Daten aus dem Hugging Face Hub beschleunigen.

Das Wichtigste in Kürze
  • TSA ist ab sofort ohne zusätzliche Kosten auf Together GPU Clusters verfügbar.
  • Nach dem ersten Zugriff cached der Dienst Objekte auf dem Cluster-NVMe.
  • Together AI ermittelte bei warmen Zugriffen auf ein 2-GiB-Objekt eine etwa 20-fache Beschleunigung.
  • Ein Test mit 200 Knoten reduzierte die Abrufe vom Ursprung von 200 auf einen.
  • Bestehende Speicher- und Hugging-Face-Workflows können TSA ohne Änderungen an der Anwendung nutzen.

Daten näher an den GPUs cachen

Together Storage Accelerator, kurz TSA, läuft auf jedem GPU-Knoten eines Clusters und stellt Endpunkte für bestehende Speicher-Workflows bereit. Wenn ein Knoten ein Objekt zum ersten Mal abruft, speichert TSA es auf dem Cluster-NVMe. Spätere Zugriffe von jedem Knoten können dann innerhalb des Clusters bedient werden, anstatt das Objekt erneut von einem entfernten Ursprung abzurufen.

Nach Angaben von Together AI behebt dies einen häufigen Engpass bei KI-Workloads. Teams können Quelldaten in Amazon S3, Cloudflare R2 oder dem T4-Objektspeicher von Together AI ablegen oder Modelle aus dem Hugging Face Hub herunterladen. Transfers über Cloud- und Regionsgrenzen hinweg können zusätzliche Latenz, Daten-Egress-Kosten und Ratenlimits verursachen, insbesondere wenn viele Knoten denselben Checkpoint anfordern.

Tests zeigen schnellere Zugriffe auf bereits geladene Daten

Bei Messungen vom 28. Oktober 2026 auf einem H100-Knoten in einem Together GPU Cluster in us-central wurde ein 2-GiB-Objekt aus einem Cloudflare-R2-Bucket ohne TSA mit 143 bis 169 MB/s gelesen, was 12,7 bis 15,0 Sekunden dauerte. Ein warmer TSA-Zugriff erreichte 3,0 bis 3,4 GB/s und dauerte 0,64 bis 0,72 Sekunden. Together AI zufolge war er damit etwa 20-mal schneller.

Bei kleinen Dateien aus demselben Bucket senkte TSA die Latenz eines warmen Lesezugriffs bei einer 5-KB-Datei von 320 Millisekunden auf 5 Millisekunden und bei einer 2,4-MB-Datei von 680 Millisekunden auf 8 Millisekunden. In einem Test mit 200 Knoten, die denselben Checkpoint abriefen, reduzierte TSA die Abrufe vom Ursprung von 200 auf einen.

Nach Angaben des Unternehmens lag der erste Lesezugriff über TSA innerhalb von etwa 5 Prozent eines direkten Downloads. Zugleich weist Together AI darauf hin, dass die Ergebnisse vom Ursprung, den Objektgrößen und dem Netzwerkpfad abhängen. Sofern nicht anders angegeben, wurden die Messungen mit Einzelstream-Zugriffen durchgeführt und anhand eines direkten Downloads per MD5 überprüft.

Keine Anpassung der Anwendung erforderlich

Nach Angaben von Together AI können Nutzer TSA aktivieren, ohne ihre Anwendungen zu ändern, ein neues SDK hinzuzufügen oder Datenlader neu zu schreiben. Eine einzige Endpunktkonfiguration unterstützt S3-kompatiblen Speicher, darunter S3, R2 und T4. Ein weiterer Endpunkt kann für den Hugging Face Hub verwendet werden. Vorhandener boto3-Code, transformers-Aufrufe und Kommandozeilen-Workflows funktionieren weiterhin unverändert.

Die Zugangsdaten werden vom Nutzer konfiguriert und von TSA über einen verschlüsselten Secrets-Tresor verarbeitet. Die Technologie basiert auf ASTRA, das Together AI als seine Accelerated Storage Transport & Retrieval Architecture beschreibt. Das Unternehmen zufolge unterstützt ASTRA einige der weltweit größten GPU-Flotten, darunter die eigene Inferenzflotte.

TSA ist in jedem Together GPU Cluster kostenlos enthalten. Nutzer können den Dienst über die Cluster-Einstellungsseite aktivieren. Together AI zufolge lässt er sich in weniger als zehn Minuten konfigurieren. TSA funktioniert mit bestehenden S3-kompatiblen Speichern, während T4 eine Option bietet, um häufig verwendete Daten neben den GPUs vorzuhalten. T4 befindet sich weiterhin in der Limited Preview.

Ähnliche Meldungen

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Produkte und Tools19. November 2026, 22:28

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI.…

NVIDIA und Microsoft erweitern KI-Infrastruktur von Azure auf Windows-PCsTop-Meldung
Chips und Infrastruktur19. November 2026, 21:00

NVIDIA und Microsoft erweitern KI-Infrastruktur von Azure auf Windows-PCs

NVIDIA und Microsoft bauen ihre Partnerschaft im Bereich beschleunigtes Rechnen über Azure, Industriesysteme und Windows-PCs hinweg aus. Hinzu kommen der Zugang zur…

LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor
Für Entwickler16. November 2026, 18:17

LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor

LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt. Der Ansatz soll ein Dataset auf mehrere Speicherorte verteilen, ohne die Portabilität relativer Pfade aufzugeben.…