Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Together AI sagt, einfachere Kernel können seine Megakernels schlagen

16. November 2026Von der KI Nachrichten RedaktionQuelle: Together AI
Together AI sagt, einfachere Kernel können seine Megakernels schlagen
Bild: Together AI

Together AI hat nach eigenen Angaben seine schwer bereitzustellenden KI-Megakernels durch einen anpassungsfähigeren Ansatz auf Basis von CUDA Graphs, PDL, Torch-Inductor-Kernels und automatisierter Optimierung ersetzt. Das Unternehmen erklärt, dieser Ansatz habe 98 % der Megakernel-Leistung wiederhergestellt, ohne einen einzigen Kernel zu schreiben. Multi-Kernels und Agentenschleifen übertrafen die bisherigen Systeme demnach um bis zu 1,7-mal.

Das Wichtigste in Kürze
  • Together AI zufolge stellten CUDA Graphs und PDL 98 % der Megakernel-Leistung wieder her.
  • Multi-Kernels und Agentenschleifen erreichten bei Llama 1B auf H100 mehr als 1100 TPS.
  • Der Ansatz übertraf laut Unternehmen die älteren Megakernels um bis zu 1,7-mal.
  • Inductor legte laut Together AI im dritten Quartal 2026 607 Tuning-Flags offen.
  • Together AI stellte fest, dass isolierte Benchmarks die Leistung bei laufender Inferenz falsch darstellen können.

Von Rekordgeschwindigkeiten zu den Grenzen der Produktion

Die Ankündigung von Together AI erfolgt vor dem Hintergrund zunehmend vielfältiger KI-Inferenz-Workloads. Modellarchitekturen ändern sich häufig, der Datenverkehr verteilt sich auf unterschiedliche Batch-Größen und Sequenzlängen, und die Zahl der Hardwareplattformen wächst weiter. Nach Angaben des Unternehmens müssen Optimierungssysteme mit diesen sich wandelnden Bedingungen umgehen können, statt auf eine einzige feste Konfiguration ausgerichtet zu sein.

Im vergangenen Jahr war Together AI an der Veröffentlichung einiger der ersten KI-Megakernels beteiligt. Diese Systeme führten einen vollständigen Forward-Pass eines Modells in einem einzigen, stark fusionierten GPU-Kernel aus und erreichten Rekordgeschwindigkeiten. Die Bereitstellung im produktiven Betrieb erwies sich jedoch als deutlich schwieriger. Nach monatelanger Arbeit hatte das Unternehmen nach eigenen Angaben ein Modell, eine Batch-Größe und einen Kunden.

Diese Erfahrung veranlasste Together AI, zu hinterfragen, ob der größtmögliche fusionierte Kernel immer das richtige Ziel ist. Das Unternehmen erklärt, CUDA Graphs und PDL hätten in Kombination mit standardmäßigen Torch-Inductor-Kernels 98 % der Megakernel-Leistung wiederhergestellt, ohne einen eigenen Kernel zu benötigen. Zudem hätten Multi-Kernels und Agentenschleifen die älteren Megakernels um bis zu 1,7-mal übertroffen und bei Llama 1B auf H100 mehr als 1100 TPS erreicht.

Warum Together AI über Compiler-Heuristiken hinausblickt

Together Compiler wird als Framework für die kontinuierliche Optimierung von KI-Inferenz vorgestellt. Nach Darstellung des Unternehmens entstand das Projekt aus zwei Jahren Arbeit an GPU-Programmierung und Optimierungssystemen, darunter Untersuchungen zu Torch Compile und den darauf folgenden Megakernels.

Together AI zufolge erfasst Torch Compile, das von Inductor unterstützt wird, PyTorch-Operationen in einem Berechnungsgraphen, optimiert diesen Graphen und erzeugt ausführbare GPU-Kernels. Inductor verwendet paarweise, gierige Fusionsentscheidungen sowie Heuristiken, die Faktoren wie die Einsparungen beim Speicherverkehr schätzen. Das Unternehmen argumentiert, dass diese lokalen Entscheidungen nicht global über alle möglichen Kernel-Aufteilungen und Ausführungsstrategien hinweg suchen.

Experimente mit Llama 1B ergaben laut Together AI, dass Compilereinstellungen je nach Workload sehr unterschiedliche Ergebnisse liefern können. Das Unternehmen erklärt, die Aktivierung von Freezing habe den Durchsatz um 10, 26 % bei größeren Batch-Größen verbessert, aber bei Batch-Größe 1 eine Verlangsamung um 49 % verursacht. Im dritten Quartal 2026 legte Inductor nach Angaben des Unternehmens 607 Tuning-Flags offen, darunter 198, die im Vorjahr hinzugekommen waren. Together AI argumentiert, dass bei diesem Umfang eine systematische Suche sinnvoller ist, als manuell zu erraten, welche Flags aktiviert werden sollten.

Benchmarks können das reale Inferenzverhalten verfehlen

Together AI bezweifelt außerdem, dass isolierte Kernel-Benchmarks die Leistung bei laufender Inferenz zuverlässig vorhersagen. Das Unternehmen erklärt, Inductor leere vor der Messung einzelner Kernels den L2-Cache der GPU, obwohl Kernels in einem realen Forward-Pass möglicherweise Daten wiederverwenden, die von vorherigen Operationen hinterlassen wurden. In seinen Experimenten waren die Zeiten isolierter Benchmarks 39, 58 % langsamer als die Zeiten bei laufender Inferenz, wenn die Cache-Wiederverwendung den Speicherverkehr reduzierte.

Bei Embedding-Benchmarks beschreibt das Unternehmen das umgekehrte Problem. Inductor habe Token-IDs auf null initialisiert, sodass jedes Token auf denselben Embedding-Vektor zugriff. Bei einer Sequenz mit 64K Tokens habe dies den Kernel laut Together AI 2,1-mal schneller gemacht als bei der Verwendung zufälliger Token-IDs, da die wiederholten Zugriffe eine ungewöhnlich hohe Cache-Wiederverwendung erzeugten.

Diese Ergebnisse stützen Together AIs umfassendere Argumentation für ein Optimierungsframework, das Konfigurationen in realistischen Ausführungskontexten testet. Nach Angaben des Unternehmens werden sich die übrigen Teile seines Blogbeitrags mit den Grenzen von Megakernels, den einfacheren Grundbausteinen hinter ihren Leistungsgewinnen und der agentengesteuerten Infrastruktur befassen, mit der Together Compiler entwickelt wird.

Ähnliche Meldungen

Modular baut MAX-Modul für schnellere Entwicklung und Inferenz neu
Für Entwickler19. November 2026

Modular baut MAX-Modul für schnellere Entwicklung und Inferenz neu

Modular hat die Module-API in seinem KI-Framework MAX neu entwickelt und verbindet eine schnellere Eager-Ausführung während der Entwicklung mit kompilierter Inferenz in…

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads
Für Entwickler10. November 2026, 17:59

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads

Meta hat Triton Low-Level Extensions, kurz TLX, vorgestellt. Die Erweiterung für Triton soll die GPU-Leistung bei produktiven Workloads für maschinelles Lernen…

Together AI stellt Compiler zur kontinuierlichen Optimierung von KI-Inferenz vor
Für Entwickler4. November 2026

Together AI stellt Compiler zur kontinuierlichen Optimierung von KI-Inferenz vor

Together AI hat den Together Compiler vorgestellt, ein kontinuierliches Kompilierungssystem zur Optimierung von KI-Inferenz, wenn sich Modelle, Hardware und…