Arm zeigt den Software-Stack für Agentic AI auf der neuen AGI CPU

Warum die Software rund um das Modell zählt

Laut Arm rückte generative KI die Modelle ins Zentrum der Infrastrukturdebatte, doch Agentic AI verschiebe dieses Gewicht. Wenn Agenten Daten abrufen, Tools aufrufen, Code ausführen und mehrstufige Workflows koordinieren, werde die umgebende Software genauso wichtig wie die Inferenz selbst.

Arm erklärt, die Arm AGI CPU für genau diese Anforderungen entwickelt zu haben. Das Unternehmen beschreibt den Chip als neue Klasse von Prozessoren auf Basis von Arm Neoverse, ausgelegt für hochgradig parallele agentische Workloads wie Orchestrierung, Tool-Ausführung, Datenabruf und Anwendungsdienste. Auf dem OCP Global Summit stellte Arm mit Unterstützung von Fujitsu, Meta und OpenAI eine neue Methodik zur CPU-Bewertung vor. Laut Arm zeigen unabhängig verifizierte Ergebnisse, dass der Chip bis zu doppelt so viel Leistung pro Rack liefert wie ein führender x86-Serverprozessor.

Das Unternehmen argumentiert, CPU-Innovation allein genüge nicht. Es verweist auf ein ausgereiftes Arm64-Software-Ökosystem mit breiter nativer Unterstützung für Cloud-native und KI-Software sowie auf Neoverse-basierte CPUs, die bereits in großem Umfang auf führenden Cloud-Plattformen laufen.

Der Stack und die unterschiedlichen Anforderungen von Agenten

Arm beschreibt den Software-Stack für Agentic AI als Bereiche von Agenten-Frameworks und Orchestrierung über Tool-Ausführung, Speicher und Retrieval und Model Serving bis zur Cloud-nativen Infrastruktur. Zu den im Beitrag genannten Technologien gehören LangGraph, LangChain, Firecracker, Redis, Elasticsearch und vLLM. Entwickler können Verfügbarkeit und unterstützte Versionen der Software über das Arm Software Ecosystem Dashboard prüfen, das eine eigene Kategorie für Agentic AI enthält.

Der Beitrag betont, dass sich Agenten in ihren Anforderungen an die Infrastruktur unterscheiden:

• Coding-Agenten führen Code aus, kompilieren Software und lassen Tests laufen, was CPU-Leistung und Sandboxing stärker beansprucht.
• Agenten für Unternehmens-Workflows hängen von API-Interaktionen, Datenbanktransaktionen und Orchestrierung ab.
• Recherche-Agenten setzen auf Suche, Retrieval und Speicherverwaltung.
• Persönliche Assistenten legen den Schwerpunkt auf interaktive Reaktionsfähigkeit.
• Robotik-Anwendungen stellen zusätzliche Anforderungen an Simulation und latenzkritische Koordination.

Arm folgert, dass Infrastruktur über den gesamten Workflow bewertet werden sollte und nicht allein anhand der Inferenzleistung eines Modells.

Leistungswerte und die Kundenservice-Demo

Arm nennt mehrere Ergebnisse für einzelne Teile des Stacks. Laut dem Beitrag zeigten unabhängige Tests der Arm AGI CPU durch Signal65 eine um bis zu 45 % geringere Latenz beim Erstellen von Sandboxes im Vergleich zum AMD EPYC 9965. Bei der Vektorsuche zeigten Benchmarks mit Redis 8.10.1, dass AWS Graviton5 pro Dollar 16 bis 27 % mehr Kontextabrufe liefert als x86. Der Vorteil lag bei 16 % für einen Datensatz mit 570.000 Dokumenten unter normaler Last und bei 27 % für einen Datensatz mit 3,3 Millionen Dokumenten unter hoher Last.

Arm verweist zudem auf aktuelle Elasticsearch-Benchmarks auf Arm-basierter Infrastruktur und auf seine vLLM-Entwicklerressourcen, die Bereitstellung, quantisierte Inferenz und Performance-Tuning abdecken. OpenInfer arbeitet mit Arm daran, seine Plattform Loom zu demonstrieren, die KI-Modelle auf mehreren Arm-basierten CPUs ausführt.

Um das Zusammenspiel der Bausteine zu zeigen, hat Arm mit LangGraph und LangChain eine Multi-Agenten-Anwendung für den Kundenservice auf der CPU gebaut. Ein auf der CPU gehostetes kleines Sprachmodell klassifiziert eingehende Anfragen und leitet sie an Agenten für Terminplanung, Beschwerden, Produktanfragen und Erstattungen weiter. Diese Agenten kombinieren CPU-basierte Inferenz, Abruf von Unternehmensdaten, externe Modell-APIs und Tool-Ausführung. Zu den Aufgaben zählen das Planen von Meetings, das Erstellen personalisierter Produktbroschüren und das Anstoßen von Erstattungen über Unternehmenssysteme.

Ressourcen für Entwickler

Arm Learning Paths bieten Tutorials zum Bau von KI-Agenten mit llama.cpp, zur Ausführung KI-generierten Codes in isolierten Firecracker-microVMs, zur Umsetzung von RAG-Anwendungen mit LangChain und FAISS sowie zum Betrieb von vLLM-Model-Serving auf Arm-basierten Plattformen.

Der Beitrag hebt außerdem KI-Agenten-Skills hervor. AWS hat Graviton-Entwickler-Skills eingeführt, während Arm Arm Performix, Arm Performix CI und Arm Migrate Ease über OpenAnolis SkillHub beisteuert. Arm zufolge bringen diese plattformspezifisches Wissen und Optimierungshinweise in KI-gestützte Entwicklungsabläufe.

Was das für Entwickler bedeutet

Für Teams, die agentische Anwendungen entwickeln, positioniert der Beitrag Arm64 als Plattform, auf der vertraute Open-Source-Werkzeuge bereits laufen, mit dem Software Ecosystem Dashboard als Ausgangspunkt. Arm rät Entwicklern außerdem, vor dem Tuning des Stacks zu ermitteln, wo ein Agent seine Ausführungszeit verbringt, etwa in Sandboxes, Datenbanken und APIs oder bei Retrieval und Caching. Softwareanbieter, die an Agenten-Frameworks, Tool-Ausführung, Ddateninfrastruktur oder Model Serving arbeiten, sind eingeladen, sich an das Software-Ökosystem-Team von Arm zu wenden. Die Leistungswerte stammen von Arm und den genannten Testern und gelten daher für die im Beitrag beschriebenen Konfigurationen.