Alibaba Clouds Higress-Team stellt HiRoute als Open Source vor und leitet Agentenaufgaben je nach Modell weiter

Was HiRoute leistet

HiRoute wird als lokale Engine für intelligentes Agenten-Routing und Zusammenarbeit beschrieben. Die Idee: Nutzer behalten den Agenten, den sie bereits kennen, überlassen Routineschritte günstigen Economy-Modellen und ziehen ein Primärmodell nur für anspruchsvolle Phasen hinzu. Eignet sich eine Aufgabe für einen separaten Worker, kann sie an einen anderen Agenten delegiert werden.

Alibaba Cloud sieht die Ursache des Problems in der Fragmentierung. Modelle unterscheiden sich in ihren Stärken, Agenten in ihrem Workflow (der Beitrag nennt Codex und Claude Code als beliebte Werkzeuge), und die Rechenleistung verteilt sich auf Abonnements, API-Schlüssel verschiedener Anbieter und lokale Dienste. Eine lange Aufgabe kann mit Recherche beginnen, über Entwurf und Umsetzung weiterlaufen und mit Validierung und schwierigen Korrekturen enden. Ein einzelnes Modell ist daher selten für jeden Schritt die beste Wahl.

Das Team hatte die Open-Source-Pläne in einer Keynote auf der AGNTCon + MCPCon China vorgestellt und das Projekt auf der Apsara Conference offiziell veröffentlicht. Laut dem Beitrag laufen Konfiguration, Routing und Beobachtung lokal, während die angebundenen Modelldienste die Inferenz übernehmen.

Zwei Ebenen: Task-Routing und Modell-Routing

Der Beitrag unterscheidet zwei Ebenen, die sich unabhängig voneinander oder gemeinsam aktivieren lassen. In seinen Worten: „Task-Routing beantwortet die Frage, wer das tun soll. Modell-Routing beantwortet die Frage, welche Fähigkeiten diese Phase braucht.“

Beim Modell-Routing können Nutzer Abonnements mit günstigeren APIs kombinieren. Steht ein unterstütztes Abonnement wie Codex zur Verfügung, kann HiRoute es über CLIProxyAPI (CPA) anbinden und beide Quellen in einem Routing-Plan zusammenführen. Im gezeigten Beispiel liegt Qwen 3.8 Flash in der Economy-Gruppe und ein stärkeres Modell in der Primärgruppe.

HiRoute unterstützt außerdem Entscheidungsmodelle, die Kategorie und Schwierigkeit der aktuellen Aufgabe beurteilen und die vorherige Ausführungsphase bewerten können. Nutzer können dafür ein Modell von Bailian (Alibaba Cloud Model Studio) oder TypeSafes Jev über OpenRouter anbinden, ohne einen eigenen Entscheidungsdienst zu betreiben. HiRoute wendet dann die Schwellenwerte, Modellgruppen und Kandidatenreihenfolge der Nutzer an. Einfache Aufgaben gehen an die Economy-Gruppe, komplexe Aufgaben oder Arbeiten im Anschluss an eine Phase unterhalb des Nutzerstandards an die Primärgruppe. Kriterien und Bewertungsprompts lassen sich bearbeiten, und der Ansatz ist nicht auf Programmierung beschränkt: Der Beitrag beschreibt getrennte Schreib- und Prüfzweige für einen Artikel, jeweils mit regulären und primären Modellen.

Cache-Kontinuität und Failover

Agenten arbeiten sich durch wiederholte Tool-Aufrufe, und der Kontext wächst stetig. Der Beitrag weist darauf hin, dass hohe KV-Cache-Trefferquoten Eingabekosten und Antwortlatenz senken. Die Funktion zur Kontextkontinuität, umgesetzt durch ContextHold, erkennt Aufrufe, deren Verlauf innerhalb desselben Nutzerzugs fortgesetzt wird, behält die frühere Routing-Entscheidung bei und bevorzugt das aktuell geeignete Modell, damit der Cache weiter genutzt werden kann.

Bricht eine Kontextverdichtung oder ein Neuaufbau des Verlaufs das alte Präfix, bewertet HiRoute das Modell an dieser Stelle neu und setzt entlang des neuen Präfixes fort. Eine neue Nutzeranfrage löst eine frische Entscheidung aus.

Weitere im Beitrag beschriebene Funktionen:

• Ist ein Kandidat ratenlimitiert oder nicht verfügbar, versucht HiRoute innerhalb der Grenzen des Plans den nächsten geeigneten Kandidaten und bricht ausdrücklich ab, wenn keine Kandidaten mehr übrig sind.
• Die Ansichten „Sessions“ und „Model performance“ zeigen, welches Modell welche Phase ausgeführt hat, warum es gewählt wurde, wie viel es verbraucht hat und ob die Phase bewertet wurde.
• Nutzer können beim Erstellen des nächsten Routing-Plans auf ihre eigenen Ausführungsprotokolle zurückgreifen, nicht nur auf allgemeine Benchmarks.

Ein Kostentest und was er bedeutet

Alibaba Cloud präsentiert einen ersten Fall unter der Überschrift „über 90 Prozent geringere Kosten“. Die Aufgabe war eine strukturierte technische Recherche: sechs Messaging-Systeme untersuchen, für jedes 60 Quellenprüfkarten erstellen und ein Entscheidungsmemo zu Kafka und SQL-Konsistenz liefern. Nach Angaben des Unternehmens stützte ein großes Recherchevolumen einige wenige kritische Entscheidungen. Die Aufgabe lief in drei Modi, darunter ausschließlich GPT-6 Astra und das gemischte Routing von HiRoute. Der hier vorliegende Quelltext endet vor dem vollständigen Vergleich, weshalb detaillierte Ergebnisse nicht behandelt werden.

Für Entwickler und Teams, die eigene Agenten bauen, bietet die Veröffentlichung einen offenen, lokal betriebenen Weg, bereits genutzte Abonnements, APIs und Agenten zu kombinieren. Da der Code offen ist, so der Beitrag, können Entwickler das Routing-Verhalten prüfen, eigene Workflows anbinden und das System anhand realer Aufgaben verbessern. Die Kostenangaben stammen aus einem eigenen Test von Alibaba Cloud und wurden nicht unabhängig überprüft.