Aleph Alpha: Kolibri schlägt größere Konkurrenten bei agentischen RAG-Aufgaben

Ein Modell auf Daten spezialisieren, die es nie sieht

Kolibri wurde vergangene Woche als Open-Weight-LLM veröffentlicht, das für das ausgelegt ist, was Aleph Alpha als geschäftskritische souveräne Anwendungen bezeichnet. In einem Forschungsbeitrag von Duncan Blythe erläutert das Unternehmen, wie es das Modell auf Retrieval Augmented Generation (RAG) spezialisiert hat, einen zentralen Anwendungsfall seiner Kunden.

Aleph Alpha definiert souveräne Anwendungsfälle als solche, in denen die Kontrolle über das Hosting des Modells, über Werte und Alignment des Modells, über die Verteilung der Trainingsdaten und über die Compliance eine zentrale Rolle spielt. Der Kunde muss die Kontrolle über seine eigenen Daten und sein geistiges Eigentum behalten. Nach Angaben des Unternehmens erfüllen alle seine Kundenanwendungen diese Kriterien; sie stammen in der Regel aus dem öffentlichen Sektor und aus regulierten Branchen wie der Automobil- und der Technologiebranche.

Aus der Analyse des Kundenportfolios leitete Aleph Alpha mehrere Anforderungen ab: Modelle, die Englisch und Deutsch verstehen und darin antworten, starke Leistung über ein breites Spektrum an Fähigkeiten, starke kontextbezogene Leistung bei RAG-Aufgaben über Daten außerhalb der Trainingsverteilung sowie Sicherheit im Umgang mit hochtechnischen Dokumenttypen wie juristischen und technischen Dokumentationen.

Das Unternehmen erklärt, es nehme ohne Zustimmung keinen einzigen Kundendatenpunkt in seine Trainingspipelines auf; Kolibri sei nicht mit Kundendaten trainiert worden. Kundenkorpora, Datenbanken und Traces könnten sensible Informationen enthalten, die nicht in die Trainingsverteilung gelangen sollten.

Benchmark-Ergebnisse

Aleph Alpha berichtet, dass Kolibri über sieben agentische RAG-Benchmarks, von denen fünf reale Kundeneinsätze nachbilden, den besten Durchschnittswert unter den führenden Open-Weight-Modellen erzielt, die das Unternehmen verglichen hat. Laut Aleph Alpha schlägt es sowohl Modelle seiner eigenen Größe als auch Modelle, die pro Token ein Vielfaches an Rechenleistung benötigen.

Diese Ergebnisse stammen aus dem eigenen Vergleich des Unternehmens; der vorliegende Beitrag nennt weder die einzelnen Werte noch die als Referenz herangezogenen Modelle.

Warum das agentische Harness entscheidend ist

Der Beitrag beschreibt den Standardansatz für RAG im Jahr 2026: Das LLM wird mit Werkzeugen verbunden, die ihm Zugriff auf externe Daten geben, etwa semantische Suche über interne Korpora und Dokumentzugriff, und im Prompt wird ihm erklärt, wie es sie nutzen soll. Die Auswahl der Werkzeuge, die Art, wie das Modell mit ihnen interagieren darf, und der Umgang mit Kontextlängenüberlauf und komplexen Aufgaben wird als agentisches Harness bezeichnet.

Zu den wichtigsten Harness-Entscheidungen zählt Aleph Alpha:

• Suchwerkzeuge: Suche nach Bedeutung, Stichwortsuche oder hybride Suche.
• Korpora und ETL: welche Dokumente in welcher Granularität durchsucht werden.
• Ergebnismenge und Darstellung: wie viele Ergebnisse das Modell in welcher Form sieht, von reinen Titeln bis zum vollständigen Inhalt.
• Ergänzende Werkzeuge: ob das Modell Seiten oder ganze Dokumente öffnen kann.
• Mehrsprachigkeit: wie Prompt-, Dokument- und Nutzersprache zusammenpassen.

Die Entscheidungen müssen zum Anwendungsfall passen. Bei Anwendungen mit allgemeinem Wissen ist die Suche nach Bedeutung sinnvoll. In technischen Dokumentationen ist eine Stichwortsuche nötig, weil Fragen Kennungen wie "TC3x-235c" enthalten können, mit denen die Suche nach Bedeutung laut Beitrag schlecht zurechtkommt.

Ein Entwickler kann beides in einer hybriden Suche kombinieren oder mehrere Werkzeuge bereitstellen und das Modell zur Laufzeit entscheiden lassen. Eine feste Wahl verringert die Flexibilität, aber auch die Varianz und das Ausmaß von Fehlern. Ein kleines Modell, das wegen begrenzter GPU-Rechenleistung zur Laufzeit gewählt wurde, verfüge möglicherweise nicht über die Denktiefe, um mit einem flexiblen Harness umzugehen, heißt es weiter im Beitrag.

Ein durchgespieltes Beispiel

Der Beitrag enthält einen Trace für ein Harness zur technischen Dokumentation mit einem semantischen Suchwerkzeug und einem Stichwortsuchwerkzeug (BM25 mit einem Tokenizer, der Kennungen erhält), einem Dokumentkorpus und einer strukturierten Errata-Tabelle. Der Nutzer fragt nach der maximalen Taktfrequenz des TC3x-235c und nach bekannten Errata.

Das Modell führt zunächst eine semantische Suche durch, stellt fest, dass das Embedding TC3x-235c, TC3x-237a und TC3x-233b als nahezu identisch behandelt und die falschen Bauteile zurückgibt, wechselt dann zu einem exakten Stichwortabgleich und fragt zusätzlich die Errata-Tabelle ab. Die Stichwortsuche liefert den Datenblatteintrag des TC3x-235c und ein Erratum, wonach die PLL-Lock-Zeit bei fSYS > 280 MHz die Spezifikation überschreitet. Laut Beitrag ist diese Art des Schlussfolgerns in früheren oder kleineren Modellen nicht verfügbar.

Was das für Kunden bedeutet

Für Kunden aus dem öffentlichen Sektor und aus regulierten Branchen lautet das Versprechen: ein Modell, das auf RAG über die eigenen Dokumente in Englisch und Deutsch abgestimmt ist, ohne dass die eigenen Daten ins Training einfließen. Wie gut das außerhalb der Benchmarks von Aleph Alpha trägt, wird von den detaillierten Ergebnissen und von unabhängigen Tests abhängen.