Aleph Alpha veröffentlicht Kolibri: Sprachmodell mit Fokus auf Deutsch für öffentliche Verwaltung und Industrie

Mixture-of-Experts-Modell mit Schwerpunkt Deutsch

Kolibri vereint nach Angaben von Aleph Alpha 78 Milliarden Parameter insgesamt, von denen pro Token rund 3 Milliarden aktiv sind. Die Mixture-of-Experts-Architektur aktiviert bei der Inferenz gezielt nur Teile des Modells, wodurch das Unternehmen die geringere Zahl aktiver Parameter erreicht.

Deutsch steht im Zentrum des Designs. Kolibri ist darauf trainiert, auf Deutsch zu schlussfolgern, und deutschsprachige Texte machen rund 23 % der Daten für das Pre-Training aus. Zudem kommt ein auf Deutsch zugeschnittener Tokenizer zum Einsatz, der deutsche Texte mit weniger Tokens abbilden soll und so eine effizientere Verarbeitung deutschsprachiger Inhalte ermöglicht.

Samuel Weinbach, Mitgründer und Co-Chief Research Officer, sagte: "Wir haben Kolibri auf die Anforderungen deutschsprachiger Anwendungen ausgerichtet, von einem für Deutsch optimierten Tokenizer bis zum Training des Modells, auf Deutsch zu schlussfolgern."

Agentische Workflows, RAG und Steuerung des Reasonings

Aleph Alpha zufolge unterstützt Kolibri agentische Workflows, Retrieval-Augmented Generation (RAG) und natives Tool Calling. In RAG-Anwendungen nutzt das Modell bereitgestellte Dokumente, um Fragen zu beantworten. Es ist darauf trainiert, keine Antwort zu geben, wenn diese Dokumente keine ausreichenden Belege enthalten.

Integrierte Steuerungsmöglichkeiten für das Reasoning erlauben es den Nutzern, das Verhältnis zwischen Denkaufwand und Antwortgeschwindigkeit anzupassen. Das Modell ist für den Betrieb auf Infrastruktur ausgelegt, die die Kunden selbst kontrollieren, und wird mit dokumentierter Datenherkunft und dokumentierten Designentscheidungen geliefert.

Dokumentierte Governance der Trainingsdaten

Ein großer Teil der Ankündigung betrifft die Compliance. Aleph Alpha erklärt, der technische Bericht beschreibe Maßnahmen zu Urheberrecht, Datenschutz und den Anforderungen des EU AI Act, darunter die Prüfung der Trainingsdaten und Kontrollen von Datensätzen Dritter.

• Alle Trainingsdaten wurden mit einer Sperrliste von mehr als 4,5 Millionen URLs abgeglichen, die unter anderem auf Quellen wie der Piracy Watch List der Europäischen Kommission beruht.
• Jeder Datensatz von Drittanbietern wurde vor der Verwendung auf Lizenzbedingungen, rechtmäßige Beschaffung und die Beachtung von Opt-outs geprüft.

Das Modell, die geltenden Lizenzbedingungen und die zugehörige Dokumentation sind auf Hugging Face verfügbar. Weitere Details zu Architektur, Evaluierungen und Trainingsmethodik finden sich im Tech Report und in einem Blogbeitrag des Unternehmens.

Souveränität und die Vereinbarung mit Cohere

Ilhan Scheer, CEO von Aleph Alpha, ordnete die Veröffentlichung unter dem Aspekt der Souveränität ein. Er sagte: "KI-Souveränität bedeutet für uns Wahlfreiheit: die Fähigkeit zu behalten, diese Technologie selbst zu entwickeln und voranzubringen, und den Kunden die Kontrolle darüber zu geben, wie sie sie einsetzen." Der Anspruch des Unternehmens sei es, diese Fähigkeit in den Arbeitsalltag von Industrie und öffentlicher Verwaltung zu bringen.

Aleph Alpha wies zudem darauf hin, kürzlich eine Vereinbarung mit Cohere angekündigt zu haben, um ein transatlantisches Unternehmen für souveräne KI aufzubauen. Die Transaktion steht noch unter dem Vorbehalt der behördlichen Genehmigung, bis zum Abschluss arbeitet Aleph Alpha weiterhin unabhängig.

Für Organisationen in der deutschen öffentlichen Verwaltung und in der Industrie bietet die Veröffentlichung ein auf deutschsprachige Aufgaben ausgerichtetes Modell, das auf selbst kontrollierter Infrastruktur laufen kann und dessen Umgang mit Trainingsdaten dokumentiert ist. Benchmark-Ergebnisse und Preise nennt die Quelle nicht, wie sich Kolibri im Vergleich zu anderen Modellen schlägt, bleibt daher dem technischen Bericht und unabhängigen Evaluierungen überlassen.