Ai2: Bolmo-Modelle auf Byte-Ebene erscheinen in Nature, neue Checkpoints veröffentlicht

Von Olmo zu anderen Modellfamilien

Ai2 hatte Bolmo im vergangenen Dezember vorgestellt. Laut dem Institut zeigt der Nature-Artikel, dass die Umwandlungsmethode, die es als Byteifying bezeichnet, nicht auf die Olmo-Modelle beschränkt ist, die als Ausgangspunkt für Bolmo dienten.

Beim Byteifying wird ein bereits leistungsfähiges Subword-Modell mit einem relativ kurzen zusätzlichen Training in ein Modell auf Byte-Ebene überführt. Ai2 baute damit aus seinen offenen Olmo-Modellen Bolmo 1B und Bolmo 7B. Nach Einschätzung des Instituts sind dies die ersten vollständig offenen Sprachmodelle auf Byte-Ebene, die bei einem breiten Aufgabenspektrum mit starken Subword-Modellen konkurrieren können.

In der Veröffentlichung wendete Ai2 dasselbe Verfahren auf Qwen 3 8B und Llama 3 8B an und schuf so Bwen 8B und Blama 8B. Beide kommen laut Ai2 nahe an die Modelle heran, von denen sie abgeleitet wurden. Bwen 8B gilt als das bislang stärkste byteifizierte Modell des Instituts und übertrifft Bolmo 7B in der aggregierten Evaluierungssuite.

Außerdem veröffentlicht Ai2 seine Stage-1-Checkpoints. Dabei bleibt das ursprüngliche globale Modell eingefroren, während die neuen Byte-Komponenten von Bolmo trainiert werden. Das Institut sagt, Forschende erhielten so einen schnelleren Startpunkt, um die Architektur zu erproben und zu erweitern.

Warum Bytes statt Subwörter

Die meisten Sprachmodelle verarbeiten Text nicht direkt. Sie zerlegen ihn zunächst in Subwörter, also Wortbausteine aus einem festen Vokabular. Laut Ai2 funktioniert das bemerkenswert gut, kann Modelle aber weniger flexibel machen, etwa bei Rechtschreibung, ungewöhnlichen Zeichenfolgen, seltenen Wörtern oder Text, der sich nicht sauber auf die vordefinierten Bausteine abbilden lässt.

Modelle auf Byte-Ebene arbeiten dagegen mit den zugrunde liegenden Bytes, mit denen Computer Zeichen darstellen. Ai2 zufolge kann das das Verständnis feiner Textstrukturen verbessern, von Leerzeichen bis zu verschiedenen Schriftsystemen, ohne das Modell an ein festes Vokabular zu binden. Das Institut verweist zudem darauf, dass Bytes die grundlegende Darstellung digitaler Daten sind. Modellierung auf Byte-Ebene könnte daher langfristig eine gemeinsame Grundlage für andere Informationsarten wie Bilder und Audio bieten.

Das Hindernis waren bislang die Kosten. Ai2 weist darauf hin, dass man Byte-Modelle in der Vergangenheit von Grund auf trainieren musste, um die Leistung von Subword-Modellen zu erreichen. Das erschwert es ihnen, mit der schnellen Weiterentwicklung der Subword-Modelle Schritt zu halten. Byteifying soll diesen Aufwand vermeiden.

Erste Anwendungen und Ausblick

Ai2 zufolge haben Entwickler und Forschende bereits begonnen, Bolmo für bestimmte Anwendungen anzupassen. Ein Beispiel ist ein Fine-Tuning von Bolmo 7B für die Übersetzung russischer Lyrik und Songtexte ins Englische. Forschende nutzen Bolmo außerdem als Basis für Experimente zur Übertragung von Fähigkeiten zwischen Byte-Modellen sowie für Studien zum Zielkonflikt zwischen der Effizienz hierarchischer Byte-Architekturen wie Bolmo und einem feinkörnigen Zeichenverständnis.

Die Bolmo-Veröffentlichung folgt auf weitere aktuelle Arbeiten von Ai2 in Nature. Im Februar veröffentlichte das Institut einen Artikel mit dem Titel "Synthesizing scientific literature with retrieval-augmented language models". Er zeigte, wie spezialisiertes Retrieval, Ranking und der Umgang mit Zitaten Sprachmodellen helfen können, wissenschaftliche Literatur mit verlässlicherer Quellenbasis zusammenzufassen.

Ai2 argumentiert, grundlegende Fortschritte in der KI hätten mehr Wirkung, wenn die Forschungsgemeinschaft sie prüfen, reproduzieren und darauf aufbauen könne. Für Bolmo eröffne das den Weg zu Modellen, die nicht auf eine einzige Art der Informationsdarstellung festgelegt sind. Das Institut hält es für denkbar, dass künftige Systeme ihre Repräsentationen über Sprachen, Domänen und Aufgaben hinweg anpassen und Forschende neue Architekturen testen, ohne die vollen Trainingskosten erneut zu tragen. Indem Ai2 Bolmo und das Trainingsrezept vollständig offenlegt, will es Forschenden helfen, in heutigen Sprachmodellen verankerte Annahmen zu hinterfragen.