Ai2 auf der COLM 2026: Olmo Hybrid braucht 49 Prozent weniger Trainingstokens, Bolmo erscheint in Nature
Ai2 hat auf der COLM 2026 in San Francisco Olmo Hybrid vorgestellt, ein Modell, das Transformer-Attention mit linearen rekurrenten Schichten kombiniert und laut dem Labor auf MMLU mit 49 Prozent weniger Trainingstokens die Leistung von Olmo 3 7B erreicht. Die gemeinnützige Organisation teilte zudem mit, dass ihr Bolmo-Paper während der Konferenz in Nature veröffentlicht wurde.
- Laut Ai2 erreichte Olmo Hybrid auf MMLU die Leistung von Olmo 3 7B mit 49 Prozent weniger Trainingstokens.
- Das nächste Olmo-Modell befindet sich im Pre-Training und nutzt eine hybride Mixture-of-Experts-Architektur.
- Olmo-core 3 bringt ein neu gestaltetes System für das Training großer Mixture-of-Experts-Modelle.
- Das Bolmo-Paper zu Sprachmodellen auf Byte-Ebene erschien in Nature, dazu wurden weitere Checkpoints veröffentlicht.
- AstaBrief ist ein Open-Weights-Modell, das aus Forschungsfragen und abgerufener Literatur Berichte mit Quellenangaben erstellt.
Olmo Hybrid und das nächste Olmo
Ai2 präsentierte auf der Konferenz das Paper „Olmo Hybrid: From Theory to Practice and Back“. Es untersucht, was passiert, wenn ein Sprachmodell Transformer-Attention mit linearen rekurrenten Schichten kombiniert. Laut Ai2 kann Attention gezielt Details aus früherem Text abrufen, während rekurrente Schichten einen kompakten Zustand führen, der sich aktualisiert, während das Modell eine Folge von Text-Tokens verarbeitet.
Die Forschung verknüpft Theorie darüber, was diese Architekturen darstellen können, mit kontrollierten Trainingsexperimenten. Ai2 zufolge liefert die Studie Belege dafür, dass die Mischung aus Attention und Rekurrenz die Trainingseffizienz verbessern kann: Olmo Hybrid erreichte auf MMLU, einem Benchmark für Wissen in vielen Fachgebieten, dieselbe Genauigkeit wie Olmo 3 7B und benötigte dafür 49 Prozent weniger Trainingstokens.
Ai2 zufolge fließt diese Arbeit in das nächste Olmo-Modell ein, das sich derzeit im Pre-Training befindet und eine hybride Mixture-of-Experts-Architektur nutzt. Mixture-of-Experts ist ein weiterer Weg zu mehr Effizienz: Jedes Token wird dabei nur durch einen Teil der Modellkomponenten geleitet.
Offene Infrastruktur und Reproduzierbarkeit
Vor der COLM veröffentlichte Ai2 Olmo-core 3, das ein neu gestaltetes System für das Training großer Mixture-of-Experts-Modelle enthält. Forschende können den Code nutzen, um eigene Modelle zu entwickeln und Trainingsentscheidungen zu untersuchen. Checkpoints und technische Berichte sind über das breitere Olmo-Ökosystem verfügbar.
Ai2 verwies außerdem auf eine Reproduktion durch Google. Laut Ai2 hat Google kürzlich bekannt gegeben, den Trainingslauf von Olmo 3 7B in MaxText auf Google Cloud TPUs nachgebaut zu haben. Ai2 sieht darin ein Beispiel für die Reproduzierbarkeit, die sein vollständig offener Ansatz ermöglicht.
Auf der Konferenz sprach Noah A. Smith, Senior Director of NLP Research bei Ai2, mit Kommunikationschef Kyle Wiggers über die nächste Olmo-Generation und die Arbeit des Labors an agentischen Modellen.
Asta und KI für die Wissenschaft
Ai2 erklärte, wissenschaftliche Werkzeuge müssten zu den Aufgaben passen, die Forschende tatsächlich erledigen. Dafür müsse man sie gemeinsam mit Wissenschaftlerinnen und Wissenschaftlern entwickeln und sowohl ihre Fähigkeiten als auch ihre Grenzen untersuchen. Diesen Ansatz beschreibt das Labor für Asta, seine agentische Plattform für wissenschaftliche Arbeit.
Das kürzlich veröffentlichte AstaBrief ist ein Open-Weights-Modell, das aus Forschungsfragen und abgerufener Literatur Berichte mit Quellenangaben erstellt. Forschende können es im Fast-Modus von Asta nutzen oder herunterladen und auf der eigenen Infrastruktur betreiben. Ai2 arbeitet nach eigenen Angaben zudem direkt mit wissenschaftlichen Communitys zusammen, um herauszufinden, wo universelle Modelle an ihre Grenzen stoßen und was künftige offene Modelle leisten sollten. Senior Research Scientist Bodhisattwa Prasad Majumder nahm an der COLM teil, um diese Gespräche fortzusetzen, und stellte mehrere verwandte Paper vor.
Bolmo in Nature veröffentlicht
Während der Konferenz erschien in Nature das Paper „Retrofitting language models to operate over bytes“, die Forschung hinter Bolmo. Die meisten Sprachmodelle zerlegen Text zunächst in Einheiten aus einem festen Vokabular. Bolmo arbeitet stattdessen mit den zugrunde liegenden Bytes, die Zeichen repräsentieren. Laut Ai2 kann es dadurch Details verarbeiten, die die Subword-Tokenisierung verdecken kann.
Das Paper beschreibt, wie sich ein bestehendes Sprachmodell mit einem vergleichsweise kurzen zusätzlichen Trainingslauf auf diesen Ansatz umstellen lässt. Zur Veröffentlichung gab Ai2 weitere Checkpoints frei, damit Forschende selbst mit der Architektur experimentieren können.
Was das für die Forschung bedeutet
Die Ankündigungen unterstreichen das erklärte Ziel von Ai2, Modelle, Daten, Code und Methoden zu veröffentlichen, damit andere die Arbeit testen und weiterentwickeln können. Für Forschende sind die konkreten Bausteine der Trainingscode von Olmo-core 3, die Bolmo-Checkpoints und das Open-Weights-Modell AstaBrief. Ai2 bezeichnet sich als vollständig gemeinnütziges Labor und lädt die Community ein, die Forschung zu lesen, die Modelle auszuprobieren und ihre Erkenntnisse zu teilen.
