OpenAI stellt BioBasicsBench zum Testen von KI-Agenten in Nasslaboren vor

Ein Benchmark für uneindeutige Laborergebnisse

BioBasicsBench soll eine Einschränkung von Benchmarks beheben, die auf Diagrammen und Bildern basieren, die für wissenschaftliche Publikationen ausgewählt wurden. Laut OpenAI umfasst die tägliche Arbeit im Nasslabor häufig fehlgeschlagene Experimente, mehrdeutige Bilder und widersprüchliche Beobachtungen sowie die Fehlersuche, die nötig ist, um sie zu verstehen.

Der Benchmark deckt fünf Bereiche ab: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonieren. Die Aufgaben reichen vom Ablesen des Molekulargewichts einer DNA-Probe auf einem Gel bis hin zu detaillierten Assay-Analysen.

Die Eingaben bewahren die Formen von Beweismaterial, die von Wissenschaftlern in Nasslaboren verwendet werden. Dazu gehören Gel- und Blot-Bilder, Aufnahmen von Platten, Mikroskopie-Stacks, Sequenzierungsdaten, Exporte von Plattenlesegeräten und Videos von Laborarbeiten. Eine Aufgabe kann mehrere Datentypen kombinieren, ergänzt durch Referenzmaterialien wie Leiterdiagramme und Plasmidkarten.

Wissenschaftler prüften jede Aufgabe

Wissenschaftler erstellten die Aufgaben anhand von Daten aus ihren eigenen Experimenten und versahen jede Frage mit von Experten formulierten Bewertungskriterien. Jede Aufgabe wurde von einem Ligo-Wissenschaftler geprüft, der sie nicht verfasst hatte, von einem externen Wissenschaftler mit PhD-Abschluss, der in einem Nasslabor arbeitet, sowie von einem abschließenden internen Prüfer.

Die Agenten liefern eine strukturierte Antwort mit der geforderten Schlussfolgerung, Messung oder Empfehlung sowie, sofern erforderlich, einer unterstützenden Begründung. Das Bewertungssystem vergibt Punkte für einzelne Kriterien des Bewertungsrasters. Dadurch kann der Benchmark zwischen einer richtigen Schlussfolgerung und einer teilweise korrekten Analyse unterscheiden. Je nach Aufgabe bewerten die Kriterien Schlussfolgerungen, numerische Ergebnisse, die Begründung oder die Erkenntnis, dass die Beweislage keine Schlussfolgerung zulässt.

OpenAI bewertete sieben Modelle in 37 Kombinationen aus Modell und Schlussfolgerungsaufwand. Jede Kombination absolvierte alle 100 Aufgaben fünfmal, was 18.500 Ergebnisse hervorbrachte. Bei der Schlussfolgerungseinstellung xhigh erzielte GPT-6 Astra eine durchschnittliche Belohnung von 66,7 Prozent, verglichen mit 43,8 Prozent für GPT-5.6 Sol.

Ergebnisse zeigen Fortschritte, aber auch Lücken

Bei xhigh erzielte GPT-6.1 Sol eine durchschnittliche Belohnung von 62,0 Prozent, während GPT-6 Luna auf 38,3 Prozent kam. GPT-5.5, GPT-5.4 und GPT-5.2 erreichten 35,4 Prozent, 33,2 Prozent beziehungsweise 31,2 Prozent. OpenAI bezeichnet die durchschnittliche Belohnung als den durchschnittlichen Aufgabenwert, ausgedrückt als Prozentsatz der verfügbaren Punkte.

OpenAI zufolge war GPT-6 Astra selbst bei geringem Schlussfolgerungsaufwand besser als GPT-5.6 Sol. Die Ergebnisse deuteten zudem darauf hin, dass leistungsfähigere native multimodale Fähigkeiten für alltägliche Nasslaboranalysen wichtig sein könnten. In einem Beispiel ging es um Zellen und zwei sich überschneidende Detektionsfenster für Farbstoffe. Laut OpenAI erkannte Astra, dass die Helligkeit allein nicht klären konnte, ob die Zellen tot waren, und forderte bessere Kontrollen, um die Signale voneinander zu trennen.

Das Unternehmen erklärt, die Ergebnisse zeigten Fortschritte bei routinemäßigen Laboranalysen, aber auch Verbesserungsbedarf bei der Interpretation von Bildern, der Prüfung experimenteller Kontrollen und der Berücksichtigung des experimentellen Kontexts. Für Forscher bedeutet das, dass BioBasicsBench testen soll, ob KI-Systeme mit der Mehrdeutigkeit und den Fehlerbildern gewöhnlicher Experimente umgehen können, statt nur mit aufbereiteten Ergebnissen, die für eine Veröffentlichung vorbereitet wurden.