OpenAI stellt LifeVal vor: Benchmark für Aufgaben des Alltags

Warum OpenAI LifeVal entwickelt hat

Laut OpenAI nutzen mehr als eine Milliarde Menschen ChatGPT jede Woche. Das Unternehmen erklärt, es wolle eine KI entwickeln, die bei den praktischen Herausforderungen des Alltags hilft, darunter die Suche nach Kinderbetreuung, der Zugang zu Behördendiensten, die Erstellung eines Budgets, die Vorbereitung auf die Schule, das Abwandeln von Rezepten, das Bestellen von Lebensmitteln und das Erstellen von Trainingsplänen.

OpenAI argumentiert, dass Hilfesuchende mehr brauchen als Ratschläge oder eine Chat-Antwort. Um ein wirklich hilfreicher persönlicher Assistent zu sein, müsse ChatGPT in der Lage sein, Aktionen auszuführen, mit denen Dinge tatsächlich erledigt werden. LifeVal soll die Leistung der Modelle bei solchen Aufgaben im Zeitverlauf messen und konzentriert sich auf Bereiche, in denen sich Nutzerinnen und Nutzer die meiste Unterstützung von KI und persönlichen Agenten wünschten.

Wie die Aufgaben ausgewählt wurden

OpenAI ging von zwei großen Studien aus, die erfassen, wie Menschen ihre Zeit verbringen: dem American Time Use Survey und der Multinational Time Use Study. Zusammen bieten sie laut dem Unternehmen einen detaillierten Katalog alltäglicher Aufgaben über verschiedene demografische Gruppen, Tageszeiten und Jahreszeiten hinweg.

Um herauszufinden, wo Menschen KI-Unterstützung am meisten schätzen würden, ergänzte OpenAI eine neue, demografisch repräsentative Umfrage mit 3.995 Befragten. Zu jeder Aufgabe wurden Fragen gestellt, um zu ermitteln, wo sich ganz normale Menschen am meisten Hilfe von einem persönlichen Assistenten wünschen. Die daraus entstandenen Aufgaben decken Pflege und Betreuung, Gesundheit, Bildung, Haushaltsorganisation, private Finanzen, Einkaufen und den Zugang zu Behördendiensten ab.

Beispielaufgaben und Ergebnisse

OpenAI hat mehrere Beispielaufgaben samt Ergebnissen für seine aktuellen Modelle veröffentlicht:

• Nach einem Umzug im richtigen Kindergarten anmelden: 93,1 %
• Freiwillige vor einer Flut koordinieren: 98,0 %
• Ein neues Zuhause für meine Familie finden: 100 %
• Aus der Ferne mit Oma ein Spiel schauen: 96,3 %
• Essensvorbereitung für ein Elternteil mit neuer Diabetes-Diagnose: 90,4 %

Beim Beispiel der Haussuche lautete die Aufgabe, im Luzerne County ein Zuhause zu finden, das zum Budget passt, eine separate Wohneinheit hat und einen kurzen Arbeitsweg ermöglicht. Der Assistent meldete, ein passendes Haus gefunden, die Grunderwerbsteuer berechnet und die Eigentumsurkunde zur Prüfung in einen Warenkorb gelegt zu haben. Im Diabetes-Beispiel war das Ergebnis ein Plan für die erste Woche mit Mahlzeiten, Erinnerungen und Fragen an das Behandlungsteam.

OpenAI erklärt, die neuesten Modelle erzielten bei vielen LifeVal-Aufgaben sehr hohe Werte.

Was das für ChatGPT bedeutet

OpenAI gibt an, seine Modelle im vergangenen Jahr darauf trainiert zu haben, bei Aufgaben mit Browsernutzung, Computernutzung und Connectors deutlich schneller, leistungsfähiger und besser abgestimmt zu werden. Laut dem Unternehmen erweitert die Freischaltung dieser Fähigkeiten in ChatGPT die Bandbreite der Aufgaben, bei denen das Modell helfen kann, und führt es über ein Chat-Werkzeug hinaus zu einem wirklich agentischen persönlichen Assistenten.

Das Unternehmen sieht LifeVal als Teil einer breiteren Abkehr von akademischen Tests des Modellwissens. Es sei notwendig zu messen, wie gut KI Menschen dabei hilft, Entscheidungen zu treffen, alltägliche Verpflichtungen zu bewältigen und wirklich Bedeutsames zu erledigen, damit AGI der gesamten Menschheit zugutekommt. OpenAI zeigt sich zuversichtlich, dass LifeVal einen Schritt in Richtung dieses Ziels darstellt.