Eval Agent von Terminal X auf GPT-6.1 Sol stimmt in 88,6 % der Fälle mit erfahrenen Investoren überein

Anlegerwissen in Agenten verwandeln, die dem Unternehmen gehören

Terminal X nimmt sich dessen an, was das Unternehmen „Memory Debt“ nennt: Eine Investmentfirma behält womöglich ihre Dokumente, verliert aber die Überlegungen hinter Entscheidungen, wenn erfahrene Investoren das Haus verlassen. Das Betriebssystem Capital Memory soll diese Schuld abbauen.

Die Forward-Deployed-Engineers des Unternehmens, nach eigener Darstellung ehemalige Finanz- und Investmentprofis unter anderem von JPMorgan und Blackstone, arbeiten mit den Investmentteams der jeweiligen Kunden zusammen. Sie entwerfen die agentische Architektur der Firma und übertragen deren Anlagestil in Agenten, die der Firma gehören und on-premise oder in der eigenen Cloud laufen. Das Schlussfolgern innerhalb dieser Agenten übernehmen OpenAI-Modelle, darunter GPT-6.1 Sol und GPT-6 Luna.

Die Ingenieure verbringen Wochen vor Ort, zerlegen bewährte Memos und halten Abläufe fest, die nie aufgeschrieben wurden, etwa wie ein Kreditteam einen Kreditnehmer prüft. Diese Abläufe stecken in Hunderten von Agenten, die nach Anlageklasse und Strategie angepasst sind und für jede Investmentphase Sub-Agenten enthalten.

So teilen die Modelle die Arbeit auf

GPT-6.1 Sol übernimmt die Schritte, die Urteilsvermögen und ein sehr großes Kontextfenster erfordern: die Investmentthese zusammenführen, zentrale Erwägungen identifizieren und die Passung zum Mandat der Firma beurteilen. GPT-6 Luna führt die Schritte mit hohem Volumen aus, bei denen Token-Effizienz wichtiger ist als Tiefe.

Die Agenten arbeiten im privaten Datenraum der jeweiligen Firma und verarbeiten Dokumente auf Englisch, Koreanisch, Japanisch und Chinesisch. Was sie lernen, wird als firmeneigenes Memory gespeichert, eine versionierte Aufzeichnung dessen, wie ein Team eine bestimmte Art von Entscheidung trifft, einschließlich früherer Analysen, Komiteeentscheidungen, Workflow-Anweisungen und Hausmeinungen. Jede Produktivabfrage ist nachvollziehbar, mit den ausgeführten Schritten, den abgerufenen Quellen, dem verwendeten Modell und der Begründung.

Laut Terminal X meldete eine Private-Equity-Firma jährliche Einsparungen von 2,4 Millionen US-Dollar durch automatisierte Due-Diligence- und Investment-Memo-Workflows.

Der Eval Agent und sein Raster mit 54 Kriterien

Um die Ergebnisse am firmeneigenen Standard zu messen, hat Terminal X einen Eval Agent entwickelt, einen orchestrierten Workflow auf Basis von GPT-6.1 Sol und weiteren OpenAI-Modellen. Er soll die Ausgaben der Agenten so lesen, wie ein VP die Arbeit eines Analysten liest, und jedes Ergebnis anhand eines Rasters mit 54 Kriterien bewerten. Die Prüfungen fragen, ob Zahlen, Vergleichsunternehmen, Konsenswerte und Zitate aus den richtigen Quellen stammen, ob die Argumentation trägt und ob die Empfehlung zur Hausmeinung passt.

Jede Prüfung wird mit bestanden oder nicht bestanden bewertet. Jedes Nichtbestehen enthält eine einzeilige Begründung sowie eine bessere Quelle oder einen korrigierten Text und wird zu einem Memory, etwa zu einer neuen Workflow-Anweisung oder einem Testfall für das jeweilige Team. Ken Lee, Mitgründer und CTO, sagt: „Jede Antwort wird bewertet, und was der Analyst korrigiert, bringt dem System ein wenig mehr darüber bei, wie diese Firma arbeitet.“

Benchmark-Ergebnisse: Stilabweichung und Kosten

Terminal X sagt, das Unternehmen wähle Modelle anhand eigener Evaluierungsergebnisse aus. Über 500 bewertete Urteile hinweg stimmte der Eval Agent auf GPT-6.1 Sol in 88,6 % der Fälle mit dem erfahrenen menschlichen Prüfer überein, gegenüber 86,4 % beim nächstbesten Modell. Das entspricht einer Verbesserung um 220 Basispunkte.

Eine Fehlerklasse, bei der das Modell besser abschnitt, ist die Stilabweichung (Style Drift). Im Beispiel der Quelle lautet das Mandat eines Buyout-Fonds, Take-Private-Kandidaten zu finden, die mit einem Abschlag auf den Nettoinventarwert gehandelt werden. Deuten Szenariomodelle jedoch auf eine Marktwende hin, empfehlen die Deals plötzlich eine Distressed-Credit-Position oder eine Rettungsfinanzierung. Der Eval Agent auf GPT-6.1 Sol erkannte etwa 25 % mehr solcher Abweichungen als das nächstbeste Modell.

Dank der Token-Effizienz bei Aufgaben mit langem Kontext konnte Terminal X innerhalb desselben Budgets eine tiefere Prüfung aufbauen. Die These wird zunächst am Mandat getestet, dann an jüngsten Deals, und unsichere Urteile werden erneut ausgeführt und abgeglichen. Laut der Quelle wurden so Deals markiert, die ein einzelner Durchlauf auf einem vergleichbaren Modell durchgewunken hatte. Dieselben Workflows liefen bei ähnlicher Geschwindigkeit mit rund 30 % geringeren Kosten pro Anfrage als beim nächstbesten Modell.

Was das für Investmentfirmen bedeutet

Mit GPT-6.1 Sol und GPT-6 Luna meldet Terminal X 1.700 firmeneigene Memories, mehr als 1 Million individuelle Workflows und eine Zahl wöchentlich aktiver Nutzer, die 81 % der monatlich aktiven Nutzer entspricht. Als Nächstes will das Unternehmen Memories von Teams auf einzelne Personen ausweiten, damit der Standard jedes Profis so erfasst wird, wie er gelebt wird.

Für Firmen lautet das Versprechen, dass sich Urteilsvermögen in messbare und überprüfbare Daten verwandelt, die ihnen selbst gehören. CEO Hyun Hong formulierte es so: „Die Firmen, die das nächste Jahrzehnt gewinnen, werden ihr Urteilsvermögen als Daten besitzen.“ Die Leistungszahlen stammen aus den eigenen Evaluierungen von Terminal X, wie von OpenAI berichtet, und nicht aus unabhängigen Tests.