Fivetran-Studie: Preis ist ein schlechter Maßstab für Coding-Modelle
Eine verblindete Fivetran-Studie mit 39 Ingenieuren zeigt, dass ein deutlich höherer Preis für ein OpenAI-Coding-Modell bei der täglichen Softwarearbeit nur einen geringen Präferenzvorteil brachte. Das Unternehmen verglich Luna, Terra und Sol zwei Wochen lang über Claude Code mit der eigenen Codebasis.
- Fivetran testete Luna, Terra und Sol mit 39 Ingenieuren.
- Sol lag in beiden Vergleichen vorn, doch die Präferenzergebnisse waren nicht eindeutig.
- Die wöchentlichen Median-Ausgaben reichten von $5.32 für Luna bis $168.44 für Sol.
- Die Zahl der Pull Requests ergab keine Produktivitätsrangfolge.
- Fivetran plant eine Folgestudie zu Planern und Orchestratoren.
Ein verblindeter Test im Arbeitsalltag
Fivetran führte die Studie vom September 14, 25, 2026, an durch. Die Ingenieure wurden freiwillig jeweils zwei der drei Modelle zugeteilt, eines pro Woche und in zufälliger Reihenfolge. Die Modelle wurden unter Aliasnamen präsentiert. Ein LiteLLM-Proxy entfernte Modell- und Anbieternamen aus den Antworten und wies die Modelle an, ihre Identität nicht preiszugeben.
Von den 39 teilnehmenden Ingenieuren nutzten 35 mindestens ein zugewiesenes Modell, 31 testeten beide. Die Modelle liefen über Claude Code, den üblichen Coding-Agenten der Teilnehmer. Fivetran erfasste die Modellpräferenz, die Ausgaben und die Pull-Request-Aktivität bei der regulären Arbeit an den Repositories.
Fivetran erklärte, das Studiendesign solle verhindern, dass die Ergebnisse durch Markenbekanntheit oder Erwartungen an den Preis beeinflusst werden. Anders als öffentliche Benchmarks, die sich auf einzelne Aufgaben konzentrieren, untersuchte der Test die Leistung der Modelle in den eigenen Repositories und mit den eigenen Tools des Unternehmens.
Sol lag bei den Präferenzen vorn, doch das Ergebnis war nicht eindeutig
Unter den 27 Ingenieuren, die nach der Nutzung beider zugewiesenen Modelle an der abschließenden Umfrage teilnahmen, wurde Sol in beiden direkten Vergleichen bevorzugt. Sechs von neun Ingenieuren zogen Sol Luna vor, sieben von 10 bevorzugten Sol gegenüber Terra. Terra setzte sich mit fünf zu drei Stimmen gegen Luna durch.
Die Unterschiede waren knapp. Fivetran berichtete, dass 12 der 27 Präferenzen schwach ausfielen, darunter vier der sieben Siege von Sol gegen Terra. Nach Angaben des Unternehmens lag keiner der drei Vergleiche eindeutig über dem Zufallsniveau. Alle exakten 95%-Konfidenzintervalle überschritten die 50%-Marke.
Auch die Pull-Request-Aktivität ergab keine Produktivitätsrangfolge. Ein typischer Ingenieur eröffnete während der Luna-Woche fünf Pull Requests, während der Sol-Woche vier und während der Terra-Woche zwei oder drei. Fivetran zufolge spiegelten diese Zahlen hauptsächlich wider, ob die Ingenieure an einem großen Refactoring oder an mehreren kleineren Änderungen arbeiteten.
Höhere Preise führten zu deutlich höheren Ausgaben
Die Tokenpreise unterschieden sich stark. Die Eingaberate von Terra lag zehnmal höher als die von Luna, die von Sol 20-mal höher. Die angegebenen Preise für nicht gecachte Eingaben betrugen $0.20 pro einer Million Token für Luna, $2.00 für Terra und $4.00 für Sol. Die Preise für Ausgaben lagen bei $1.20, $12.00 beziehungsweise $20.00.
Die typischen wöchentlichen Ausgaben folgten demselben Muster. Der Median der Ingenieure gab während der Luna-Woche $5.32 aus, während der Terra-Woche $41.42 und während der Sol-Woche $168.44. Die durchschnittlichen Ausgaben lagen höher: bei $9.95 für Luna, $88.85 für Terra und $243.49 für Sol. Grund dafür war, dass einige Ingenieure die Modelle deutlich intensiver nutzten.
Fivetran kam zu dem Schluss, dass die Preisklasse ein schlechter Maßstab für den Wert im Arbeitsalltag ist. Der 20-fache Anstieg des Tokenpreises von Luna zu Sol habe dem Unternehmen zufolge nur einen moderaten Präferenzvorsprung und keinen eindeutigen Sieg gebracht.
Die passende Aufgabe beeinflusste die Nutzererfahrung
Fivetran zufolge können schwerere Modelle bei großen Refactorings nützlich sein, bei denen sich eine gründliche Planung auszahlt. Bei gezielten Änderungen legten die Ingenieure dagegen mehr Wert auf schnelle Antworten und eine enge Begrenzung des Umfangs. Schwerere Modelle erzeugten mitunter zusätzliche Schritte, umfangreichere Änderungen oder unnötige Kosten.
Im Studiensetup erledigte jedes Modell den vollständigen Agentenzyklus, einschließlich Planung, Hintergrundaufrufen und der Arbeit von Subagenten, ohne Routineaufgaben an ein schnelleres Modell weiterzuleiten. Fivetran zufolge erhöhte dies die Kosten und die Ausführungszeit von Anfang bis Ende, wenn ein Agent vor der Rückgabe der Kontrolle an einen Ingenieur mehr Schritte ausführte. Das Unternehmen maß keine möglichen Einsparungen durch einen Workflow mit mehreren Modellen.
Fivetran plant einen weiteren verblindeten Vergleich von Planern und Orchestratoren in einer nicht proprietären Testumgebung. Die nächste Studie soll Ausführungsmodelle, Tools und Budgets über vorab definierte Aufgabenkategorien hinweg konstant halten und Aufgabenerledigung, geprüfte Codequalität, menschlichen Aufwand, Latenz und Kosten messen. Für Nutzer sprechen die Ergebnisse dafür, Modelle nach der jeweiligen Aufgabe auszuwählen, statt davon auszugehen, dass die teuerste Option die beste Coding-Erfahrung bietet.
