KI-Fortschritte bei Software schwerer nachzuweisen, zeigt Uplevel-Studie
Laut Uplevel sind 96 % der Führungskräfte aus den Bereichen Engineering und Technologie überzeugt, dass KI die Softwareentwicklung verbessert. Doch nur 40 % nutzen kontrollierte Vergleiche, um die Effekte der KI von anderen Faktoren zu trennen. Die Ergebnisse stammen aus einer Befragung von 428 Führungskräften aus Engineering und Technologie.
- 96 % der Führungskräfte glauben, dass KI die Softwareentwicklung verbessert.
- Nur 40 % nutzen kontrollierte Vergleiche, um den Einfluss von KI zu isolieren.
- 39 % nennen Geschwindigkeit als wichtigstes Maß für den Wert von KI.
- 29 % nennen die zusätzliche Prüfung von KI-generierten Ergebnissen als große neue Reibung.
- Governance, Sicherheit und Compliance sind mit 24 % das größte Hindernis insgesamt.
Das Vertrauen ist der Messung voraus
Die Ergebnisse sind Teil des Uplevel-Berichts Would You Recognize AI ROI If You Saw It?. Darin wird untersucht, wie Engineering-Organisationen den Wert von KI messen, Verbesserungen zuordnen und Hindernisse bei der Einführung angehen.
Fast drei Viertel der Befragten, 74 %, gaben an, ihre bisherigen Methoden zur Messung des Return on Investment auf KI-Initiativen ausgeweitet zu haben. Nur 4 % erklärten, sie entwickelten speziell für KI geeignete Messansätze, während 29 % KI vor allem anhand von Geschäftsergebnissen bewerteten.
Joe Levy, CEO von Uplevel, sagte, Zuversicht zeige nicht, wie viel der Verbesserung tatsächlich auf KI und wie viel auf andere Einflüsse zurückzuführen sei. Unternehmen benötigten ein klareres Bild davon, woher Fortschritte stammten, was sie möglicherweise begrenze und ob sie zu relevanten Geschäftsergebnissen führten.
Schnelleres Programmieren kann mehr Prüfaufwand verursachen
Geschwindigkeit bleibt für Führungskräfte im Engineering das wichtigste Maß für den Wert von KI. Laut dem Bericht nannten 39 % die Geschwindigkeit als entscheidenden Faktor dafür, ob KI einen Mehrwert schafft. Bei Managern lag der Anteil mit 41 % ähnlich hoch, bei Direktoren bei 40 % und bei Vizepräsidenten ebenfalls bei 40 %.
Unabhängig davon erklärten 39 %, KI schaffe vor allem dadurch Wert, dass Entwickler schneller Code schreiben können. 29 % nannten jedoch die zusätzliche Zeit für die Prüfung von KI-generierten Ergebnissen als größte neue Reibung im vergangenen Quartal. Laut Uplevel war dies häufiger als jede andere Herausforderung.
Amy Carrillo Cotten, Director of Client Transformation bei Uplevel, sagte, schnelleres Programmieren führe nicht automatisch zu einer schnelleren oder besseren Auslieferung. Führungskräfte im Engineering sollten den gesamten Auslieferungsprozess untersuchen, auch jene Bereiche, in denen durch KI beschleunigte Arbeit neue Engpässe entstehen könnten.
Unternehmen verteilen sich auf fünf KI-Reifegrade
Uplevel beschreibt eine fünfstufige Entwicklung der Reife. Sie reicht von der konsistenten Nutzung von KI-Tools für Aufgaben wie Codevervollständigung bis zu Agententeams, die Software mit minimalem menschlichem Eingreifen eigenständig ausrollen können.
38 % der Führungskräfte ordneten ihre Unternehmen den frühen Phasen zu, die Level 1 und Level 2 umfassen. Diese Unternehmen nutzen KI etwa für die Codevervollständigung oder haben begonnen, Agenten in bestimmten, klar begrenzten Bereichen mit wenig organisatorischem Kontext einzusetzen. Weitere 23 % befanden sich auf Level 3. Dort werden Agenten mit Informationen wie Codebasen, Konventionen und Runbooks konfiguriert, während Entwickler ihre Ausgaben zunehmend prüfen, korrigieren und steuern.
38 % berichteten von fortgeschritteneren Phasen. Auf Level 4 entwickeln, pflegen und teilen Unternehmen KI-Agenten über verschiedene Teams hinweg. Auf Level 5 koordinieren sie Agententeams, die Software eigenständig ausrollen, und gestalten Entwicklungsabläufe grundlegend um die KI herum.
Die Hindernisse verändern sich mit dem Fortschritt der Einführung
Governance, Sicherheit und Compliance wurden mit 24 % am häufigsten als Hindernis für einen größeren Nutzen aus KI genannt. Lücken bei Engineering-Kompetenzen oder der KI-Kompetenz sowie fehlender Kontext, darunter Dokumentation, Daten oder institutionelles Wissen, machten jeweils 21 % aus. Reibungen in den Abläufen und Einschränkungen der Infrastruktur lagen jeweils bei 17 %.
Das wichtigste Hindernis unterschied sich je nach Reifegrad. Fehlender Kontext war auf Level 1 mit 25 % und auf Level 2 mit 27 % das größte Hemmnis. Auf Level 4 erreichten Lücken bei Kompetenzen und KI-Kompetenz 26 %, während Bedenken hinsichtlich Governance, Sicherheit und Compliance 28 % erreichten. Auf Level 5 lagen die Werte bei 30 % für Kompetenzen und KI-Kompetenz sowie bei 26 % für Governance, Sicherheit und Compliance.
Die Ergebnisse deuten darauf hin, dass eine Messung von KI ausschließlich anhand schnellerer Programmierung Unternehmen daran hindern kann, zu erkennen, wo Wert entsteht oder wo neue Prüf- und Governance-Anforderungen die Auslieferung verlangsamen. Uplevel hat die vollständigen Ergebnisse der Befragung auf seiner Website veröffentlicht.
