Orange Business baut KI-Plattform Live Intelligence auf LangChain und LangSmith

Warum Orange Business nicht bei null anfing

Live Intelligence ist die zentrale KI-Plattform von Orange Business. Über das Portal können Beschäftigte einfache KI-Agenten erstellen und grundlegende API-Aufrufe auslösen, was für persönliche Einstiegsaufgaben genügt. Das Unternehmen wollte weiter gehen: Agenten, die komplette Geschäftsprozesse über fragmentierte Unternehmenssysteme hinweg orchestrieren, den Zugriff steuern und im Produktivbetrieb zuverlässig und skalierbar laufen.

Laut der Fallstudie hätte es mehr als ein Jahr Entwicklungszeit gekostet, die Infrastruktur für Orchestrierung, Bereitstellung, Monitoring und Observability solcher Agenten nachzubauen. Orange Business suchte daher nach einer bestehenden Grundlage, und aus dieser Suche entstand Live Intelligence Studio.

Orange Innovation, der Innovations-Scouting-Arm der Orange Group, prüfte rund 20 große Cloud-Anbieter und spezialisierte KI-Lösungen. Die Wahl fiel auf LangChain, wegen der Modellneutralität und Portabilität. Damit behält das Team die volle Kontrolle über die Agentenarchitektur und kann Workloads entsprechend den europäischen Anforderungen an die Datensouveränität steuern. Für Evaluierungen und Observability passte LangSmith am besten.

"Die Observability-Funktionen in LangSmith waren deutlich weiter, als wir sie realistischerweise intern hätten bauen können", sagte Mathieu Ducrot, Head of AI Products bei Orange Business. "Hätten wir sie selbst entwickelt, wäre unsere Roadmap vermutlich um zwölf bis achtzehn Monate zurückgeworfen worden."

Studio, Portal und Console

Live Intelligence besteht aus drei Komponenten, die sich jeweils an unterschiedliche Nutzergruppen richten.

• Live Intelligence Studio richtet sich an KI-Ingenieure und Agentenentwickler, die komplexe, systemübergreifende Workflows entwerfen. Es umfasst einen LLM-as-a-Service-Katalog mit Modellen, die auf der Infrastruktur von Orange Business und in der Public Cloud gehostet werden, einen Agent Builder auf Basis von LangSmith Fleet, MCP-Unterstützung, Agenten-Observability über LangSmith sowie Orchestrierungswerkzeuge.
• Live Intelligence Portal ist die Oberfläche für Fachanwender, etwa HR-Teams, die Stellenbeschreibungen verfassen, Rechtsabteilungen, die NDA-Klauseln prüfen, Softwareteams, die Testskripte erzeugen, und Helpdesks, die IT-Support-Agenten bauen. Im Studio erstellte Workflows lassen sich direkt im Portal bereitstellen.
• Live Intelligence Console bietet Administratoren Nutzungsüberwachung, Leistungsverfolgung und die Durchsetzung von Sicherheits- und Compliance-Richtlinien.

Darüber hinaus sorgen zwei Registries für Governance im gesamten Unternehmen. Die Agent Registry ermöglicht es Teams, Agenten und Prompts zu finden, wiederzuverwenden, zu versionieren und zu steuern, sodass Agenten zu gemeinsam genutzten Assets mit Lifecycle-Management werden. Für Prompts nutzt Orange LangSmith Context Hub, um je Umgebung unterschiedliche Versionen vorzuhalten. So lassen sich Prompt-Änderungen testen und validieren, bevor sie in die Produktion gehen, und zwar ohne Codeänderung.

Die MCP Registry ist ein zentraler Katalog vertrauenswürdiger Tools, Konnektoren und externer Funktionen. Agenten greifen über eine kontrollierte, nachvollziehbare Schicht auf Unternehmenssysteme wie Microsoft 365, CRM-Systeme, interne APIs und individuelle Dienste zu. Laut der Fallstudie verlagert das Geschäftslogik aus den Prompts in die Plattformebene, sodass nicht jedes Team Authentifizierung, Sicherheit und Governance erneut lösen muss.

Dreistufige Evaluierung

Orange Business setzt im Produktivbetrieb auf eine dreistufige Evaluierung auf Basis von LangSmith.

• RAG-Qualität: Golden Datasets mit Frage-Antwort-Paaren, erwarteten Quelldokumenten, Retrieval-Recall, Grounding-Qualität und Antworttreue.
• Agentenverhalten: Genauigkeit der Tool-Auswahl, Aufgabenerfüllungsraten, Ablehnungsverhalten, Robustheit gegen Prompt Injection und Einhaltung geschäftlicher Vorgaben.
• Monitoring von Produktions-Traces: Latenz, Kosten, Modellnutzung, fehlgeschlagene Läufe, menschliches Feedback und Eskalationsfälle.

Das Debugging sei früher schwierig gewesen, weil Fehler im Modellverhalten verborgen blieben, sagte Ducrot. "Mit LangSmith können Ingenieure jeden Schritt der Ausführung prüfen und nachvollziehen, ob das Problem im Retrieval, im Prompt, im Modell, im Tool-Aufruf oder in der Geschäftslogik liegt", so Ducrot. KI-Ingenieure, Backend-Entwickler, Produktmanager und QA könnten dieselben Traces und Evaluierungsergebnisse einsehen.

Vor Änderungen in der Produktion führt Orange zudem Regressionsevaluierungen durch. Ingenieure können Agentenversionen vergleichen, historische Traces erneut abspielen und das Verhalten vor der Bereitstellung validieren. Bei Workflows mit mehreren Agenten und Tool-Aufrufen hilft der vollständige Ausführungsbaum dabei, herauszufinden, wo ein Workflow gescheitert ist, welcher Agent oder welches Tool lief, welche Eingabe und Antwort beteiligt waren und wie lange einzelne Schritte dauerten. Außerdem baut Orange Datasets aus Trace-Beispielen mit gutem oder schlechtem Agentenverhalten für Offline-Evaluierungen und die laufende Prompt-Verfeinerung auf.

Ergebnisse und nächste Schritte

Laut der Fallstudie hat das System die betriebliche Effizienz in den Teams verbessert und Ingenieuren wie Fachexperten einen gemeinsamen Workflow für die Agentenentwicklung verschafft. "Bei uns verantwortet das technische Team die Anwendung und die Umsetzung der agentischen Workflows, während das Fachteam aktiv an der Prompt-Verbesserung und Qualitätsbewertung mitwirken kann", sagte Ducrot und fügte hinzu, LangSmith mache Prompt-Iteration, Tracing und Evaluierung zu einem durchgängigen Verbesserungsprozess.

Orange plant, die Zusammenarbeit der Teams um Online-Evaluierungen für reichhaltigere Feedbackzyklen zu erweitern. Das Team arbeitet außerdem daran, komplexere Geschäftsprozesse zu automatisieren, etwa mit Agenten, die den gesamten Schadenprozess in der Versicherung samt CRM- und Rechts-Workflow-Integration unterstützen, sowie mit einem Agenten, der Sicherheitssensoren in einem Hafen überwacht und Einsatzkräfte vor Ort bei Notfällen alarmiert.

Der Bericht stammt von LangChain, das die beteiligten Werkzeuge verkauft. Die genannten Zahlen und Vorteile sind daher Angaben der Anbieter und von Orange selbst. Er zeigt aber, wie ein großes Unternehmen das Thema Agenten-Governance angeht: mit gemeinsamen Registries, versionierten Prompts und Evaluierungshürden vor der Bereitstellung.