Microsoft baut synthetische Unternehmen, um Copilot ohne Kundendaten zu testen

Das Problem: realistische Daten ohne echte Daten

Wer Copilot im Unternehmensmaßstab bewerten wolle, brauche Testdaten, die die ganze Komplexität realer Organisationen abbilden, so Microsoft. Dazu zählen Berichtsstrukturen, Projekthistorien, Kommunikationsmuster und branchenspezifische Arbeitsabläufe. Echte Unternehmensdaten enthalten jedoch sensible Informationen, die unter keinen Umständen für Evaluierungen verwendet werden dürfen.

Um das Dilemma zu lösen, hat das Unternehmen eine Plattform gebaut, die auf drei Säulen ruht: synthetische Unternehmensumgebungen, automatisierte Pipelines zur Generierung von Anfragen und strukturierte Qualitätsrahmen. Microsoft versteht das Ziel als Antwort auf zwei Fragen: Tut Copilot, was Nutzerinnen und Nutzer brauchen, und lässt sich das belegen, ohne jemals deren Daten zu berühren?

So funktionieren die synthetischen Umgebungen

Statt kleiner, von Hand zusammengestellter Testdatensätze erzeugt Microsoft vollständige, simulierte Arbeitsumgebungen. Jede davon heißt Tenant, vom Unternehmen definiert als isolierte Organisationsumgebung mit eigenen Nutzern, Daten und Konfigurationen. Die Umgebungen enthalten realistische Nutzer, Meetings, E-Mails, Dokumente und Organisationsstrukturen.

Damit sie realistisch bleiben, stützt Microsoft sie auf öffentlich verfügbare Quellen:

• O*NET-Daten des US-Arbeitsministeriums, die Rollen und Aufgaben der Beschäftigten realistisch machen, die Mischung und Häufigkeit von Arbeitstätigkeiten kalibrieren und Workflows wie die Prüfung klinischer Studien oder Portfolio-Updates zuschneiden.
• Online-Stellenanzeigen, die Rollenbezeichnungen, Berichtshierarchien und die Zusammensetzung von Abteilungen liefern.
• SEC-Einreichungen, die Aufschluss über Unternehmensgröße, Strukturen der Geschäftsbereiche und finanzielle Rahmenbedingungen geben.

Alle diese Quellen seien von der Rechts- und Richtlinienabteilung von Microsoft geprüft und freigegeben worden, heißt es. Die Umgebungen sind zudem nicht statisch. Sie simulieren Organisationen, die sich im Lauf der Zeit verändern, mit Meetingverläufen, Projektzeitplänen, über Wochen gewachsenen E-Mail-Threads und organisatorischen Umbrüchen. Das ist laut Microsoft wichtig, weil viele Copilot-Anfragen einen Zeitbezug haben, etwa die Frage, was das Team am vergangenen Donnerstag entschieden hat oder was sich seit der letzten Quartalsprüfung geändert hat.

Bislang wurden drei Umgebungen erzeugt: ein Pharmaunternehmen mit Abläufen für Zulassungseinreichungen und Sicherheitsprüfungs-Meetings, ein Kapitalmarktunternehmen mit Deal-Pipelines und Compliance-Kommunikation sowie ein IT- und Softwareunternehmen, das Sprint-Planung, Code-Reviews und die Koordination von Produkteinführungen abdeckt.

Automatisierte Anfragen und Qualitätsprüfungen

Synthetische Umgebungen brauchen weiterhin realistische Fragen, mit denen sich Copilot testen lässt. Tausende fundierte, branchenspezifische Anfragen von Hand zu schreiben, ist nach Microsofts Worten unverhältnismäßig teuer und langsam. Das Unternehmen hat deshalb eine automatisierte Pipeline mit sechs Stufen entwickelt. Sie beginnt mit einer großen Bibliothek gängiger Arbeitsaufgaben, grenzt diese auf die für eine Branche relevanten ein und passt sie mit fachspezifischer Sprache an. Anschließend erzeugt KI Anfragen, die auf den Daten der Umgebung basieren, formuliert sie natürlicher um und prüft jede einzelne auf Korrektheit und Einzigartigkeit.

Die Qualität wird mit einem internen semantischen Bewertungsrahmen beurteilt. Als Dimensionen nennt Microsoft strukturelle Treue, kontextuelle Relevanz, Verhaltensrealismus und Inhaltssicherheit. Die Prüfung der Inhaltssicherheit fragt, ob erzeugtes Material frei von schädlichen, anstößigen oder personenbezogenen Inhalten ist und keine realen Personen imitiert.

Automatisierung sieht Microsoft auch als Mittel gegen praktische Grenzen: Manuelle Prozesse liefern jedes Mal leicht unterschiedliche Ergebnisse, die Zahl der Branchen und Konfigurationsvarianten übersteigt das, was ein Team von Hand aufbauen kann, und die manuelle Erstellung dauert Tage, was das Feedback verlangsamt.

Was das bedeutet

Laut Microsoft trägt die Plattform dazu bei, die erste standardisierte Evaluierungsbasis für Copilot zu schaffen. Für Organisationen, die Copilot einsetzen, liegt der genannte Nutzen in einer Bewertung, die branchenspezifische Arbeit widerspiegelt, etwa Szenarien aus der Pharma- oder Kapitalmarktbranche, und zugleich Kundendaten aus den Tests heraushält. Das Unternehmen beschreibt die Umgebungen als skalierbare Ausgangsbasen, auf denen Teams nach Bedarf aufbauen können.