Microsoft Research startet Flint-interactive für KI-gebaute interaktive Diagramme

Das Problem mit KI-generierten interaktiven Diagrammen

KI-Agenten machen es laut Microsoft Research bereits leicht, Daten zu analysieren und Berichte mit Visualisierungen zu erstellen. Statische Diagramme stoßen jedoch schnell an Grenzen. Leserinnen und Leser wollen oft in Details hineinzoomen, Daten über mehrere Diagramme hinweg vergleichen oder aus einer Diagrammauswahl heraus verwandten Text in einem Dokument hervorheben, und umgekehrt. Als Ziel nennen die Forscher die Qualität interaktiver Geschichten im anspruchsvollen Datenjournalismus.

Selbst mit leistungsfähigen Frontier-Modellen bleiben dem Team zufolge zwei Hürden. Die erste sind hohe Generierungskosten: Agenten liefern selten in einem Durchgang eine rundum zufriedenstellende interaktive Visualisierung, und wiederholte Runden aus Reasoning, Coding und Debugging verbrauchen Token und Zeit. Die zweite ist die Zuverlässigkeit: Ausdrucksstarke interaktive Diagramme enden leicht mit schlechtem Layout oder defekten Interaktionen, und Korrekturen können neue Probleme erzeugen. Die eingebauten Interaktionen mancher Visualisierungsbibliotheken, so der Beitrag weiter, sind für maßgeschneiderte Diagramme nicht ausdrucksstark genug. Microsoft Research führt diese Schwierigkeiten darauf zurück, dass es keine ausdrucksstarke, abstrakte Sprache zur Beschreibung visueller Interaktionen gibt.

So funktioniert Flint-interactive

Flint-interactive stützt sich auf den Compiler von Flint, der Nutzerinteraktionen in semantische Events übersetzt, die erfassen, was hinter der Auswahl der Nutzer steckt. Übergeordnete Operatoren aktualisieren die Visualisierung dann als Reaktion auf diese Events. Damit wandert die Last, Abhängigkeiten zwischen Interaktionslogik und visueller Logik aufzulösen, vom Nutzer oder Agenten auf den Compiler.

Microsoft Research beschreibt eine Aufteilung in zwei Ebenen:

• Visuelle Logik: Der Compiler löst rohe Auslöser wie Klicks, Ziehen und Tastenanschläge in semantische Events auf, die Diagrammelemente und Daten identifizieren. Außerdem setzt er Update-Operatoren in gerenderte Änderungen auf der Canvas um, einschließlich Hit-Testing und visueller Updates auf niedriger Ebene.
• Interaktionslogik: Der Nutzer oder Agent ordnet semantische Events Update-Operatoren für das Diagramm zu, etwa „set style“, um Daten hervorzuheben, „set annotation“, um einen Punkt zu beschriften, oder „set viewport“ zum Verschieben oder Zoomen. Dieselben Events können auch externe Tabellen, Widgets oder den Anwendungszustand aktualisieren.

Flint Canvas ist laut dem Beitrag eine Zustandsmaschine, die Interaktionen verfolgt und den Rendering-Zustand verwaltet. Da Event-Erzeugung und visuelle Updates kompositionell sind, kann das Modell Diagramme in interaktiven Geschichten und Dashboards auch mit Tabellen, Text, anderen Diagrammen und Widgets verknüpfen.

Drei Wege zur Nutzung

Der erste Weg ist der Chat. Nutzer können Flint Interactive über Flint-MCP und MCP Apps in einer Chat- oder Canvas-Umgebung ausführen, gemäß der MCP-Setup-Anleitung. Mit dem aktuellen Release kann ein Agent neben der Flint-Diagrammspezifikation eine interaction_spec erzeugen und das interaktive Diagramm direkt in der Unterhaltung darstellen. Nutzer können außerdem Elemente auswählen und diesen Kontext an Folgeanfragen übergeben.

Der zweite Weg ist der Bau von Apps. Entwickler können Flint Interactive Canvas in Dashboards, Datengeschichten oder anderen Anwendungen einsetzen. Apps können mit Event-Handlern semantische Events von Flint Canvas verarbeiten, etwa um eine Tabelle zu filtern oder ein anderes Diagramm zu aktualisieren, und Update-Operatoren an die Canvas senden, sodass eigene Widgets steuern, wie sich das Diagramm verändert.

Der dritte Weg ist die maßgeschneiderte Interaktion. Über die Presets hinaus definieren Entwickler per Programmier-API einen Auslöser und eine eigene Handler-Funktion, die semantische Events auf benutzerdefinierte Update-Abfolgen abbildet. Ein Beispiel hebt ein angeklicktes Land hervor und beschriftet es mit seinem Namen, indem es „set style“ und „set annotation“ kombiniert, ohne rendererspezifische Marks anzufassen. In einem DimpVis-Beispiel zieht der Nutzer einen Punkt entlang eines Zeitpfads, um zu sehen, wie sich Temperatur und Niederschlag in verschiedenen Städten verändern.

Was das für Nutzer und Entwickler bedeutet

Für Diagrammnutzer ermöglicht der Ansatz laut Microsoft Research, direkt im Chat mit Diagrammen zu interagieren und auf Basis ihrer Auswahl Folgefragen zu stellen. Für Entwickler, die Agenten bauen, besteht das Ziel darin, dass diese Agenten ihren Kunden interaktive Visualisierungen zur Datenerkundung liefern, mit weniger Entwicklungsaufwand und weniger Problemen bei Layout, Rendering und Debugging, so das Unternehmen.

Microsoft Research lädt zudem zu Beiträgen ein. Interaktionsdesigner können die maßgeschneiderten Beispiele erkunden, eine neue Interaktion entwerfen und in ein wiederverwendbares Preset überführen, das sie dann auf GitHub vorschlagen, um das Interaktionsvokabular von Flint zu erweitern. App-Entwickler können den Skill „interaction-author“ mit ihrem Coding-Agenten teilen, um einer App Presets hinzuzufügen. Als Autoren nennt der Beitrag Chenglong Wang, Yuwei Xiao, Alper Sarikaya, Michel Galley, Chris Quirk und Jianfeng Gao.