Comets Opik bekommt generative Dashboards, die über den Assistenten Ollie entstehen

Von der Anfrage in natürlicher Sprache zum Diagramm

Laut Comet nutzen Teams aus Finanzwesen, Technologie, E-Commerce und weiteren Branchen Opik, um Kennzahlen ihrer Agenten zu verfolgen, und diese Kennzahlen unterscheiden sich stark. Ein Finanzdienstleister, der prüft, ob ein interner Support-Agent die Unternehmensrichtlinien einhält, braucht andere Zahlen als ein Autohersteller, der sicherstellen will, dass ein kundennaher Chatbot die technischen Daten von Fahrzeugen korrekt wiedergibt.

Individuelle Dashboards können die passenden Kennzahlen sichtbar machen, doch ihr Aufbau erfordert laut Comet erheblichen Aufwand: Nutzer müssen ihr Datenschema und die zugrunde liegenden Abfragen verstehen und entscheiden, wie die Ergebnisse dargestellt werden. Die neue Funktion soll diese Arbeit überflüssig machen. Statt Trace-Metadaten zu durchforsten, Abfragen zu schreiben oder Diagramme zu gestalten, bittet der Nutzer Ollie um die gewünschte Ansicht. Muss das Ergebnis angepasst werden, lässt es sich im weiteren Gespräch mit Ollie verfeinern.

Generative Dashboards funktionieren ausschließlich über Ollie, den Comet als Opiks dialogbasierten KI-Assistenten beschreibt. Ollie zeigt in seiner eigenen Oberfläche mehrere Ansichten für Dashboard-Widgets an, und Nutzer können jede davon über die Schaltfläche „Add to Dashboard“ einem neuen oder bestehenden Dashboard hinzufügen.

Was im Hintergrund passiert

Comet beschreibt einen mehrstufigen Ablauf. Zunächst übersetzt Ollie die schriftliche Anfrage in eine schreibgeschützte SQL-Abfrage. Diese Abfrage holt die relevanten Daten zu Traces, Spans, Threads, Experimenten und Feedback-Scores aus der ClickHouse-Instanz des Nutzers. Anschließend analysiert Ollie das Ergebnis und erzeugt mehrere unterschiedliche Vega-Lite-Diagrammspezifikationen, die zum Anwendungsfall passen, sodass der Nutzer zwischen ihnen wählen kann.

Nach dem Hinzufügen wird das Diagramm zu einem normalen Widget, das sich verschieben, in der Größe ändern und teilen lässt. Um es später zu ändern, klicken Nutzer auf die Schaltfläche „Edit with Ollie“ und setzen die frühere Unterhaltung fort.

Ein Beispiel: Halluzinationen in einem Assistenten für den Autokauf aufspüren

Comet veranschaulicht die Funktion am Beispiel eines Autoherstellers, der eine Online-Plattform für den Autokauf betreibt. Kunden chatten dort mit einem KI-Assistenten über verfügbare Fahrzeuge und deren Daten, von der Motorleistung über den Kraftstoffverbrauch bis zu den Ausstattungsmerkmalen der Varianten. Falsche Angaben könnten Verkäufe kosten und dem Ruf des Unternehmens schaden, so Comet.

In dem Szenario bewertet das Entwicklerteam jede Unterhaltung mit einer eigenen LLM-as-a-Judge-Metrik, die halluzinierte Fahrzeugangaben markiert. Da regelmäßig neue Agentenversionen erscheinen, will das Team wissen, ob jede Version die Genauigkeit verbessert oder unbemerkt verschlechtert.

Das Team öffnet Ollie in einem neuen Dashboard und fragt nach dem durchschnittlichen Halluzinations-Score des Judges für Fahrzeugdaten, aufgeschlüsselt nach Agentenversion, für die letzten 30 Tage. Ollie erzeugt eine schreibgeschützte SQL-Abfrage, gruppiert die Ergebnisse nach der in den Trace-Metadaten gespeicherten Agentenversion und liefert ein Diagramm, das die Werte der einzelnen Releases vergleicht. Das erste Diagramm zeigt, dass neuere Versionen weniger halluzinieren. Anschließend bittet das Team um ein Liniendiagramm je Version, um Entwicklungen über die Zeit zu sehen, und Ollie aktualisiert das Widget an Ort und Stelle.

Nachdem das Team das Widget seinem Dashboard hinzugefügt hat, wo es sich mit neu eintreffenden Traces aktualisiert, sieht es, welches Release schlechter abschneidet und wann die Genauigkeit zu sinken begann. Laut Comet hilft dieser Zeitpunkt, das Problem auf eine Ursache zurückzuführen, etwa eine Prompt-Änderung, ein Update des Fahrzeugbestands oder veränderte Kundenfragen. Das Team kann dann die Traces aus diesem Zeitraum prüfen und ein Release korrigieren oder zurückrollen, bevor mehr Kunden falsche Angaben erhalten.

Verfügbarkeit und Bedeutung für Teams

Generative Dashboards sind laut Comet ab sofort allgemein in Opik verfügbar. Nutzer können sich für ein kostenloses Opik-Konto registrieren oder sich in einem bestehenden Workspace anmelden, ein Dashboard öffnen und Ollie um die gewünschte Ansicht bitten. Eine Dokumentation steht bereit, und Comet lädt Nutzer ein, ihre Arbeiten im öffentlichen Slack-Kanal zu teilen.

Für Teams, die Agenten in der Produktion betreiben, lautet das Versprechen: Tempo. Laut Comet gelangen Nutzer in einem einzigen Gespräch innerhalb weniger Minuten von der Frage zur individuellen Visualisierung, statt Zeit mit dem Schreiben von Abfragen und dem Gestalten von Diagrammen zu verbringen.