Google Cloud führt einheitliche Beobachtbarkeit für BigQuery- und Looker-KI-Agenten ein

Google Cloud erweitert die Beobachtung und Evaluierung von KI-Agenten in seiner Data Cloud. Teams erhalten damit eine gemeinsame Möglichkeit, eigene Agenten in BigQuery und Looker ebenso zu überwachen wie benutzerdefinierte Agenten, die mit ADK oder LangGraph entwickelt wurden. Nach Angaben des Unternehmens sollen die Tools dabei helfen, Aktivitäten von Agenten nachzuverfolgen, sensible Daten zu schützen, Kosten zu kontrollieren und die Qualität von Antworten zu testen.
- Google Cloud vereinheitlicht die Telemetrie für eigene und benutzerdefinierte KI-Agenten.
- Gesprächsprotokolle können in kundeneigenen BigQuery-Tabellen gespeichert werden.
- BigQuery Studio und Looker bieten Dashboards zur Überwachung von Agenten.
- Token-Kontingente und Begrenzungen der Abfrage-Bytes helfen bei der Kostenkontrolle.
- Prism unterstützt wiederverwendbare Evaluierungstests vor Änderungen in der Produktion.
Telemetrie landet in kundeneigenen BigQuery-Tabellen
Google Cloud führt schrittweise ein einheitliches Telemetrie-Framework für seine agentenbasierten Datenprodukte ein. Das Framework erfasst Informationen von eigenen und Drittanbieter-Agenten, schreibt sie in vom Kunden kontrollierte BigQuery-Tabellen und macht sie in vorhandenen Entwickler- und Administrator-Tools zur Analyse verfügbar.
Conversational-Analytics-Agenten erzeugen laut Google Cloud ohne zusätzliche Einrichtung Telemetrie. Abfragen, die über Agent-zu-Agent-Workflows an BigQuery-Datenagenten in Gemini Enterprise weitergeleitet werden und die das Unternehmen als allgemein verfügbar bezeichnet, senden Cloud-Monitoring-Metriken, Cloud-Trace-Spans und BigQuery-Konversationsprotokolle an das Projekt des Agenten. Benutzerdefinierte Agenten, die mit dem Agent Development Kit oder LangGraph erstellt wurden, können strukturierte Telemetrie über eine einzeilige SDK-Instrumentierung senden.
Die ebenfalls als allgemein verfügbar bezeichnete verwaltete Konversationsprotokollierung in BigQuery ermöglicht es Kunden, Conversational-Analytics-Traces einschließlich Eingabeaufforderungen und Antworten in eigenen Tabellen zu prüfen. Die Conversational Analytics API umfasst ständig aktive Administrator-Audit-Logs sowie optionale Audit-Logs für Datenzugriffe in Cloud Audit Logs. Außerdem werden VPC Service Controls, kundenseitig verwaltete Verschlüsselungsschlüssel sowie regionale und multiregionale Datenresidenz unterstützt.
Überwachung, Datenschutz und Kostenkontrolle
BigQuery Studio bietet vorkonfigurierte Dashboards für Nutzung, aktive Sitzungen, Wissensquellen und Latenz über BigQuery-Conversational-Analytics-Agenten hinweg. In Looker erfassen System-Activity-Dashboards die Interaktion und den Token-Verbrauch von Conversational Analytics. Nutzerbewertungen und die Abfrageprüfung im Tab „Responses & feedback“ werden als Vorschauversion geführt.
Google Cloud trennt operative Telemetrie von Gesprächsinhalten. Administratoren können aggregierte Cloud-Monitoring-Metriken wie Anfragevolumen, Latenz und Token-Verbrauch sowie schrittweise Cloud-Trace-Spans aktivieren. Nach Angaben des Unternehmens enthalten bereinigte Trace-Spans eigener Dienste und operative Metriken keine Nutzeraufforderungen, Modellantworten, internen Gedankengänge oder erzeugten SQL-Abfragen.
Besitzer und Bearbeiter von Agenten können die Konversationsprotokollierung für eine detailliertere Prüfung von Transkripten aktivieren. Google Cloud erklärt, dass Datenschutzprüfungen die Protokollierung überspringen, wenn eine Wissensquelle Sicherheit auf Zeilenebene, Richtlinien-Tags auf Spaltenebene oder dynamische Datenmaskierung verwendet. Für benutzerdefinierte Agenten kann das Open-Source-Plug-in BigQueryAgentAnalyticsPlugin Ausführungsbäume von Tool-Aufrufen, Zeitreihen-Telemetrie und multimodale Nutzdaten nach BigQuery übertragen.
Zu den Kostenkontrollen gehören Begrenzungen der pro Abfrage gescannten BigQuery-Bytes sowie tägliche Kontingente für Eingabe- und Ausgabetokens. Die Kontingente werden als Vorschauversion geführt. BigQuery-Logs erfassen für jeden Durchlauf die Anzahl der Eingabe-, Ausgabe-, Gedanken-, zwischengespeicherten und gesamten Tokens sowie die gesamte Latenz des Durchlaufs.
Evaluierung rückt neben die Produktionsüberwachung
Google Cloud beschreibt außerdem Prism, ein Open-Source-Tool zur Evaluierung von Conversational-Analytics-Agenten. Diese greifen über die Conversational Analytics API auf BigQuery-Tabellen oder Looker Explores zu. Prism unterstützt wiederverwendbare Testsuiten, Assertions mit regulären Ausdrücken und die Suche nach Agenten in mehreren Regionen.
Nach Angaben des Unternehmens kann Prism abgeschlossene Evaluierungsläufe in tagespartitionierte BigQuery-Tabellen übertragen. Dadurch stehen Benchmark-Ergebnisse neben den Produktionsanalysen. Teams können so Änderungen an Eingabeaufforderungen, Modellen oder Datenschemata vergleichen, bevor sie Nutzer erreichen. Google Cloud verweist außerdem auf BigQuery-AI-Funktionen, das Open-Source-Python-SDK bigquery-agent-analytics und ein Colab-Start-Notebook zur Analyse von Fehlern und wiederkehrenden Problemen.
Für Nutzer und Plattformteams bringt die Ankündigung Überwachung, Governance, Ausgabenkontrollen und Tests vor der Einführung in derselben Datenumgebung zusammen. Der von Google Cloud beschriebene praktische Effekt ist eine bessere Transparenz darüber, wie Agenten arbeiten und welche Ressourcen sie verbrauchen. Kundenseitig kontrollierter Speicher und Datenschutzkontrollen sollen zugleich die Offenlegung sensibler Gesprächsdaten begrenzen.
Google Cloud: New AI agent observability and governance across BigQuery and Looker


