Snowflake CoCo richtet Snowpipe-Ingestion-Pipelines jetzt per einzelnem Prompt ein

Was CoCo bei einer neuen Datenquelle übernimmt

Snowpipe ist der Dienst von Snowflake für kontinuierliches Laden. Laut Snowflake erfasst er jede neue Datei in der Regel innerhalb weniger Minuten nach ihrem Eintreffen im Cloud-Speicher, auf serverloser Rechenkapazität, die Snowflake verwaltet. Der aufwendige Teil, so das Unternehmen, liegt vor dem ersten Ladevorgang: Dateien prüfen, um Formatoptionen zu wählen, dann Storage Integration, Stage, Tabelle und Pipe anlegen. Unter AWS muss ein Cloud-Team zusätzlich eine IAM-Rolle, eine Trust Policy und die Ereignisbenachrichtigungen einrichten, die Snowpipe über neue Dateien informieren.

Mit der neuen Funktion verweist ein Nutzer CoCo auf einen Pfad in Amazon S3, Azure Blob Storage oder Google Cloud Storage. CoCo zieht Stichproben aus den Dateien, erkennt das Format (CSV, JSON, Parquet, Avro, ORC oder XML), schlägt Spaltennamen und Datentypen vor, baut die Pipeline und prüft, ob die Daten wie erwartet geladen werden. Das automatisierte Snowpipe-Setup steht in Snowsight, CoCo Desktop und CoCo CLI zur Verfügung und richtet sich an alle mit den passenden Berechtigungen, ohne dass auf einen Data Engineer gewartet werden muss.

Snowflake zufolge nutzt CoCo kompatible Storage Integrations, Stages und Dateiformate wieder. Deckt bereits eine Pipe dieselben Dateien ab, weist CoCo darauf hin und wartet auf die Entscheidung des Nutzers, damit Daten nicht doppelt geladen werden. Dateien, die vor der Pipe eingetroffen sind, bleiben nicht außen vor: CoCo bietet an, die letzten sieben Tage sofort nachzuladen, und kann für ältere Bestände einen einmaligen Ladevorgang ausführen. Sendet eine Anwendung neue Felder, kann CoCo die Schemaevolution aktivieren, sodass daraus neue Spalten werden; bei einer bestehenden Tabelle fragt CoCo vorher nach.

Freigaben, AWS-Delegation und Infrastructure as Code

Snowflake betont die Kontrolle. Jede Anweisung läuft unter der aktiven Snowflake-Rolle des Nutzers, und standardmäßig zeigt CoCo das SQL und holt eine Freigabe ein, bevor Snowflake-Objekte erstellt oder geändert werden. Ist das Setup abgeschlossen, hält Snowpipe den Datenfluss auch nach dem Ende der CoCo-Sitzung am Laufen.

Für Amazon S3 nutzt das Setup die temporäre IAM-Delegation von AWS. CoCo bereitet eine Anfrage für begrenzte, zeitlich befristete Berechtigungen vor: Benachrichtigungszugriff auf einen Bucket und die Erlaubnis, die von Snowpipe genutzte Storage-Rolle zu erstellen oder zu aktualisieren, mit einer Permissions Boundary, die den Handlungsspielraum der Rolle begrenzt. Der Nutzer prüft die Berechtigungen in der AWS Management Console und kann sie erlauben, ablehnen oder die Anfrage an einen AWS-Administrator weiterleiten. Anschließend erstellt Snowflake die Storage-Rolle und die Trust Policy und fügt die Benachrichtigungsregel der Pipe hinzu, während die bestehenden Regeln des Buckets erhalten bleiben. AWS-Zugriffsschlüssel müssen nicht weitergegeben werden. Laut Snowflake protokolliert AWS CloudTrail jede Setup-Aktion unter der delegierten Rolle, und die Abfragehistorie von Snowflake zeigt jede von CoCo ausgeführte Anweisung.

CoCo bietet vier Setup-Optionen: temporären Zugriff auf Amazon S3, Terraform für die gesamte Pipeline, bestehenden Cloud-Zugriff oder Snowflake-Objekte plus Dateien für das Cloud-Setup. Für Teams, die per Code deployen, schreibt CoCo Terraform, das Snowflake-Objekte und Cloud-Ressourcen auf AWS, Azure und Google Cloud abdeckt, einschließlich Iceberg-Tabellen, zur Prüfung in einem Pull Request. Die vierte Option erzeugt Terraform-, CloudFormation- oder ARM-Vorlagen, die ein Cloud-Team ausrollen kann. CoCo Desktop und CoCo CLI können diese Dateien mit den Cloud-Zugangsdaten auf dem Rechner des Nutzers anwenden und fragen vor jeder Anwendung nach. In Snowsight werden die Dateien in einem Ordner namens snowpipe im Workspace gespeichert.

Iceberg-Tabellen und Prüfung der Ladevorgänge

Nutzer können statt einer Standardtabelle eine Iceberg-Tabelle anfordern. CoCo richtet dann eine von Snowflake verwaltete Iceberg-Tabelle und die zugehörige Pipe ein. Laut Snowflake schreibt Snowpipe die Daten als Parquet und wandelt andere Formate beim Laden um, während Snowflake die Iceberg-Metadaten pflegt, sodass Apache Spark und andere Iceberg-kompatible Engines dieselbe Tabelle lesen können. Auch die Tabellenwartung für diese Tabellen übernimmt Snowflake.

Nach Abschluss von Zugriff und Deployment prüft CoCo den Pipe-Status, die Zustellung der Benachrichtigungen und die Ladehistorie und meldet Ladefehler, sodass Nutzer SYSTEM$PIPE_STATUS nicht selbst abfragen müssen.

Was das für Teams bedeutet

Snowflake stellt den Start unter das Stichwort Tempo: Neue Datenquellen wie Clickstream-Dateien von Apps, Sicherheitsprotokolle, Sensordaten oder Partner-Exporte verlieren an Wert, solange sie in einem Bucket liegen, den niemand abfragen kann. Saptarshi Mukherjee, Senior Director of Product Management bei Snowflake, sagte, das Unternehmen übernehme „die schwierigen Teile beim Anbinden jeder neuen Quelle“. Chris Spandikow, Director of Engineering bei AWS, sagte, der Delegationsansatz erlaube es Kunden, „in der AWS Console begrenzten, zeitlich befristeten Zugriff zu genehmigen, während Snowflake das Snowpipe-Setup übernimmt“.

Für Teams bedeutet die Änderung, dass die Anbindung einer neuen Quelle nicht mehr von einer Warteschlange für Data Engineer und Cloud-Administrator abhängt, während Freigabeschritte und Audit-Logs erhalten bleiben. Die Dokumentation zum automatisierten Snowpipe-Setup stellt Snowflake bereit.