Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Fivetran erklärt, wie Apache Polaris verwaltete Iceberg-Tabellen katalogisiert

18. November 2026, 05:00Von der KI Nachrichten RedaktionQuelle: Fivetran
Fivetran erklärt, wie Apache Polaris verwaltete Iceberg-Tabellen katalogisiert
Bild: Fivetran

Fivetran hat eine Anleitung zur Nutzung von Apache Polaris als Katalog hinter seinem Managed Data Lake Service veröffentlicht. Der Dienst verwendet Polaris, um eine REST-basierte Schnittstelle für Iceberg-Tabellen über mehrere Cloud-Speicherziele hinweg bereitzustellen.

Das Wichtigste in Kürze
  • Apache Polaris ist der Standardkatalog für Fivetrans Iceberg-Tabellen.
  • Fivetran unterstützt die Ziele Amazon S3, ADLS Gen2, GCS und Microsoft OneLake.
  • Nutzer sollten Katalogtabellen abfragen, statt Parquet-Dateien direkt zu lesen.
  • Für die Einrichtung werden ein Polaris-Endpunkt, ein Katalogname, eine Client-ID und ein Client-Secret benötigt.
  • Die Konfigurationsanleitung deckt Spark, DuckDB, Snowflake sowie Trino und Starburst ab.

Ein REST-Katalog für Iceberg-Daten

Apache Polaris ist ein Open-Source-Katalog für Apache-Iceberg-Tabellen, der die Spezifikation der Iceberg-REST-API implementiert. Fivetran beschreibt ihn als Metadaten-Katalogdienst, der den aktuellen Metadatenzeiger und die Speicherorte der Metadatendateien erfasst. Dadurch können Abfrage-Engines Tabellen über eine standardisierte REST-Schnittstelle finden und darauf zugreifen.

Fivetrans Managed Data Lake Service schreibt Daten als Parquet-Dateien und verwaltet gleichzeitig die Metadaten der Iceberg-Tabellen. Als Ziele werden Amazon S3, Azure Data Lake Storage (ADLS Gen2), Google Cloud Storage (GCS) und Microsoft OneLake unterstützt. Der Fivetran Iceberg REST Catalog, der auf Apache Polaris basiert, ist der Standardkatalog für alle Iceberg-Tabellen.

Jedes Data-Lake-Ziel verfügt über eine eigene dedizierte Kataloginstanz, die automatisch anhand der Angaben zum Ziel konfiguriert wird. Fivetran zufolge kann nur das Unternehmen Katalogmetadaten schreiben oder aktualisieren. Dieser Ansatz soll die Datenintegrität wahren und Konflikte durch externe Änderungen verhindern.

Warum Entwickler den Katalog abfragen sollten

Die zentrale Empfehlung von Fivetran lautet, Iceberg-Tabellen über den Katalog abzufragen, statt direkt auf die zugrunde liegenden Parquet-Dateien zuzugreifen. Bei Abfragen der Rohdateien müssen Engines die Dateimetadaten prüfen sowie möglicherweise Tausende von Dateien auflisten und öffnen. Der Metadatenindex von Iceberg, der aus einer Manifest-Liste, Manifesten und Datendateien besteht, ermöglicht die Planung von Scans über entfernte Aufrufe, die nicht in gleicher Weise von der Tabellengröße abhängen.

Direkte Parquet-Abfragen bieten außerdem nicht die von Iceberg gewährleisteten Transaktionsgarantien. Laut Fivetran können Rohdateien unvollständige Schreibvorgänge sichtbar machen, konkurrierende Schreibvorgänge miteinander kollidieren lassen und keinen atomaren Commit über mehrere Dateien hinweg gewährleisten. Iceberg verwendet stattdessen bestätigte Snapshots, atomare Dateiergänzungen und eine optimistische Nebenläufigkeitskontrolle mit automatischer Wiederholung.

Der Katalog unterstützt auch Schemaänderungen wie das Hinzufügen, Löschen, Umbenennen und Neuanordnen von Spalten, ohne die zugrunde liegenden Daten neu schreiben zu müssen. Iceberg verfolgt Spalten anhand eindeutiger IDs. Katalogbasierte Abfragen können daher weiterhin logische Tabellen- und Spaltennamen verwenden, selbst wenn Fivetran das physische Dateilayout ändert. Leser können außerdem Löschdateien anwenden und einen konsistenten Snapshot sehen, statt Zeilen, die logisch gelöscht wurden.

Anmeldedaten und unterstützte Abfrage-Engines

Über das Fivetran-Dashboard unter Catalog integration > Base configuration können Nutzer vier Werte abrufen: den Polaris-Server-Endpunkt, den Namen des Polaris-Katalogs, eine Client-ID und ein Client-Secret. Fivetran weist darauf hin, dass das Client-Secret nur einmal angezeigt wird. Es kann über das Dashboard neu generiert werden, danach müssen jedoch die Konfigurationen der Engines aktualisiert werden.

Die Anleitung enthält Beispiele für die OAuth2-Konfiguration von Apache Spark, DuckDB, Snowflake sowie Trino und Starburst. Für Spark ist Apache Iceberg 1.9.0 oder höher mit Spark 3.4 oder 3.5 erforderlich, während die DuckDB-Integration DuckDB 1.2.1 oder höher voraussetzt. Fivetran bezeichnet DuckDBs REST-Katalogintegration als experimentell. Der Speicher ist derzeit auf S3 und S3-kompatiblen Speicher beschränkt. Unterstützung für GCS und ADLS ist ausstehend.

Snowflakes REST-Katalogintegration für externe Iceberg-Tabellen ist für Lesevorgänge allgemein verfügbar, während die Schreibunterstützung als Vorschau angeboten wird. Fivetran empfiehlt, beim Erstellen von Iceberg-Tabellen in Snowflake die automatische Aktualisierung zu aktivieren. Das Standardintervall beträgt 300 Sekunden beziehungsweise fünf Minuten; zulässig sind Werte von 30 bis 86400 Sekunden.

Für Nutzer besteht die praktische Änderung darin, auf von Fivetran verwaltete Daten mit Namen im Format catalog.schema.table zu verweisen, statt Pfade zum Cloud-Speicher zu verwenden. Dadurch kann die Abfrage-Engine den aktuellen Snapshot ermitteln, Daten- und Löschdateien lokalisieren und einen Scan anhand der Tabellenmetadaten planen.

Ähnliche Meldungen

Together AI startet kostenloses Caching für GPU-Cluster
Produkte und Tools19. November 2026

Together AI startet kostenloses Caching für GPU-Cluster

Together AI hat den Together Storage Accelerator gestartet, eine verteilte Caching-Schicht für seine GPU Clusters, die wiederholte Datenzugriffe aus lokalem…

LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor
Für Entwickler16. November 2026, 18:17

LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor

LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt. Der Ansatz soll ein Dataset auf mehrere Speicherorte verteilen, ohne die Portabilität relativer Pfade aufzugeben.…

Produkte und Tools
Produkte und Tools16. November 2026, 21:58

Snowflake öffnet Iceberg-Datenaustausch für externe Tools

Snowflake AI & Data Sharing ermöglicht es Anbietern nun, unterstützte Apache-Iceberg-Tabellen mit Nutzern von Iceberg-REST-Catalog-kompatiblen Clients, darunter Apache…