LanceDBs lancify-Paket wandelt Bilddatensätze in das Lance-Format um

LanceDB hat lancify vorgestellt, ein Python-Paket, das Bilddatensätze mit einem einzigen Funktionsaufruf oder über eine Kommandozeilenschnittstelle in das Lance-Format umwandelt. Das Paket soll einen bislang stärker manuellen Ablauf mit Google-Colab-Notebooks und eigenen Skripten ersetzen.
- lancify wandelt Bilddatensätze in das Lance-Format um.
- Das Paket unterstützt optionale Größenanpassungen und Datensatzaufteilungen.
- Datensätze lassen sich mit Python oder über eine CLI umwandeln.
- Metadaten wie Dateinamen, Labels und Aufteilungen werden automatisch extrahiert.
- Umgewandelte Lance-Daten lassen sich in Pandas laden.
Einfacherer Weg zu Lance-Datensätzen
Das Paket lässt sich mit pip install lancify installieren. Anschließend können Nutzer convert_dataset aus lancify.converter importieren und den Pfad zu einem Bilddatensatz angeben.
Der Umwandlungsprozess unterstützt optionale Bildgrößenanpassungen und Datensatzaufteilungen. Im von LanceDB bereitgestellten Beispiel werden die Bilder auf 256x256 skaliert und über die Aufteilungen train, test und valid verarbeitet. Die Größenanpassung ist optional. Nutzer können None übergeben, um die ursprünglichen Bildabmessungen beizubehalten.
Bei Datensätzen ohne vordefinierte Aufteilungen organisiert lancify die Bilder nach Klassifizierungslabels und erstellt eine einzelne Lance-Datei mit den Bildern und den zugehörigen Labels. Wenn Aufteilungen vorhanden sind, speichert das Paket für jede Aufteilung eigene Lance-Dateien.
Welche Aufgaben lancify automatisch übernimmt
Laut LanceDB liest convert_dataset Bilddateien ein und extrahiert Metadaten wie Dateiname, Kategorie und Datenaufteilung. Anschließend wandelt die Funktion die Bilder mit einem passenden Schema in das Lance-Format um.
Im Hintergrund werden Bilddaten und Metadaten für die spaltenbasierte Speicherung in PyArrow-RecordBatch-Objekte verpackt. Diese Datensätze werden in Lance-Datensätze geschrieben, die das Unternehmen als für Leistung und Speicherplatz optimiert beschreibt.
Damit entfallen mehrere Schritte, die zuvor manuell erledigt werden mussten, darunter das Durchlaufen von Verzeichnissen, das Erstellen von Schemata und das Schreiben von Daten in Lance-Dateien. LanceDB stellt das Paket als kompaktere Alternative zum bisherigen Google-Colab-Workflow vor.
Workflows mit Python und über die Kommandozeile
Nutzer können mit lancify programmgesteuert oder über dessen CLI-SDK arbeiten. Die CLI ist nach der Installation des Pakets mit pip verfügbar. Anschließend können Nutzer den Befehl lancify in einem Terminal ausführen und dessen Argumenten folgen.
Nach der Umwandlung lässt sich ein Datensatz in Pandas laden. Im Beispiel von LanceDB wird ein Lance-Datensatz mit der Python-Bibliothek lance geöffnet, in eine Tabelle umgewandelt und anschließend mit to_pandas() ein Pandas-Dataframe erstellt.
Für Machine-Learning-Nutzer verringert die Änderung den erforderlichen Umwandlungscode und bietet einen direkten Weg von Bildverzeichnissen zu einem spaltenbasierten Datensatzformat. LanceDB zufolge kann dies das Laden und Verarbeiten von Daten beschleunigen, insbesondere bei großen Bilddatensätzen. Die Quelle nennt allerdings keine Benchmarkwerte.
LanceDB: Python Package to convert image datasets to Lance type


