Awesome GitHub RepositoriesSQL Metadata Search

lakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.

fsql ist ein Command-Line-Interface-Tool, das eine SQL-ähnliche Abfragesprache zum Finden von Dateien und Verzeichnissen auf einem lokalen Datenträger bereitstellt. Es fungiert als Dateisystem-Abfrage-Engine, die es Benutzern ermöglicht, Dateien durch Ausführen strukturierter Anweisungen gegen Metadaten zu isolieren, anstatt Standard-Kommandozeilen-Flags zu verwenden. Das Tool bietet eine interaktive Read-Eval-Print-Loop, die mehrzeilige Abfragen und rekursive Unterabfragen unterstützt, bei denen die Ergebnisse verschachtelter Suchvorgänge als Kriterien für äußere Abfragen dienen. Suchbereiche sind durch die Auflösung absoluter Pfade, relativer Pfade, Umgebungsvariablen und Glob-Muster konfigurierbar. Das System wendet algebraische Operatoren, reguläre Ausdrücke und logische Filter auf Dateiattribute wie Hash, Größe und Änderungszeit an. Es enthält Datentransformations-Dienstprogramme, um diese Attribute in menschenlesbare Zeitstempel und standardisierte Größeneinheiten zu formatieren.