Awesome GitHub RepositoriesSQL Metadata Search

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

fsql este un instrument de interfață în linie de comandă care oferă un limbaj de interogare de tip SQL pentru găsirea fișierelor și directoarelor pe un disc local. Acesta funcționează ca un motor de interogare a sistemului de fișiere, permițând utilizatorilor să izoleze fișierele prin executarea unor instrucțiuni structurate împotriva metadatelor în loc de utilizarea flag-urilor standard de linie de comandă. Instrumentul dispune de un loop interactiv read-eval-print care suportă interogări pe mai multe linii și subinterogări recursive, unde rezultatele operațiunilor de căutare imbricate servesc drept criterii pentru interogările exterioare. Domeniile de căutare sunt configurabile prin rezoluția căilor absolute, căilor relative, variabilelor de mediu și modelelor glob. Sistemul aplică operatori algebrici, expresii regulate și filtre logice asupra atributelor fișierelor, cum ar fi hash, dimensiune și timpul de modificare. Include utilitare de transformare a datelor pentru a formata aceste atribute în marcaje temporale lizibile și unități de dimensiune standardizate.