1 Repo
Awesome GitHub RepositoriesFile-Based Data Engines
Systems that use SQL to directly process and query large-scale flat files as primary data sources.
Distinct from Parquet Readers: Differs from simple parsers or readers by providing a full SQL-based query engine over files.
Explore 1 awesome GitHub repository matching data & databases · File-Based Data Engines. Refine with filters or upvote what's useful.
Awesome File-Based Data Engines GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- cwida/duckdb
cwida/duckdb
38,822Auf GitHub ansehenDuckDB ist eine eingebettete, In-Process analytische SQL-Datenbank und ein OLAP-Datenbankmanagementsystem. Es fungiert als Daten-Engine für Parquet- und CSV-Dateien und ermöglicht es Benutzern, komplexe SQL-Abfragen auf großen Datensätzen auszuführen, ohne einen separaten Serverprozess zu benötigen. Das System ist für lokale analytische Verarbeitung und eingebettete Data-Science-Workflows konzipiert. Es ermöglicht das direkte Abfragen und Analysieren von Parquet- und CSV-Dateien von der Festplatte, wodurch das Laden von Daten in eine permanente Datenbank entfällt. Die Engine bietet eine leistungsstarke analytische SQL-Ausführung, einschließlich Unterstützung für Fensterfunktionen und verschachtelte Unterabfragen. Sie verwendet ein spaltenbasiertes Speicherlayout und vektorisierte Abfrageausführung, um umfangreiche Datenmanipulationen und -analysen zu bewältigen. Die Datenbank ist über eine eigenständige Befehlszeilenschnittstelle sowie sprachspezifische Bindings für Python, R, Java und Wasm zugänglich.
Serves as a data engine that imports and queries large Parquet and CSV files directly using SQL.
C++
