Awesome GitHub RepositoriesQuery Execution Pipelines

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

ToyDB is a distributed SQL database that provides a system for storing and querying data across multiple nodes. It focuses on maintaining strong consistency and fault tolerance through the implementation of a distributed consensus algorithm. The project distinguishes itself by supporting historical data versioning, enabling time-travel queries to retrieve the state of the database from a specific point in the past. It utilizes multi-version concurrency control to manage ACID transactions and ensure data integrity during concurrent operations. The system covers relational data modeling with t

TypeDB ist eine stark typisierte Graphdatenbank und ein Knowledge-Graph-Managementsystem. Es dient als Multi-Modell-Datenspeicher, der relationale, Dokument- und Graphstrukturen in einer einzigen Umgebung vereint und sowohl als ACID-konforme Datenbank als auch als deklarative Abfrage-Engine fungiert. Das System zeichnet sich durch die Verwendung von n-ären Hypergraph-Modellen und polymorphen Typ-Hierarchien aus. Es verwendet ein stark typisiertes Schema, um strukturelle Regeln durchzusetzen und die Datenintegrität zu validieren, was typbasierte polymorphe Inferenz und rollenbasierte Interface-Polymorphie ermöglicht, um komplexe Beziehungen während der Abfrageausführung automatisch aufzulösen. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich der Berechnung rekursiver Beziehungen mittels Tabling, Snapshot-Isolation-Transaktionen und deklarativem Datenabruf. Sie unterstützt zudem Hochverfügbarkeit durch konsensbasierte Cluster-Replikation, rollenbasierte Zugriffskontrolle und die Integration mit KI-Agenten für den strukturierten Datenabruf. Die Verwaltung wird über eine Kommandozeilenschnittstelle unterstützt, und das System bietet Tools zur Visualisierung von Graph-Schemata sowie zur Prüfung administrativer Aktivitäten.