Awesome GitHub RepositoriesQuery Execution Pipelines

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

ToyDB is a distributed SQL database that provides a system for storing and querying data across multiple nodes. It focuses on maintaining strong consistency and fault tolerance through the implementation of a distributed consensus algorithm. The project distinguishes itself by supporting historical data versioning, enabling time-travel queries to retrieve the state of the database from a specific point in the past. It utilizes multi-version concurrency control to manage ACID transactions and ensure data integrity during concurrent operations. The system covers relational data modeling with t

TypeDB es una base de datos de grafos fuertemente tipada y un sistema de gestión de grafos de conocimiento. Sirve como un almacén de datos multimodelo que unifica estructuras relacionales, de documentos y de grafos en un solo entorno, funcionando tanto como una base de datos compatible con ACID como un motor de consultas declarativo. El sistema se distingue por el uso de modelado de hipergrafos n-arios y jerarquías de tipos polimórficos. Emplea un esquema fuertemente tipado para imponer reglas estructurales y validar la integridad de los datos, permitiendo la inferencia polimórfica basada en tipos y el polimorfismo de interfaz basado en roles para resolver relaciones complejas automáticamente durante la ejecución de consultas. La plataforma cubre una amplia gama de capacidades, incluyendo el cálculo de relaciones recursivas mediante tabulación, transacciones con aislamiento de instantáneas y recuperación declarativa de datos. También admite alta disponibilidad mediante replicación de clúster basada en consenso, control de acceso basado en roles e integración con agentes de IA para la recuperación de datos estructurados. La gestión se realiza a través de una interfaz de línea de comandos, y el sistema proporciona herramientas para visualizar esquemas de grafos y auditar la actividad administrativa.