Awesome GitHub RepositoriesQuery Execution Pipelines

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

ToyDB is a distributed SQL database that provides a system for storing and querying data across multiple nodes. It focuses on maintaining strong consistency and fault tolerance through the implementation of a distributed consensus algorithm. The project distinguishes itself by supporting historical data versioning, enabling time-travel queries to retrieve the state of the database from a specific point in the past. It utilizes multi-version concurrency control to manage ACID transactions and ensure data integrity during concurrent operations. The system covers relational data modeling with t

TypeDB est une base de données orientée graphe fortement typée et un système de gestion de graphes de connaissances. Il sert de magasin de données multi-modèles qui unifie les structures relationnelles, documentaires et de graphes dans un environnement unique, fonctionnant à la fois comme une base de données conforme ACID et un moteur de requête déclaratif. Le système se distingue par l'utilisation de la modélisation par hypergraphes n-aires et de hiérarchies de types polymorphes. Il emploie un schéma fortement typé pour appliquer des règles structurelles et valider l'intégrité des données, permettant une inférence polymorphe basée sur les types et un polymorphisme d'interface basé sur les rôles pour résoudre automatiquement les relations complexes lors de l'exécution des requêtes. La plateforme couvre un large éventail de capacités, notamment le calcul de relations récursives via le tabling, les transactions avec isolation par snapshot et la récupération de données déclarative. Elle prend également en charge la haute disponibilité via la réplication de cluster basée sur le consensus, le contrôle d'accès basé sur les rôles et l'intégration avec des agents IA pour la récupération de données structurées. La gestion est prise en charge via une interface de ligne de commande, et le système fournit des outils pour visualiser les schémas de graphes et auditer l'activité administrative.