Awesome GitHub RepositoriesRule-Based Plan Optimizations

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil

Calcite est un framework pour l'analyse, l'optimisation et la traduction de requêtes SQL en algèbre relationnelle pour une exécution sur diverses sources de données. Il fonctionne comme un moteur de requête multi-sources, une bibliothèque d'analyse SQL et un optimiseur d'algèbre relationnelle. Le projet fournit un moteur d'optimisation basé sur les coûts qui transforme les plans de requête logiques en plans d'exécution physiques efficaces à l'aide de règles enfichables. Il utilise des adaptateurs de traduction pour convertir les requêtes SQL standard dans les formats natifs de bases de données et systèmes de messagerie externes, permettant la fédération de données sur des systèmes de stockage hétérogènes. Le système couvre le cycle de vie complet des requêtes, incluant l'analyse SQL et la validation par rapport aux schémas, la traduction d'expressions en opérateurs algébriques et la sélection de plans d'exécution efficaces. Il inclut également une interface en ligne de commande pour exécuter des requêtes et gérer les connexions aux sources de données.

This project is an educational resource and technical manual for Apache Spark, focused on the architecture and practical application of large-scale data processing. It serves as a guide for big data engineering and distributed computing, covering the principles of parallel processing and fault-tolerant data distribution. The material provides instructional content on designing distributed ETL pipelines and implementing data analysis workflows. It includes tutorials for polyglot data processing, offering patterns and examples for using Python, Scala, and Java within a unified environment. The