Awesome GitHub RepositoriesRule-Based Plan Optimizations

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil

Calcite este un framework pentru parsarea, optimizarea și traducerea interogărilor SQL în algebră relațională pentru execuție pe diverse surse de date. Funcționează ca un motor de interogare cross-source, o bibliotecă de parsare SQL și un optimizator de algebră relațională. Proiectul oferă un motor de optimizare bazat pe costuri care transformă planurile logice de interogare în planuri de execuție fizică eficiente, folosind reguli pluggable. Utilizează adaptoare de traducere pentru a converti cererile SQL standard în formatele native ale bazelor de date externe și ale sistemelor de mesagerie, permițând federarea datelor între sisteme de stocare eterogene. Sistemul acoperă întregul ciclu de viață al interogării, incluzând parsarea SQL și validarea pe baza schemelor, traducerea expresiilor în operatori algebrici și selectarea planurilor de execuție eficiente. Include, de asemenea, o interfață de linie de comandă pentru executarea interogărilor și gestionarea conexiunilor la sursele de date.

This project is an educational resource and technical manual for Apache Spark, focused on the architecture and practical application of large-scale data processing. It serves as a guide for big data engineering and distributed computing, covering the principles of parallel processing and fault-tolerant data distribution. The material provides instructional content on designing distributed ETL pipelines and implementing data analysis workflows. It includes tutorials for polyglot data processing, offering patterns and examples for using Python, Scala, and Java within a unified environment. The