Awesome GitHub RepositoriesRelational Query Optimizers

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Calcite ist ein Framework zum Parsen, Optimieren und Übersetzen von SQL-Abfragen in relationale Algebra für die Ausführung über verschiedene Datenquellen hinweg. Es fungiert als Cross-Source-Query-Engine, SQL-Parsing-Bibliothek und Optimierer für relationale Algebra. Das Projekt bietet eine kostenbasierte Optimierungs-Engine, die logische Abfragepläne mittels pluggbarer Regeln in effiziente physische Ausführungspläne umwandelt. Es nutzt Übersetzungsadapter, um Standard-SQL-Anfragen in die nativen Formate externer Datenbanken und Messaging-Systeme zu konvertieren, was Datenföderation über heterogene Speichersysteme hinweg ermöglicht. Das System deckt den gesamten Abfrage-Lebenszyklus ab, einschließlich SQL-Parsing und Validierung gegen Schemata, die Übersetzung von Ausdrücken in algebraische Operatoren sowie die Auswahl effizienter Ausführungspläne. Es enthält zudem ein Command-Line-Interface zum Ausführen von Abfragen und Verwalten von Verbindungen zu Datenquellen.

Redka ist ein SQL-basierter Key-Value-Store, der eine Redis-kompatible Schnittstelle implementiert. Er fungiert als relationale Datenbrücke, die nicht-relationale Protokollbefehle in relationale Abfragen übersetzt, um Persistenz und ACID-Transaktionen unter Verwendung eines SQL-Datenbank-Backends bereitzustellen. Das System ermöglicht die relationale Datenintrospektion, indem es interne Key-Value-Daten als SQL-Views offenlegt, was direkte Abfragen und Analysen mittels relationaler Syntax ermöglicht. Es kann als eigenständiger Netzwerkserver oder als eingebettete Bibliothek innerhalb einer Go-Anwendung bereitgestellt werden. Das Projekt unterstützt eine Vielzahl von Datenstrukturen, einschließlich Strings, Listen, Hashes, ungeordneten Sets und sortierten Sets. Es bietet Funktionen für das Key-Lifecycle-Management mit Time-to-Live-Metadaten, atomare numerische Operationen und Set-Algebra. Zur Verwaltung von Performance und Zugriff enthält es einen In-Memory-Speichermodus und einen Read-Only-Verbindungsmodus.

This project is an educational resource and technical manual for Apache Spark, focused on the architecture and practical application of large-scale data processing. It serves as a guide for big data engineering and distributed computing, covering the principles of parallel processing and fault-tolerant data distribution. The material provides instructional content on designing distributed ETL pipelines and implementing data analysis workflows. It includes tutorials for polyglot data processing, offering patterns and examples for using Python, Scala, and Java within a unified environment. The