Awesome GitHub RepositoriesMetadata Query Interfaces

Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Ignite ist eine verteilte In-Memory-Daten-Grid- und Rechenplattform. Es fungiert als verteilte SQL-Datenbank und Speicher-Engine, die entwickelt wurde, um große Datensätze im RAM zu speichern und zu verarbeiten, um Latenzzeiten zu minimieren und die Berechnungsgeschwindigkeit zu erhöhen. Das System zeichnet sich durch eine mehrstufige Speicher-Engine aus, die die Datenplatzierung über Speicher und Festplatte verwaltet, um Hochgeschwindigkeitszugriff mit großer Kapazität in Einklang zu bringen. Es verfügt über ein verteiltes Rechen-Grid, das benutzerdefinierte Logik direkt auf den Knoten ausführt, auf denen sich die Daten befinden, um den Netzwerkverkehr zu reduzieren. Die Plattform bietet ein breites Spektrum an Funktionen, einschließlich ACID-Transaktionsmanagement, Standard-SQL-Abfragen und Key-Value-Operationen. Sie unterstützt die Aufnahme großer Datenmengen über reaktive Streams und bietet Integration durch mehrere Programmiersprachen, Standard-Datenbanktreiber und eine REST-API. Das System kann als verteilter Cluster mithilfe von Containern bereitgestellt oder über Kubernetes orchestriert werden. Das Projekt ist in Java geschrieben und kann über Binärarchive installiert werden.