Awesome GitHub RepositoriesSQL Data Retrieval

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

hello-sql is a collection of educational resources and practical guides designed for mastering relational database design, SQL query writing, and schema mapping. It provides a set of lessons and exercises for practicing the creation and manipulation of data within relational databases. The project includes a database schema workbook for designing tables and mapping relationships, alongside a dedicated SQL query guide for writing selection, filtering, and aggregation statements. These resources are delivered through a relational database tutorial and a broader SQL learning resource. The mater

Connect is a Kafka data integration platform and stream processing engine used to build declarative pipelines that move and transform messages between Kafka topics and external sources. It functions as a Kafka Connect framework and a change data capture tool, streaming real-time database modifications to synchronize data across distributed environments. The project differentiates itself through a dedicated mapping language for mutating and reshaping message payloads and the ability to execute custom processing logic within a sandboxed WebAssembly runtime. It also provides an observability pip

This project provides a SQL interface for Elasticsearch, serving as a translator and database layer that allows users to retrieve, filter, and manipulate indices using structured query language. It functions by converting standard SQL statements into the native JSON query language used by the search engine. The system includes a geospatial SQL engine for executing location-based searches and distance calculations. It also features a query debugger used to visualize the translation process from SQL to search engine request bodies to verify the logic and accuracy of data retrieval. The capabil

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Trailbase ist eine Backend-as-a-Service-Plattform, die als einzelne ausführbare Datei bereitgestellt wird und eine Echtzeit-Datenbank-Engine, ein Identitäts- und Zugriffsmanagement sowie einen typsicheren API-Generator integriert. Sie bietet eine umfassende Backend-Umgebung, einschließlich einer SQLite-basierten Speicher-Engine und einer WebAssembly-Runtime-Server zur Ausführung benutzerdefinierter Logik. Die Plattform zeichnet sich dadurch aus, dass sie Datenbankschemata automatisch in JSON-APIs mit sprachübergreifenden Client-Bindings transformiert und die Ausführung portabler Komponenten für Server-Side-Rendering und benutzerdefinierte HTTP-Routen ermöglicht. Sie integriert zudem Vektor-Datenbankfunktionen zur Unterstützung der Speicherung von Embeddings und Ähnlichkeitssuche. Das System deckt ein breites Spektrum operativer Funktionen ab, einschließlich Benutzerauthentifizierung mit Social-Login-Unterstützung, Zugriffskontrolllisten für Datensichtbarkeit und Pub-Sub-Synchronisierung für Live-Daten-Updates. Es bietet zudem Tools zur Verwaltung von Datenbankschemata mittels SQL-Migrationen und zur Handhabung von Geodaten.

Biopython ist eine Bioinformatik-Bibliothek für Python, die Werkzeuge zum Parsen, Manipulieren und Analysieren biologischer Sequenzen, molekularer Strukturen und phylogenetischer Bäume bereitstellt. Sie dient als Parser für biologische Sequenzen für genomische und proteomische Daten in verschiedenen Industriestandard-Formaten und fungiert als Schnittstelle zum Abfragen biologischer Daten und Zitate aus NCBI Entrez-Repositories. Das Projekt zeichnet sich durch spezialisierte Toolkits für die Analyse von Proteinstrukturen und die Konstruktion phylogenetischer Bäume aus. Es enthält einen Proteinstruktur-Analysator zur Verarbeitung von PDB- und mmCIF-Dateien zur Berechnung der Molekulargeometrie sowie ein Toolkit für phylogenetische Bäume zur Analyse evolutionärer Beziehungen zwischen Arten. Die Bibliothek deckt ein breites Spektrum bioinformatischer Funktionen ab, einschließlich der Analyse genomischer Sequenzen für Transkription und Translation, der Verwaltung von Sequenzalignments und populationsgenetischer Berechnungen. Sie bietet zudem Tools zur strukturellen Analyse für die Manipulation von 3D-Atomkoordinaten sowie Dienstprogramme zur Visualisierung genomischer Merkmale und zur Modellierung biogeografischer Daten. Das System integriert externe Bioinformatik-Binärdateien durch Tool-Wrapping und unterstützt die persistente Speicherung biologischer Datensätze durch SQL-basierte Sequenzspeicherung.