Awesome GitHub RepositoriesSQL Data Retrieval

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

hello-sql is a collection of educational resources and practical guides designed for mastering relational database design, SQL query writing, and schema mapping. It provides a set of lessons and exercises for practicing the creation and manipulation of data within relational databases. The project includes a database schema workbook for designing tables and mapping relationships, alongside a dedicated SQL query guide for writing selection, filtering, and aggregation statements. These resources are delivered through a relational database tutorial and a broader SQL learning resource. The mater

Connect is a Kafka data integration platform and stream processing engine used to build declarative pipelines that move and transform messages between Kafka topics and external sources. It functions as a Kafka Connect framework and a change data capture tool, streaming real-time database modifications to synchronize data across distributed environments. The project differentiates itself through a dedicated mapping language for mutating and reshaping message payloads and the ability to execute custom processing logic within a sandboxed WebAssembly runtime. It also provides an observability pip

This project provides a SQL interface for Elasticsearch, serving as a translator and database layer that allows users to retrieve, filter, and manipulate indices using structured query language. It functions by converting standard SQL statements into the native JSON query language used by the search engine. The system includes a geospatial SQL engine for executing location-based searches and distance calculations. It also features a query debugger used to visualize the translation process from SQL to search engine request bodies to verify the logic and accuracy of data retrieval. The capabil

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Trailbase est une plateforme backend-as-a-service livrée sous forme d'exécutable unique qui intègre un moteur de base de données en temps réel, un gestionnaire d'identités et d'accès, et un générateur d'API typé. Elle fournit un environnement backend complet incluant un moteur de stockage basé sur SQLite et un serveur runtime WebAssembly pour exécuter une logique personnalisée. La plateforme se distingue en transformant automatiquement les schémas de base de données en API JSON avec des liaisons client multi-langages et en permettant l'exécution de composants portables pour le rendu côté serveur et des routes HTTP personnalisées. Elle incorpore en outre des capacités de base de données vectorielle pour prendre en charge le stockage d'embeddings et la recherche vectorielle basée sur la similarité. Le système couvre un large éventail de capacités opérationnelles, notamment l'authentification des utilisateurs avec prise en charge de la connexion sociale, des listes de contrôle d'accès pour la visibilité des données et une synchronisation pub-sub pour les mises à jour de données en direct. Elle fournit également des outils pour gérer les schémas de base de données via des migrations SQL et gérer les données géospatiales.

Biopython est une bibliothèque de bioinformatique pour Python fournissant des outils pour analyser, manipuler et étudier les séquences biologiques, les structures moléculaires et les arbres phylogénétiques. Elle sert d'analyseur de séquences biologiques pour les données génomiques et protéomiques à travers de multiples formats de fichiers standards de l'industrie et agit comme une interface pour interroger les données biologiques et les citations des dépôts NCBI Entrez. Le projet se distingue par des toolkits spécialisés pour l'analyse de structure protéique et la construction d'arbres phylogénétiques. Il inclut un analyseur de structure protéique pour traiter les fichiers PDB et mmCIF afin de calculer la géométrie moléculaire, ainsi qu'un toolkit d'arbres phylogénétiques pour analyser les relations évolutives entre les espèces. La bibliothèque couvre un large éventail de capacités bioinformatiques, incluant l'analyse de séquences génomiques pour la transcription et la traduction, la gestion des alignements de séquences et les calculs de génétique des populations. Elle fournit également des outils d'analyse structurelle pour la manipulation de coordonnées atomiques 3D, ainsi que des utilitaires pour la visualisation de caractéristiques génomiques et la modélisation de données biogéographiques. Le système s'intègre avec des binaires bioinformatiques externes via l'encapsulation d'outils et prend en charge le stockage persistant d'enregistrements biologiques via un stockage de séquences basé sur SQL.