Awesome GitHub RepositoriesBulk Data Loading

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

This project is a feature-rich Go client library designed for interacting with Redis. It serves as a comprehensive interface for managing remote data stores, enabling developers to execute standard database commands, handle complex data structures, and perform asynchronous operations within Go applications. The library distinguishes itself through its support for advanced Redis capabilities, including connection pooling, pipelining, and transactional integrity. It provides specialized primitives for managing distributed clusters, including automated topology updates and request routing to sha

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Cayley is a graph database engine designed for storing and querying interconnected data using a quad-based data model. It functions as an RDF quad store, managing information through subjects, predicates, objects, and labels. The system features a modular graph store architecture with pluggable backends, allowing it to swap between in-memory storage and various external persistent databases. It includes a GraphQL-inspired API and a dedicated data visualizer for the interactive exploration of nodes and edges. Query capabilities cover bidirectional path traversal and multi-syntax execution usi

YugabyteDB is a distributed SQL database and relational data store designed for horizontal scalability and high availability across multiple nodes or regions. It functions as a cloud-native system that ensures continuous availability and supports PostgreSQL compatible query languages and drivers. The system includes specialized capabilities as a vector database for AI, utilizing high-dimensional indexing to perform similarity searches. It is engineered as a multi-region cloud database that synchronizes data across different geographic locations to maintain global availability. The project co

Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations

pq is a PostgreSQL driver for Go that implements the standard database/sql interface. It serves as a connection library and protocol implementation that translates application data types into the binary and text formats required by PostgreSQL. The project provides specialized utilities for high-performance data ingestion using bulk data loading and a dedicated bulk data importer. It also features an implementation for listening to asynchronous server notifications and provides tools for connection load balancing across multiple hosts and ports. The driver covers a broad surface of database i

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Pentaho Kettle este o platformă enterprise de integrare a datelor ETL, concepută pentru a extrage, transforma și încărca date între surse disparate și baze de date țintă. Funcționează ca un orchestrator bazat pe metadate care utilizează un designer vizual de flux de lucru pentru a crea și gestiona secvențe complexe de sarcini de date și pipeline-uri de transformare. Sistemul se distinge prin motorul său de procesare distribuită a datelor, care execută sarcinile de lucru pe clustere de noduri de server pentru a crește throughput-ul. Utilizează o arhitectură bazată pe plugin-uri, permițând extinderea platformei prin fișiere JAR externe pentru a oferi conectivitate către diverse baze de date și servicii cloud. Platforma acoperă o gamă largă de capabilități de integrare a datelor, inclusiv încărcarea în masă, gestionarea fișierelor la distanță și transformarea structurii datelor. Oferă instrumente pentru validarea calității datelor, automatizarea pipeline-urilor și gestionarea ciclului de viață al joburilor, alături de utilitare de monitorizare pentru urmărirea stării de sănătate a serverului și a stării de execuție în timp real.

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

GraphQL-Ruby este o bibliotecă Ruby pentru construirea de API-uri GraphQL cu o schemă puternic tipizată și un motor dedicat de execuție a interogărilor. Aceasta oferă un framework cuprinzător pentru maparea obiectelor aplicației la un sistem formal de tipuri, permițând preluarea structurată a datelor prin resolver-e definite. Proiectul se distinge prin mecanisme avansate de performanță și livrare, inclusiv un data loader pentru batching și caching, menit să prevină tiparele de interogare N+1. Suportă livrarea de date de înaltă performanță prin streaming incremental de răspunsuri, răspunsuri amânate la interogări și preluarea paralelă a datelor folosind fibers. În plus, oferă suport nativ pentru convențiile Relay, inclusiv helper-e specializate pentru conexiuni și identificarea obiectelor. Biblioteca acoperă o suprafață largă de gestionare a API-urilor, incluzând controlul accesului granular, versionarea schemei pentru a menține compatibilitatea backward și actualizări în timp real prin subscripții. Include, de asemenea, instrumente de gestionare a traficului pentru a proteja resursele serverului, cum ar fi limitarea complexității interogărilor și limitarea ratei de cereri. Dezvoltarea și observabilitatea sunt susținute prin instrumente de analiză AST, tracing de execuție și utilitare de testare specializate pentru verificarea încărcării în loturi (batch loading).

Ignite este o platformă distribuită de calcul și grid de date în memorie. Acesta funcționează ca o bază de date SQL distribuită și un motor de stocare conceput pentru a stoca și procesa seturi mari de date în RAM pentru a minimiza latența și a crește viteza de calcul. Sistemul se distinge printr-un motor de stocare pe mai multe niveluri care gestionează plasarea datelor în memorie și pe disc pentru a echilibra accesul de mare viteză cu capacitatea mare. Dispune de un grid de calcul distribuit care execută logica personalizată direct pe nodurile unde rezidă datele pentru a reduce traficul de rețea. Platforma oferă un set larg de capabilități, inclusiv gestionarea tranzacțiilor ACID, interogarea SQL standard și operațiuni cheie-valoare. Suportă ingestia de date de mare volum prin fluxuri reactive și oferă integrare prin mai multe limbaje de programare, drivere de baze de date standard și un API REST. Sistemul poate fi implementat ca un cluster distribuit folosind containere sau orchestrat prin Kubernetes. Proiectul este scris în Java și poate fi instalat prin arhive binare.

Acest proiect este un strat de acces la date SQL și un generator de schemă care permite citirea și scrierea înregistrărilor în baze de date relaționale prin tratarea tabelelor ca structuri de date simple. Funcționează ca un generator automat de schemă care creează tabele și coloane de bază de date din mers, pe baza structurii datelor primite. Instrumentul oferă un încărcător în masă de înaltă performanță care importă seturi mari de date folosind tranzacții atomice grupate pentru a asigura consistența datelor. Include, de asemenea, un mecanism de upsert al înregistrărilor care determină dacă să actualizeze un rând existent sau să insereze unul nou pe baza identificatorilor unici. Sistemul acoperă gestionarea dinamică a schemei, inclusiv rezoluția implicită a coloanelor și furnizarea tabelelor. Oferă, de asemenea, o interfață de interogare bazată pe colecții pentru preluarea înregistrărilor sau extragerea valorilor unice fără a scrie interogări manuale.

linq2db is a type-safe object-relational mapper that translates LINQ expressions into optimized SQL queries for multiple database providers. It functions as a database mapper that links classes to tables and includes a SQL query builder and a command-line schema tool for generating data classes from existing databases. The project provides high-performance bulk data processing for inserting and loading large volumes of records via batch or binary copy methods. It also supports advanced SQL operations, including window functions, common table expressions for recursive hierarchical querying, an