Awesome GitHub RepositoriesBulk Data Loading

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

This project is a feature-rich Go client library designed for interacting with Redis. It serves as a comprehensive interface for managing remote data stores, enabling developers to execute standard database commands, handle complex data structures, and perform asynchronous operations within Go applications. The library distinguishes itself through its support for advanced Redis capabilities, including connection pooling, pipelining, and transactional integrity. It provides specialized primitives for managing distributed clusters, including automated topology updates and request routing to sha

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Cayley is a graph database engine designed for storing and querying interconnected data using a quad-based data model. It functions as an RDF quad store, managing information through subjects, predicates, objects, and labels. The system features a modular graph store architecture with pluggable backends, allowing it to swap between in-memory storage and various external persistent databases. It includes a GraphQL-inspired API and a dedicated data visualizer for the interactive exploration of nodes and edges. Query capabilities cover bidirectional path traversal and multi-syntax execution usi

YugabyteDB is a distributed SQL database and relational data store designed for horizontal scalability and high availability across multiple nodes or regions. It functions as a cloud-native system that ensures continuous availability and supports PostgreSQL compatible query languages and drivers. The system includes specialized capabilities as a vector database for AI, utilizing high-dimensional indexing to perform similarity searches. It is engineered as a multi-region cloud database that synchronizes data across different geographic locations to maintain global availability. The project co

Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations

pq is a PostgreSQL driver for Go that implements the standard database/sql interface. It serves as a connection library and protocol implementation that translates application data types into the binary and text formats required by PostgreSQL. The project provides specialized utilities for high-performance data ingestion using bulk data loading and a dedicated bulk data importer. It also features an implementation for listening to asynchronous server notifications and provides tools for connection load balancing across multiple hosts and ports. The driver covers a broad surface of database i

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Pentaho Kettle ist eine Enterprise-ETL-Datenintegrationsplattform, die darauf ausgelegt ist, Daten zwischen unterschiedlichen Quellen und Zieldatenbanken zu extrahieren, zu transformieren und zu laden. Sie fungiert als metadatengesteuerter Orchestrator, der einen visuellen Workflow-Designer nutzt, um komplexe Sequenzen von Datenaufgaben und Transformationspipelines zu erstellen und zu verwalten. Das System zeichnet sich durch seine verteilte Datenverarbeitungs-Engine aus, die Workloads über Cluster von Server-Nodes hinweg ausführt, um den Durchsatz zu erhöhen. Es verwendet eine Plugin-basierte Architektur, die es ermöglicht, die Plattform über externe JAR-Dateien zu erweitern, um Konnektivität zu diversen Datenbanken und Cloud-Diensten bereitzustellen. Die Plattform deckt ein breites Spektrum an Datenintegrationsfunktionen ab, einschließlich Bulk-Loading, Remote-Dateiverwaltung und Datenstrukturtransformation. Sie bietet Werkzeuge für Datenqualitätsvalidierung, Pipeline-Automatisierung und Job-Lebenszyklusmanagement sowie Überwachungsprogramme zur Verfolgung des Serverzustands und des Echtzeit-Ausführungsstatus.

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

GraphQL-Ruby ist eine Ruby-Bibliothek zum Erstellen von GraphQL-APIs mit einem stark typisierten Schema und einer dedizierten Query-Execution-Engine. Sie bietet ein umfassendes Framework zum Mappen von Anwendungsobjekten auf ein formales Typsystem, was strukturiertes Datenabrufen durch definierte Resolver ermöglicht. Das Projekt zeichnet sich durch fortschrittliche Performance- und Bereitstellungsmechanismen aus, darunter einen Data Loader für Batching und Caching zur Vermeidung von N+1-Abfragemustern. Es unterstützt leistungsstarke Datenbereitstellung durch inkrementelles Response-Streaming, verzögerte Abfrageantworten und paralleles Datenabrufen mittels Fibers. Zudem bietet es native Unterstützung für Relay-Konventionen, einschließlich spezialisierter Helfer für Connections und Objektidentifikation. Die Bibliothek deckt ein breites Spektrum an API-Management ab, einschließlich fein abgestufter Zugriffskontrolle, Schema-Versionierung zur Wahrung der Abwärtskompatibilität und Echtzeit-Updates via Subscriptions. Sie enthält zudem Traffic-Management-Tools zum Schutz von Serverressourcen, wie z. B. die Begrenzung der Abfragekomplexität und Request-Rate-Limiting. Entwicklung und Observability werden durch AST-Analysewerkzeuge, Execution-Tracing und spezialisierte Test-Utilities zur Verifizierung von Batch-Loading unterstützt.

Ignite ist eine verteilte In-Memory-Daten-Grid- und Rechenplattform. Es fungiert als verteilte SQL-Datenbank und Speicher-Engine, die entwickelt wurde, um große Datensätze im RAM zu speichern und zu verarbeiten, um Latenzzeiten zu minimieren und die Berechnungsgeschwindigkeit zu erhöhen. Das System zeichnet sich durch eine mehrstufige Speicher-Engine aus, die die Datenplatzierung über Speicher und Festplatte verwaltet, um Hochgeschwindigkeitszugriff mit großer Kapazität in Einklang zu bringen. Es verfügt über ein verteiltes Rechen-Grid, das benutzerdefinierte Logik direkt auf den Knoten ausführt, auf denen sich die Daten befinden, um den Netzwerkverkehr zu reduzieren. Die Plattform bietet ein breites Spektrum an Funktionen, einschließlich ACID-Transaktionsmanagement, Standard-SQL-Abfragen und Key-Value-Operationen. Sie unterstützt die Aufnahme großer Datenmengen über reaktive Streams und bietet Integration durch mehrere Programmiersprachen, Standard-Datenbanktreiber und eine REST-API. Das System kann als verteilter Cluster mithilfe von Containern bereitgestellt oder über Kubernetes orchestriert werden. Das Projekt ist in Java geschrieben und kann über Binärarchive installiert werden.

Dieses Projekt ist eine SQL-Datenzugriffsschicht und ein Schema-Generator, der das Lesen und Schreiben von Datensätzen in relationalen Datenbanken ermöglicht, indem Tabellen als einfache Datenstrukturen behandelt werden. Es fungiert als automatischer Schema-Generator, der Datenbanktabellen und Spalten basierend auf der Struktur der eingehenden Daten im laufenden Betrieb erstellt. Das Tool bietet einen hochperformanten Bulk-Loader, der große Datensätze unter Verwendung gruppierter atomarer Transaktionen importiert, um Datenkonsistenz zu gewährleisten. Es enthält zudem einen Record-Upsert-Mechanismus, der basierend auf eindeutigen Identifikatoren bestimmt, ob eine bestehende Zeile aktualisiert oder eine neue eingefügt werden soll. Das System deckt dynamisches Schema-Management ab, einschließlich impliziter Spaltenauflösung und Tabellenbereitstellung. Es bietet zudem eine sammlungsbasierte Abfrageschnittstelle zum Abrufen von Datensätzen oder Extrahieren eindeutiger Werte, ohne manuelle Abfragen schreiben zu müssen.

linq2db is a type-safe object-relational mapper that translates LINQ expressions into optimized SQL queries for multiple database providers. It functions as a database mapper that links classes to tables and includes a SQL query builder and a command-line schema tool for generating data classes from existing databases. The project provides high-performance bulk data processing for inserting and loading large volumes of records via batch or binary copy methods. It also supports advanced SQL operations, including window functions, common table expressions for recursive hierarchical querying, an