Awesome GitHub RepositoriesHigh-Performance Databases

RocksDB is a high-performance, embeddable persistent key-value library and storage engine based on Log-Structured Merge-trees. It is designed to provide durable storage for large-scale datasets, integrating directly into applications to manage data on flash and RAM-based hardware. The engine is distinguished by its focus on minimizing read and write amplification through multi-threaded compaction and custom memory allocators. It features specialized optimizations for flash storage, including support for zoned block devices, and provides the ability to extend store behavior via external plugin

TDengine is a distributed time-series database designed for the high-speed ingestion, compression, and retrieval of timestamped metrics and sensor data. It functions as a SQL-compatible analytics engine, allowing users to perform complex operations on massive volumes of time-ordered information using standard relational syntax. The platform is built to serve as a backend foundation for industrial IoT environments, managing real-time data streams and device metadata through a cluster-based architecture. The system distinguishes itself through a distributed sharding architecture that uses consi

WooCommerce is a comprehensive eCommerce framework for WordPress that transforms websites into fully functional online stores for physical and digital goods. It serves as a digital storefront manager for product catalogs, inventory, and customer orders across retail and wholesale business models. The system functions as a payment gateway integrator, connecting shops to diverse processors for credit cards, digital wallets, and subscriptions. It also operates as an order fulfillment system for calculating shipping rates, generating labels, and coordinating delivery via third-party couriers, whi

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

better-sqlite3 is a high-performance SQLite3 client for Node.js that executes queries synchronously, returning results directly without callbacks or promises. It compiles as a native addon using N-API, binding directly to the SQLite3 C library for immediate query execution and zero-copy result serialization into native JavaScript objects. The library is optimized for Write-Ahead Logging (WAL) mode, enabling faster concurrent reads and writes in web applications. It provides durability level tuning through the synchronous pragma, allowing adjustments between FULL, NORMAL, and OFF modes to bala

node-sqlite3 is a relational database client and a set of native bindings that allow Node.js applications to interact with SQLite databases. It functions as a C++ native addon, linking JavaScript to the SQLite C library to manage data stored in local files or in-memory stores. The project includes optional support for SQLCipher, enabling page-level encryption to secure local database files. The driver covers a wide range of database management capabilities, including executing SQL queries with parameter binding, managing connections to database files, and preparing statements for repeated ex

Noria ist eine dynamische Dataflow-Engine und eine Datenbank für materialisierte Sichten, die teure Leseoperationen in schnelle, schlüsselbasierte Lookups umwandelt. Es arbeitet als zustandsbehaftetes System, das abhängige Sichten inkrementell aktualisiert, sobald sich die zugrunde liegenden relationalen Basistabellen ändern. Das System kann als MySQL-Protokollemulator fungieren und das Binärprotokoll nachahmen, sodass Anwendungen vorberechnete Daten abrufen können, ohne den Client-Code ändern zu müssen. Es kann auch als eingebettete Rust-Datenbank verwendet werden, bei der der Server über native Bindings direkt in ein Programm integriert wird, um Dataflow-Operationen ohne externe Koordination durchzuführen. Das Projekt umfasst die Koordination verteilter Datenflüsse, einschließlich der Überwachung des Status von Worker-Nodes mittels Heartbeats. Es bietet Werkzeuge für die Verwaltung relationaler Tabellen, die Synchronisation inkrementeller Sichten und die Verwaltung von Datenflussgraphen. Die Beobachtbarkeit (Observability) wird durch das Sammeln von Domänenstatistiken, Performance-Benchmarking und einen Web-Dateninspektor zum Durchsuchen vorberechneter Ergebnisse unterstützt.

InternetArchitect ist eine pädagogische Sammlung von Dokumenten und Quellcode, die als Kurs für Hochverfügbarkeitsarchitektur konzipiert ist. Sie dient als Implementierungsleitfaden für verteilte Systeme und bietet technische Patterns und praktische Beispiele für das Design skalierbarer Internetarchitekturen, die unter hoher Verkehrslast stabil bleiben. Das Projekt konzentriert sich auf hochperformante Datenbankoptimierung und Microservices-Design-Patterns. Es deckt Strategien zur Latenzreduzierung und Durchsatzsteigerung durch Datenbank-Sharding und Proxy-Layer ab sowie die Koordination des globalen Zustands über verteilte Cluster hinweg. Der architektonische Umfang umfasst mehrstufige Caching-Strategien zur Beschleunigung des Datenabrufs und die Implementierung von Service-Discovery-Frameworks zur Verwaltung der Kommunikation zwischen entkoppelten Microservices. Es adressiert zudem die Koordination verteilter Zustände und die Nutzung von Load-Balancing-Meshes zur Verteilung des Netzwerkverkehrs auf Backend-Server.

Ebean ist ein Java-Object-Relational-Mapping-Framework, das darauf ausgelegt ist, die Datenbankpersistenz durch automatisierte Abfragegenerierung, Schemamigration und Transaktionsverwaltung zu vereinfachen. Es verwendet metadatengesteuertes Mapping und Bytecode-Enhancement, um die Lücke zwischen Anwendungsobjekten und relationalen Datenbanktabellen zu schließen, und bietet eine persistente Schicht, die komplexe Dateninteraktionen handhabt und gleichzeitig die Konsistenz über Unit-of-Work-Grenzen hinweg aufrechterhält. Das Framework zeichnet sich durch seinen Fokus auf Entwicklerproduktivität und Leistungsoptimierung aus. Es bietet typsichere Abfrage-Builder, die Code zur Kompilierzeit generieren, was IDE-Autovervollständigung und statische Validierung von Datenbankoperationen ermöglicht. Zudem enthält es integrierte Unterstützung für Container-basiertes Testen, wodurch Entwickler ephemere Datenbankinstanzen verwalten und die Schema-Initialisierung direkt innerhalb ihrer Test-Suites automatisieren können. Über das Kern-Mapping hinaus bietet das Projekt eine umfassende Suite an Tools für Datenverwaltung und Observability. Dies beinhaltet automatisierte Schema-Evolution, Read-Replica-Routing für Verbindungsmanagement und mehrstufiges Caching zur Reduzierung der Datenbanklast. Es bietet zudem Diagnosefunktionen wie die Erfassung von Abfrageausführungsplänen und verteiltes Tracing, um bei der Leistungsoptimierung zu unterstützen. Die Bibliothek unterstützt moderne Deployment-Workflows, einschließlich Ahead-of-Time-Kompilierung für native Images, um den Overhead durch Laufzeit-Reflektion zu eliminieren. Sie wird als Standard-Java-Bibliothek vertrieben, wobei Dokumentation und Tools zur Unterstützung der Integration in bestehende Build-Prozesse verfügbar sind.