Awesome GitHub RepositoriesHigh-Performance Databases

RocksDB is a high-performance, embeddable persistent key-value library and storage engine based on Log-Structured Merge-trees. It is designed to provide durable storage for large-scale datasets, integrating directly into applications to manage data on flash and RAM-based hardware. The engine is distinguished by its focus on minimizing read and write amplification through multi-threaded compaction and custom memory allocators. It features specialized optimizations for flash storage, including support for zoned block devices, and provides the ability to extend store behavior via external plugin

TDengine is a distributed time-series database designed for the high-speed ingestion, compression, and retrieval of timestamped metrics and sensor data. It functions as a SQL-compatible analytics engine, allowing users to perform complex operations on massive volumes of time-ordered information using standard relational syntax. The platform is built to serve as a backend foundation for industrial IoT environments, managing real-time data streams and device metadata through a cluster-based architecture. The system distinguishes itself through a distributed sharding architecture that uses consi

WooCommerce is a comprehensive eCommerce framework for WordPress that transforms websites into fully functional online stores for physical and digital goods. It serves as a digital storefront manager for product catalogs, inventory, and customer orders across retail and wholesale business models. The system functions as a payment gateway integrator, connecting shops to diverse processors for credit cards, digital wallets, and subscriptions. It also operates as an order fulfillment system for calculating shipping rates, generating labels, and coordinating delivery via third-party couriers, whi

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

better-sqlite3 is a high-performance SQLite3 client for Node.js that executes queries synchronously, returning results directly without callbacks or promises. It compiles as a native addon using N-API, binding directly to the SQLite3 C library for immediate query execution and zero-copy result serialization into native JavaScript objects. The library is optimized for Write-Ahead Logging (WAL) mode, enabling faster concurrent reads and writes in web applications. It provides durability level tuning through the synchronous pragma, allowing adjustments between FULL, NORMAL, and OFF modes to bala

node-sqlite3 is a relational database client and a set of native bindings that allow Node.js applications to interact with SQLite databases. It functions as a C++ native addon, linking JavaScript to the SQLite C library to manage data stored in local files or in-memory stores. The project includes optional support for SQLCipher, enabling page-level encryption to secure local database files. The driver covers a wide range of database management capabilities, including executing SQL queries with parameter binding, managing connections to database files, and preparing statements for repeated ex

Noria est un moteur de flux de données dynamique et une base de données à vues matérialisées qui transforme les opérations de lecture coûteuses en recherches par clé rapides. Il fonctionne comme un système avec état qui met à jour progressivement les vues dépendantes à mesure que les tables relationnelles sous-jacentes changent. Le système peut fonctionner comme un émulateur de protocole MySQL, imitant le protocole binaire pour permettre aux applications de récupérer des données précalculées sans modifier le code client. Il peut également être utilisé comme base de données embarquée en Rust, intégrant le serveur directement dans un programme via des liaisons natives pour effectuer des opérations de flux de données sans coordination externe. Le projet couvre la coordination distribuée des flux de données, y compris le suivi de l'état de santé des nœuds de travail via des heartbeats. Il fournit des outils pour la gestion des tables relationnelles, la synchronisation incrémentale des vues et la gestion des graphes de flux de données. L'observabilité est assurée par la collecte de statistiques de domaine, le benchmarking de performance et un inspecteur de données web pour parcourir les résultats précalculés.

InternetArchitect est une collection éducative de documents et de code source conçue comme un cours d'architecture à haute concurrence. Il sert de guide d'implémentation de systèmes distribués, fournissant des patterns techniques et des exemples pratiques pour concevoir des architectures internet scalables qui maintiennent la stabilité sous de lourdes charges de trafic. Le projet se concentre sur l'optimisation des bases de données haute performance et les patterns de conception de microservices. Il couvre des stratégies pour réduire la latence et augmenter le débit via le sharding de base de données et les couches de proxy, ainsi que la coordination de l'état global à travers des clusters distribués. La portée architecturale inclut des stratégies de mise en cache multi-niveaux pour accélérer la récupération des données et l'implémentation de frameworks de découverte de services pour gérer la communication entre les microservices découplés. Il aborde également la coordination d'état distribué et l'utilisation de maillages d'équilibrage de charge pour distribuer le trafic réseau à travers les serveurs backend.

Ebean est un framework de mappage objet-relationnel Java conçu pour simplifier la persistance des bases de données grâce à la génération automatique de requêtes, la migration de schéma et la gestion des transactions. Il utilise le mappage piloté par les métadonnées et l'amélioration du bytecode pour combler le fossé entre les objets d'application et les tables de base de données relationnelles, fournissant une couche persistante qui gère les interactions de données complexes tout en maintenant la cohérence à travers les limites de l'unité de travail. Le framework se distingue par son accent sur la productivité des développeurs et l'optimisation des performances. Il fournit des constructeurs de requêtes typés qui génèrent du code au moment de la compilation, permettant l'auto-complétion IDE et la validation statique des opérations de base de données. De plus, il inclut une prise en charge intégrée pour les tests basés sur des conteneurs, permettant aux développeurs de gérer des instances de base de données éphémères et d'automatiser l'initialisation du schéma directement au sein de leurs suites de tests. Au-delà du mappage fondamental, le projet offre une suite complète d'outils pour la gestion des données et l'observabilité. Cela inclut l'évolution automatique du schéma, le routage des répliques de lecture pour la gestion des connexions et la mise en cache multi-niveaux pour réduire la charge de la base de données. Il fournit également des capacités de diagnostic telles que la capture du plan d'exécution des requêtes et le traçage distribué pour aider à l'optimisation des performances. La bibliothèque prend en charge les flux de travail de déploiement modernes, y compris la compilation « ahead-of-time » pour les images natives afin d'éliminer la surcharge de réflexion à l'exécution. Elle est distribuée sous forme de bibliothèque Java standard, avec une documentation et des outils disponibles pour soutenir l'intégration dans les processus de construction existants.