9 repositorios
Database systems engineered for extreme write throughput and low-latency retrieval.
Distinguishing note: Focuses on performance metrics rather than specific data models.
Explore 9 awesome GitHub repositories matching data & databases · High-Performance Databases. Refine with filters or upvote what's useful.
RocksDB is a high-performance, embeddable persistent key-value library and storage engine based on Log-Structured Merge-trees. It is designed to provide durable storage for large-scale datasets, integrating directly into applications to manage data on flash and RAM-based hardware. The engine is distinguished by its focus on minimizing read and write amplification through multi-threaded compaction and custom memory allocators. It features specialized optimizations for flash storage, including support for zoned block devices, and provides the ability to extend store behavior via external plugin
Engineered for extreme write throughput and low-latency retrieval using multi-threaded compaction.
TDengine is a distributed time-series database designed for the high-speed ingestion, compression, and retrieval of timestamped metrics and sensor data. It functions as a SQL-compatible analytics engine, allowing users to perform complex operations on massive volumes of time-ordered information using standard relational syntax. The platform is built to serve as a backend foundation for industrial IoT environments, managing real-time data streams and device metadata through a cluster-based architecture. The system distinguishes itself through a distributed sharding architecture that uses consi
Handles massive volumes of timestamped data with high write throughput.
WooCommerce is a comprehensive eCommerce framework for WordPress that transforms websites into fully functional online stores for physical and digital goods. It serves as a digital storefront manager for product catalogs, inventory, and customer orders across retail and wholesale business models. The system functions as a payment gateway integrator, connecting shops to diverse processors for credit cards, digital wallets, and subscriptions. It also operates as an order fulfillment system for calculating shipping rates, generating labels, and coordinating delivery via third-party couriers, whi
Utilizes high-performance data structures to store orders, ensuring database scalability and responsiveness.
RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki
Acts as a high-performance database engineered for extreme write throughput and low-latency retrieval.
better-sqlite3 is a high-performance SQLite3 client for Node.js that executes queries synchronously, returning results directly without callbacks or promises. It compiles as a native addon using N-API, binding directly to the SQLite3 C library for immediate query execution and zero-copy result serialization into native JavaScript objects. The library is optimized for Write-Ahead Logging (WAL) mode, enabling faster concurrent reads and writes in web applications. It provides durability level tuning through the synchronous pragma, allowing adjustments between FULL, NORMAL, and OFF modes to bala
A high-speed SQLite3 client for Node.js that handles multi-gigabyte databases with efficient indexing and joins.
node-sqlite3 is a relational database client and a set of native bindings that allow Node.js applications to interact with SQLite databases. It functions as a C++ native addon, linking JavaScript to the SQLite C library to manage data stored in local files or in-memory stores. The project includes optional support for SQLCipher, enabling page-level encryption to secure local database files. The driver covers a wide range of database management capabilities, including executing SQL queries with parameter binding, managing connections to database files, and preparing statements for repeated ex
Optimizes database interactions using prepared statements and streamed results to handle large datasets efficiently.
Noria es un motor de flujo de datos dinámico y una base de datos de vistas materializadas que transforma operaciones de lectura costosas en búsquedas rápidas por clave. Opera como un sistema con estado que actualiza incrementalmente las vistas dependientes a medida que cambian las tablas relacionales base subyacentes. El sistema puede funcionar como un emulador del protocolo MySQL, imitando el protocolo binario para permitir que las aplicaciones obtengan datos precalculados sin cambiar el código del cliente. También puede utilizarse como una base de datos embebida en Rust, integrando el servidor directamente en un programa mediante enlaces nativos para realizar operaciones de flujo de datos sin coordinación externa. El proyecto cubre la coordinación de flujo de datos distribuido, incluyendo el seguimiento del estado de los nodos trabajadores mediante señales de latido (heartbeats). Proporciona herramientas para la gestión de tablas relacionales, sincronización incremental de vistas y gestión de grafos de flujo de datos. La observabilidad se admite mediante la recopilación de estadísticas de dominio, pruebas de rendimiento y un inspector de datos web para explorar los resultados precalculados.
Reduces latency in web applications by transforming expensive database queries into fast keyed lookups.
InternetArchitect es una colección educativa de documentos y código fuente diseñada como un curso de arquitectura de alta concurrencia. Sirve como una guía de implementación de sistemas distribuidos, proporcionando patrones técnicos y ejemplos prácticos para diseñar arquitecturas de internet escalables que mantengan la estabilidad bajo cargas de tráfico pesadas. El proyecto se centra en la optimización de bases de datos de alto rendimiento y patrones de diseño de microservicios. Cubre estrategias para reducir la latencia y aumentar el rendimiento a través de sharding de bases de datos y capas de proxy, así como la coordinación del estado global a través de clústeres distribuidos. El alcance arquitectónico incluye estrategias de almacenamiento en caché multinivel para acelerar la recuperación de datos y la implementación de frameworks de descubrimiento de servicios para gestionar la comunicación entre microservicios desacoplados. También aborda la coordinación de estado distribuido y el uso de mallas de balanceo de carga para distribuir el tráfico de red a través de servidores backend.
Implements strategies for high-performance data retrieval and write throughput using sharding and proxy layers.
Ebean es un framework de mapeo objeto-relacional de Java diseñado para simplificar la persistencia en bases de datos mediante la generación automatizada de consultas, migración de esquemas y gestión de transacciones. Utiliza mapeo basado en metadatos y mejora de bytecode para cerrar la brecha entre los objetos de la aplicación y las tablas de bases de datos relacionales, proporcionando una capa persistente que maneja interacciones de datos complejas mientras mantiene la consistencia a través de los límites de unidad de trabajo. El framework se distingue por su enfoque en la productividad del desarrollador y la optimización del rendimiento. Proporciona constructores de consultas con seguridad de tipos que generan código en tiempo de compilación, permitiendo el autocompletado del IDE y la validación estática de las operaciones de base de datos. Además, incluye soporte integrado para pruebas basadas en contenedores, permitiendo a los desarrolladores gestionar instancias de base de datos efímeras y automatizar la inicialización de esquemas directamente dentro de sus suites de pruebas. Más allá del mapeo central, el proyecto ofrece una suite integral de herramientas para la gestión de datos y observabilidad. Esto incluye evolución automatizada de esquemas, enrutamiento de réplicas de lectura para la gestión de conexiones y caché multinivel para reducir la carga de la base de datos. También proporciona capacidades de diagnóstico como la captura del plan de ejecución de consultas y el rastreo distribuido para ayudar en el ajuste del rendimiento. La librería admite flujos de trabajo de despliegue modernos, incluyendo compilación ahead-of-time para imágenes nativas para eliminar la sobrecarga de reflexión en tiempo de ejecución. Se distribuye como una librería Java estándar, con documentación y herramientas disponibles para apoyar la integración en los procesos de construcción existentes.
Improves the speed and efficiency of database queries through automated field selection and minimized communication.