Awesome GitHub RepositoriesSorted Memory Buffers

LevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab

RocksDB is a high-performance, embeddable persistent key-value library and storage engine based on Log-Structured Merge-trees. It is designed to provide durable storage for large-scale datasets, integrating directly into applications to manage data on flash and RAM-based hardware. The engine is distinguished by its focus on minimizing read and write amplification through multi-threaded compaction and custom memory allocators. It features specialized optimizations for flash storage, including support for zoned block devices, and provides the ability to extend store behavior via external plugin

goleveldb es una base de datos de almacenamiento clave-valor embebida para Go. Proporciona persistencia e indexación de datos locales, permitiendo a las aplicaciones almacenar y recuperar información utilizando claves únicas sin necesidad de un servidor independiente. La base de datos organiza los datos utilizando un árbol de fusión estructurado en registros (LSM-tree) e indexación persistente en orden lexicográfico. Esta estructura admite escaneos de rango eficientes y búsquedas basadas en prefijos. El sistema incluye capacidades para escrituras por lotes atómicas para garantizar la consistencia de los datos y evitar actualizaciones parciales. El rendimiento se gestiona mediante registro de escritura previa (write-ahead logging), almacenamiento en búfer en memoria y filtros de Bloom para reducir la entrada y salida innecesaria en disco.

Mini-LSM es un motor de almacenamiento educativo y biblioteca de base de datos clave-valor diseñado para demostrar la implementación de la arquitectura de árboles de fusión estructurados por registros (LSM-tree). Sirve como un recurso pedagógico para comprender cómo construir sistemas de almacenamiento de alto rendimiento desde cero, centrándose en la mecánica de estructuras de datos persistentes y almacenamiento basado en disco. El proyecto proporciona un framework funcional para gestionar datos mediante el vaciado (flushing) de memoria a disco y control de concurrencia multiversión. Se distingue por implementar aislamiento basado en instantáneas (snapshots), lo que permite vistas consistentes del estado de la base de datos durante operaciones concurrentes, y utiliza estrategias de compactación por niveles para organizar archivos de datos y optimizar el rendimiento de lectura. El motor cubre una amplia gama de capacidades de gestión de almacenamiento, incluyendo registro de escritura previa (write-ahead logging) para recuperación ante fallos e indexación probabilística para minimizar la entrada y salida de disco. También incluye un conjunto de utilidades de verificación y herramientas de prueba destinadas a validar la integridad de las operaciones de almacenamiento y ayudar a diagnosticar problemas relacionados con la concurrencia.