Awesome GitHub RepositoriesAtomic Batch Operations

LevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab

graphql-engine is an automated GraphQL API engine that transforms database tables and relationships into a queryable GraphQL schema. It functions as a federation gateway and mapper, instantly generating APIs with built-in filtering, pagination, and mutations from existing databases and remote schemas. The project distinguishes itself through a fine-grained access control layer that enforces row-level and field-level permissions. It further provides a real-time data subscription server that converts standard queries into live streams and a system for triggering event-driven webhooks and notifi

rqlite is a distributed relational database that replicates SQLite data across a cluster using the Raft consensus algorithm. It functions as a fault-tolerant storage system that provides high availability and a web API for executing SQL queries and managing relational data without requiring native database drivers. The system distinguishes itself by using an HTTP SQL interface to expose database operations and cluster management. It features a real-time change data capture stream that pushes database mutations to external HTTP endpoints via webhooks and supports the scaling of read throughput

ConcurrentQueue is a header-only C++ template library that provides a lock-free data structure for multi-producer multi-consumer thread communication. It functions as a synchronization primitive designed to coordinate data flow between concurrent execution units using atomic operations rather than traditional mutex locking. The library distinguishes itself through a design that minimizes contention and synchronization overhead. It utilizes sub-queue token mapping to distribute workloads across partitioned internal queues and supports bulk operations to transfer multiple data elements in singl

Doctrine ORM is a PHP object-relational mapper that connects application objects to relational database tables. It uses the data mapper and identity map patterns to decouple the in-memory object model from the database schema, allowing developers to manage data persistence without writing manual SQL. The project features a dedicated object-oriented query language and programmatic builder for retrieving data based on entities rather than tables. It implements a unit-of-work system to track object changes during a request and synchronize them via atomic transactions. The capability surface inc

atproto is a decentralized social networking protocol implementation and a schema-driven API framework. It provides the networking and data standards required to build interoperable social networks where users control their own identity and data through a personal data server specification. The project distinguishes itself through a DID-based identity system for managing cryptographic keys and verifiable profiles, alongside a lexicon-based protocol definition that uses versioned schemas to ensure consistency across network services. It utilizes Merkle Search Trees for verifiable data storage,

Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k

TikTokDownload is a configurable batch video downloader for TikTok and Douyin that strips watermarks and supports automated downloads from user profiles, likes, and collections. It functions as a social media content archiving tool, enabling users to download videos and audio from these platforms for offline viewing or personal backup. The project distinguishes itself through a modular download pipeline that combines audio extraction, batch scheduling, config-driven workflows, cookie-based authentication, URL parsing, paginated API scraping, and watermark removal. It uses a settings file to c

BullMQ is a Redis-backed message queue library and background processor designed for distributed task queueing. It functions as a distributed queue manager and task scheduler, utilizing Redis to manage asynchronous job processing and persistence. The system distinguishes itself through its role as a job workflow orchestrator, enabling the definition of complex parent-child job dependencies and hierarchies for multi-step workflows. It provides sandboxed process execution to isolate heavy workloads and prevent event loop blocking, alongside distributed rate limiting to protect downstream servic

Records is a SQL database client designed for executing raw queries and managing result sets through a simplified interface. It provides a parameterized SQL executor to bind values to placeholders, ensuring safe data handling and preventing injection attacks, alongside a database transaction manager for grouping operations into atomic units. The project includes a dedicated command-line interface for running database statements and exporting query results directly to local files. This tooling allows for the conversion of SQL result sets into multiple serialization formats, including CSV, JSON

This is a tool for downloading videos, images, and audio from the Douyin social media platform using shareable URLs or profile links. It can download individual posts, entire user profiles including all posts and liked content, collections, and music tracks, with options for watermark-free and high-quality output. The tool also supports live stream recording, comment collection, and keyword-based content search with JSONL export. The project distinguishes itself through an integrated REST API server that accepts download and transcription requests, tracks job status, and exposes health check

goleveldb es una base de datos de almacenamiento clave-valor embebida para Go. Proporciona persistencia e indexación de datos locales, permitiendo a las aplicaciones almacenar y recuperar información utilizando claves únicas sin necesidad de un servidor independiente. La base de datos organiza los datos utilizando un árbol de fusión estructurado en registros (LSM-tree) e indexación persistente en orden lexicográfico. Esta estructura admite escaneos de rango eficientes y búsquedas basadas en prefijos. El sistema incluye capacidades para escrituras por lotes atómicas para garantizar la consistencia de los datos y evitar actualizaciones parciales. El rendimiento se gestiona mediante registro de escritura previa (write-ahead logging), almacenamiento en búfer en memoria y filtros de Bloom para reducir la entrada y salida innecesaria en disco.

Apache Hudi is an open-source table format that brings ACID transactions, incremental processing, and multi-modal indexing to data lakes. It provides atomic commits with snapshot isolation, rollback, and optimistic concurrency control for reliable data lake operations, while supporting upserts, record-level updates, and deletions in large analytical datasets. The project distinguishes itself through a timeline-based architecture that coordinates all write operations, enabling features like time-travel querying, incremental change streaming, and multi-modal query views that include snapshot, i

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

Webmin is a web-based administration interface for Unix systems. It provides a centralized console for managing the full range of server administration tasks — users and groups, software packages, storage, network configuration, system services, and security — all through a browser. Its modular architecture allows separate modules to handle databases (MySQL, MariaDB, PostgreSQL), web servers (Apache), DNS (BIND), email (Sendmail, Dovecot), file sharing (Samba, NFS), and more, with a unified access control system that restricts what each administrator can see and do. What sets Webmin apart is

Massa es una blockchain de Capa 1 multihilo y plataforma de aplicaciones descentralizadas. Sirve como un libro mayor programable para desplegar contratos inteligentes y ejecutar operaciones descentralizadas utilizando una arquitectura multihilo para procesar transacciones en paralelo. El proyecto cuenta con una pasarela de alojamiento web blockchain para almacenar sitios web inmutables y código frontend directamente en el libro mayor para garantizar la resistencia a la censura. También funciona como un puente de activos entre cadenas para transferir activos digitales entre diferentes redes blockchain y proporciona un sistema para la ejecución autónoma de contratos inteligentes que activa lógica a intervalos predefinidos sin intervención manual. La plataforma admite la validación de red a través de nodos de staking, agrupación de transacciones atómicas y precios de almacenamiento basados en recursos para gestionar datos en cadena. Permite el despliegue de aplicaciones descentralizadas y la gestión de activos digitales a través de una red distribuida de nodos validadores.

Medoo es una capa de abstracción de base de datos PHP ligera y un constructor de consultas SQL. Sirve como un envoltorio de base de datos mínimo que proporciona una API unificada para ejecutar consultas a través de múltiples motores SQL, traduciendo llamadas a métodos PHP a dialectos de base de datos específicos. El proyecto permite la interfaz SQL de múltiples dialectos, permitiendo que una única base de código interactúe con varios backends, incluidos MySQL, MariaDB, PostgreSQL, SQLite, MSSQL, Oracle y Sybase. Utiliza la parametrización de sentencias preparadas para evitar ataques de inyección mientras mantiene un enfoque programático para construir sentencias SQL complejas. El kit de herramientas cubre operaciones estándar de manipulación de datos, incluyendo inserción de registros, actualizaciones, eliminaciones y consultas. También proporciona capacidades para cálculos agregados, gestión de transacciones atómicas y ejecución de SQL sin procesar para lógica compleja. Se incluyen herramientas de diagnóstico para la inspección de la ejecución de consultas, lo que permite el registro del SQL generado y la información de conexión para fines de depuración.

RoseDB es una base de datos embebida de clave-valor y un motor de almacenamiento estructurado en registros (log-structured). Funciona como una base de datos basada en librería que se ejecuta dentro de un proceso de aplicación para proporcionar persistencia de datos local sin necesidad de un servidor de base de datos separado. El proyecto implementa un almacén al estilo Bitcask, utilizando un formato de registro de solo adición (append-only) para maximizar el rendimiento de escritura y minimizar el tiempo de búsqueda. Garantiza la consistencia de los datos agrupando múltiples operaciones de lectura y escritura en unidades atómicas únicas. La arquitectura de almacenamiento se basa en un índice de claves en memoria para búsquedas de tiempo constante y utiliza gestión de archivos basada en segmentos para manejar la compactación de datos y la recuperación de espacio en disco.

RoseDB es una base de datos persistente de clave-valor y un motor de almacenamiento estructurado en registros (log-structured). Funciona como un sistema de almacenamiento ligero que utiliza una tabla hash estructurada en registros y una implementación del motor Bitcask para proporcionar una recuperación de datos rápida y persistencia respaldada en disco. El sistema opera como un motor de transacciones atómicas, agrupando múltiples operaciones de lectura y escritura en unidades únicas para mantener la consistencia de los datos. Gestiona la información mediante un modelo de clave-valor que admite inserciones, búsquedas y eliminaciones individuales. La base de datos ofrece capacidades para el procesamiento de datos por lotes y actualizaciones atómicas. Además, el proyecto incluye funciones para la gestión de contenido versionado y la traducción de contenido en múltiples idiomas.

FreeSql es un mapeador objeto-relacional (ORM) y capa de acceso a datos para .NET que traduce código orientado a objetos a SQL para múltiples proveedores de bases de datos relacionales. Funciona como un constructor de consultas SQL fluido y sincronizador de esquemas de base de datos, permitiendo a los desarrolladores alinear las estructuras de tablas e índices de la base de datos con las definiciones de clases de entidad. El framework está optimizado específicamente para .NET Native AOT para garantizar huellas de memoria reducidas y tiempos de inicio más rápidos. Incluye un gestor de tráfico de base de datos para distribuir la carga a través de división de lectura-escritura, fragmentación de tablas dinámica y aislamiento de datos basado en inquilinos. Las capacidades amplias incluyen ingesta de datos de alto rendimiento utilizando mecanismos de copia masiva específicos del proveedor, consultas avanzadas con funciones de ventana y CTEs recursivos, y monitoreo basado en AOP para auditar cambios de datos. El sistema también proporciona herramientas de gestión de esquemas para migraciones automatizadas y utilidades de desarrollo para generar clases de entidad a partir de metadatos de base de datos.