Awesome GitHub RepositoriesAtomic Batch Operations

LevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab

graphql-engine is an automated GraphQL API engine that transforms database tables and relationships into a queryable GraphQL schema. It functions as a federation gateway and mapper, instantly generating APIs with built-in filtering, pagination, and mutations from existing databases and remote schemas. The project distinguishes itself through a fine-grained access control layer that enforces row-level and field-level permissions. It further provides a real-time data subscription server that converts standard queries into live streams and a system for triggering event-driven webhooks and notifi

rqlite is a distributed relational database that replicates SQLite data across a cluster using the Raft consensus algorithm. It functions as a fault-tolerant storage system that provides high availability and a web API for executing SQL queries and managing relational data without requiring native database drivers. The system distinguishes itself by using an HTTP SQL interface to expose database operations and cluster management. It features a real-time change data capture stream that pushes database mutations to external HTTP endpoints via webhooks and supports the scaling of read throughput

ConcurrentQueue is a header-only C++ template library that provides a lock-free data structure for multi-producer multi-consumer thread communication. It functions as a synchronization primitive designed to coordinate data flow between concurrent execution units using atomic operations rather than traditional mutex locking. The library distinguishes itself through a design that minimizes contention and synchronization overhead. It utilizes sub-queue token mapping to distribute workloads across partitioned internal queues and supports bulk operations to transfer multiple data elements in singl

Doctrine ORM is a PHP object-relational mapper that connects application objects to relational database tables. It uses the data mapper and identity map patterns to decouple the in-memory object model from the database schema, allowing developers to manage data persistence without writing manual SQL. The project features a dedicated object-oriented query language and programmatic builder for retrieving data based on entities rather than tables. It implements a unit-of-work system to track object changes during a request and synchronize them via atomic transactions. The capability surface inc

atproto is a decentralized social networking protocol implementation and a schema-driven API framework. It provides the networking and data standards required to build interoperable social networks where users control their own identity and data through a personal data server specification. The project distinguishes itself through a DID-based identity system for managing cryptographic keys and verifiable profiles, alongside a lexicon-based protocol definition that uses versioned schemas to ensure consistency across network services. It utilizes Merkle Search Trees for verifiable data storage,

Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k

TikTokDownload is a configurable batch video downloader for TikTok and Douyin that strips watermarks and supports automated downloads from user profiles, likes, and collections. It functions as a social media content archiving tool, enabling users to download videos and audio from these platforms for offline viewing or personal backup. The project distinguishes itself through a modular download pipeline that combines audio extraction, batch scheduling, config-driven workflows, cookie-based authentication, URL parsing, paginated API scraping, and watermark removal. It uses a settings file to c

BullMQ is a Redis-backed message queue library and background processor designed for distributed task queueing. It functions as a distributed queue manager and task scheduler, utilizing Redis to manage asynchronous job processing and persistence. The system distinguishes itself through its role as a job workflow orchestrator, enabling the definition of complex parent-child job dependencies and hierarchies for multi-step workflows. It provides sandboxed process execution to isolate heavy workloads and prevent event loop blocking, alongside distributed rate limiting to protect downstream servic

Records is a SQL database client designed for executing raw queries and managing result sets through a simplified interface. It provides a parameterized SQL executor to bind values to placeholders, ensuring safe data handling and preventing injection attacks, alongside a database transaction manager for grouping operations into atomic units. The project includes a dedicated command-line interface for running database statements and exporting query results directly to local files. This tooling allows for the conversion of SQL result sets into multiple serialization formats, including CSV, JSON

This is a tool for downloading videos, images, and audio from the Douyin social media platform using shareable URLs or profile links. It can download individual posts, entire user profiles including all posts and liked content, collections, and music tracks, with options for watermark-free and high-quality output. The tool also supports live stream recording, comment collection, and keyword-based content search with JSONL export. The project distinguishes itself through an integrated REST API server that accepts download and transcription requests, tracks job status, and exposes health check

goleveldb este o bază de date embedded de tip cheie-valoare pentru Go. Oferă persistența și indexarea locală a datelor, permițând aplicațiilor să stocheze și să preia informații folosind chei unice fără a necesita un server separat. Baza de date organizează datele folosind un log-structured merge-tree și indexare persistentă în ordine lexicografică. Această structură suportă scanări eficiente de interval și căutări bazate pe prefix. Sistemul include capabilități pentru scrieri atomice în lot pentru a asigura consistența datelor și a evita actualizările parțiale. Performanța este gestionată prin write-ahead logging, buffering bazat pe memorie și filtre bloom pentru a reduce input-ul și output-ul inutil pe disc.

Apache Hudi is an open-source table format that brings ACID transactions, incremental processing, and multi-modal indexing to data lakes. It provides atomic commits with snapshot isolation, rollback, and optimistic concurrency control for reliable data lake operations, while supporting upserts, record-level updates, and deletions in large analytical datasets. The project distinguishes itself through a timeline-based architecture that coordinates all write operations, enabling features like time-travel querying, incremental change streaming, and multi-modal query views that include snapshot, i

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

Webmin is a web-based administration interface for Unix systems. It provides a centralized console for managing the full range of server administration tasks — users and groups, software packages, storage, network configuration, system services, and security — all through a browser. Its modular architecture allows separate modules to handle databases (MySQL, MariaDB, PostgreSQL), web servers (Apache), DNS (BIND), email (Sendmail, Dovecot), file sharing (Samba, NFS), and more, with a unified access control system that restricts what each administrator can see and do. What sets Webmin apart is

Massa este un blockchain Layer 1 multithreaded și o platformă de aplicații descentralizate. Servește ca un registru programabil pentru implementarea contractelor inteligente și executarea operațiunilor descentralizate, utilizând o arhitectură multithreaded pentru a procesa tranzacțiile în paralel. Proiectul dispune de un gateway de găzduire web blockchain pentru stocarea site-urilor imutabile și a codului front-end direct pe registru, pentru a asigura rezistența la cenzură. De asemenea, funcționează ca un bridge de active cross-chain pentru transferul activelor digitale între diferite rețele blockchain și oferă un sistem pentru execuția autonomă a contractelor inteligente care declanșează logica la intervale predefinite fără intervenție manuală. Platforma suportă validarea rețelei prin noduri de staking, bundling atomic de tranzacții și prețuri de stocare bazate pe resurse pentru a gestiona datele on-chain. Permite implementarea aplicațiilor descentralizate și gestionarea activelor digitale într-o rețea distribuită de noduri validatoare.

Medoo este un strat de abstractizare a bazei de date PHP ușor și un constructor de interogări SQL. Servește ca un wrapper minim de bază de date care oferă un API unificat pentru a executa interogări pe mai multe motoare SQL, traducând apelurile de metodă PHP în dialecte specifice de baze de date. Proiectul permite interfațarea SQL multi-dialect, permițând unei singure baze de cod să interacționeze cu diverse backend-uri, inclusiv MySQL, MariaDB, PostgreSQL, SQLite, MSSQL, Oracle și Sybase. Utilizează parametrizarea instrucțiunilor pregătite pentru a preveni atacurile de tip injecție, menținând în același timp o abordare programatică pentru construirea interogărilor SQL complexe. Toolkit-ul acoperă operațiunile standard de manipulare a datelor, inclusiv inserarea, actualizarea, ștergerea și interogarea înregistrărilor. De asemenea, oferă capabilități pentru calcule agregate, gestionarea tranzacțiilor atomice și execuția SQL brută pentru logică complexă. Sunt incluse instrumente de diagnosticare pentru inspecția execuției interogărilor, permițând logarea SQL-ului generat și a informațiilor de conexiune în scopuri de depanare.

RoseDB is an embedded key-value database and log-structured storage engine. It functions as a library-based database that runs within an application process to provide local data persistence without the need for a separate database server. The project implements a Bitcask-style store, utilizing an append-only log format to maximize write throughput and minimize seek time. It ensures data consistency by grouping multiple read and write operations into single atomic units. The storage architecture relies on an in-memory key index for constant-time lookups and uses segment-based file management

RoseDB este o bază de date persistentă de tip cheie-valoare și un motor de stocare structurat pe log-uri. Funcționează ca un sistem de stocare ușor care utilizează un tabel hash structurat pe log-uri și o implementare a motorului Bitcask pentru a oferi recuperare rapidă a datelor și persistență pe disc. Sistemul operează ca un motor de tranzacții atomice, grupând mai multe operațiuni de citire și scriere în unități unice pentru a menține consistența datelor. Gestionează datele printr-un model cheie-valoare care suportă inserări, căutări și ștergeri individuale. Baza de date oferă capabilități pentru procesarea datelor în loturi și actualizări atomice. În plus, proiectul include funcționalități pentru gestionarea conținutului versionat și traducerea conținutului în mai multe limbi.

FreeSql este un mapper obiect-relațional (ORM) .NET și un strat de acces la date care traduce codul orientat pe obiecte în SQL pentru mai mulți furnizori de baze de date relaționale. Funcționează ca un builder fluent de query-uri SQL și sincronizator de schemă de bază de date, permițând dezvoltatorilor să alinieze structurile tabelelor și indicilor bazei de date cu definițiile claselor de entități. Framework-ul este optimizat special pentru .NET Native AOT pentru a asigura amprente de memorie reduse și timpi de pornire mai rapizi. Include un manager de trafic al bazei de date pentru a distribui load-ul prin read-write splitting, sharding dinamic al tabelelor și izolare a datelor bazată pe chiriași (tenant). Capabilitățile largi includ ingestia de date de înaltă performanță folosind mecanisme de bulk copy specifice furnizorului, interogare avansată cu funcții de fereastră și CTE-uri recursive, și monitorizare bazată pe AOP pentru auditarea modificărilor de date. Sistemul oferă, de asemenea, instrumente de gestionare a schemei pentru migrări automate și utilitare de dezvoltare pentru generarea claselor de entități din metadatele bazei de date.