Awesome GitHub RepositoriesAtomic Batch Operations

LevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab

graphql-engine is an automated GraphQL API engine that transforms database tables and relationships into a queryable GraphQL schema. It functions as a federation gateway and mapper, instantly generating APIs with built-in filtering, pagination, and mutations from existing databases and remote schemas. The project distinguishes itself through a fine-grained access control layer that enforces row-level and field-level permissions. It further provides a real-time data subscription server that converts standard queries into live streams and a system for triggering event-driven webhooks and notifi

rqlite is a distributed relational database that replicates SQLite data across a cluster using the Raft consensus algorithm. It functions as a fault-tolerant storage system that provides high availability and a web API for executing SQL queries and managing relational data without requiring native database drivers. The system distinguishes itself by using an HTTP SQL interface to expose database operations and cluster management. It features a real-time change data capture stream that pushes database mutations to external HTTP endpoints via webhooks and supports the scaling of read throughput

ConcurrentQueue is a header-only C++ template library that provides a lock-free data structure for multi-producer multi-consumer thread communication. It functions as a synchronization primitive designed to coordinate data flow between concurrent execution units using atomic operations rather than traditional mutex locking. The library distinguishes itself through a design that minimizes contention and synchronization overhead. It utilizes sub-queue token mapping to distribute workloads across partitioned internal queues and supports bulk operations to transfer multiple data elements in singl

Doctrine ORM is a PHP object-relational mapper that connects application objects to relational database tables. It uses the data mapper and identity map patterns to decouple the in-memory object model from the database schema, allowing developers to manage data persistence without writing manual SQL. The project features a dedicated object-oriented query language and programmatic builder for retrieving data based on entities rather than tables. It implements a unit-of-work system to track object changes during a request and synchronize them via atomic transactions. The capability surface inc

atproto is a decentralized social networking protocol implementation and a schema-driven API framework. It provides the networking and data standards required to build interoperable social networks where users control their own identity and data through a personal data server specification. The project distinguishes itself through a DID-based identity system for managing cryptographic keys and verifiable profiles, alongside a lexicon-based protocol definition that uses versioned schemas to ensure consistency across network services. It utilizes Merkle Search Trees for verifiable data storage,

Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k

TikTokDownload is a configurable batch video downloader for TikTok and Douyin that strips watermarks and supports automated downloads from user profiles, likes, and collections. It functions as a social media content archiving tool, enabling users to download videos and audio from these platforms for offline viewing or personal backup. The project distinguishes itself through a modular download pipeline that combines audio extraction, batch scheduling, config-driven workflows, cookie-based authentication, URL parsing, paginated API scraping, and watermark removal. It uses a settings file to c

BullMQ is a Redis-backed message queue library and background processor designed for distributed task queueing. It functions as a distributed queue manager and task scheduler, utilizing Redis to manage asynchronous job processing and persistence. The system distinguishes itself through its role as a job workflow orchestrator, enabling the definition of complex parent-child job dependencies and hierarchies for multi-step workflows. It provides sandboxed process execution to isolate heavy workloads and prevent event loop blocking, alongside distributed rate limiting to protect downstream servic

Records is a SQL database client designed for executing raw queries and managing result sets through a simplified interface. It provides a parameterized SQL executor to bind values to placeholders, ensuring safe data handling and preventing injection attacks, alongside a database transaction manager for grouping operations into atomic units. The project includes a dedicated command-line interface for running database statements and exporting query results directly to local files. This tooling allows for the conversion of SQL result sets into multiple serialization formats, including CSV, JSON

This is a tool for downloading videos, images, and audio from the Douyin social media platform using shareable URLs or profile links. It can download individual posts, entire user profiles including all posts and liked content, collections, and music tracks, with options for watermark-free and high-quality output. The tool also supports live stream recording, comment collection, and keyword-based content search with JSONL export. The project distinguishes itself through an integrated REST API server that accepts download and transcription requests, tracks job status, and exposes health check

goleveldb هي قاعدة بيانات تخزين مفتاح-قيمة مدمجة للغة Go. توفر استمرارية البيانات المحلية والفهرسة، مما يسمح للتطبيقات بتخزين واسترجاع المعلومات باستخدام مفاتيح فريدة دون الحاجة إلى خادم منفصل. تنظم قاعدة البيانات البيانات باستخدام شجرة دمج منظمة بالسجل (log-structured merge-tree) وفهرسة دائمة بترتيب معجمي. يدعم هذا الهيكل عمليات مسح النطاق الفعالة وعمليات البحث القائمة على البادئة. يتضمن النظام قدرات لعمليات الكتابة المجمعة الذرية لضمان اتساق البيانات وتجنب التحديثات الجزئية. تتم إدارة الأداء من خلال تسجيل الكتابة المسبقة (write-ahead logging)، والتخزين المؤقت القائم على الذاكرة، وفلاتر bloom لتقليل إدخال وإخراج القرص غير الضروري.

Apache Hudi is an open-source table format that brings ACID transactions, incremental processing, and multi-modal indexing to data lakes. It provides atomic commits with snapshot isolation, rollback, and optimistic concurrency control for reliable data lake operations, while supporting upserts, record-level updates, and deletions in large analytical datasets. The project distinguishes itself through a timeline-based architecture that coordinates all write operations, enabling features like time-travel querying, incremental change streaming, and multi-modal query views that include snapshot, i

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

Webmin is a web-based administration interface for Unix systems. It provides a centralized console for managing the full range of server administration tasks — users and groups, software packages, storage, network configuration, system services, and security — all through a browser. Its modular architecture allows separate modules to handle databases (MySQL, MariaDB, PostgreSQL), web servers (Apache), DNS (BIND), email (Sendmail, Dovecot), file sharing (Samba, NFS), and more, with a unified access control system that restricts what each administrator can see and do. What sets Webmin apart is

Massa هي بلوكشين من الطبقة الأولى متعددة الخيوط ومنصة تطبيقات لامركزية. تعمل كسجل قابل للبرمجة لنشر العقود الذكية وتنفيذ العمليات اللامركزية باستخدام بنية متعددة الخيوط لمعالجة المعاملات بالتوازي. يتميز المشروع ببوابة استضافة ويب للبلوكشين لتخزين المواقع غير القابلة للتغيير وكود الواجهة الأمامية مباشرة على السجل لضمان مقاومة الرقابة. يعمل أيضاً كجسر أصول عبر السلاسل لنقل الأصول الرقمية بين شبكات بلوكشين مختلفة ويوفر نظاماً لتنفيذ العقود الذكية المستقلة التي تشغل المنطق على فترات زمنية محددة مسبقاً دون تدخل يدوي. تدعم المنصة التحقق من الشبكة من خلال عقد التخزين (staking nodes)، وتجميع المعاملات الذرية، وتسعير التخزين القائم على الموارد لإدارة البيانات على السلسلة. تتيح نشر التطبيقات اللامركزية وإدارة الأصول الرقمية عبر شبكة موزعة من عقد التحقق.

Medoo هي طبقة تجريد قاعدة بيانات PHP خفيفة الوزن ومنشئ استعلامات SQL. تعمل كغلاف قاعدة بيانات بسيط يوفر API موحداً لتنفيذ الاستعلامات عبر محركات SQL متعددة، حيث تترجم استدعاءات دوال PHP إلى لهجات قاعدة بيانات محددة. يمكن المشروع من التفاعل مع SQL متعدد اللهجات، مما يسمح لقاعدة كود واحدة بالتفاعل مع خلفيات مختلفة بما في ذلك MySQL، وMariaDB، وPostgreSQL، وSQLite، وMSSQL، وOracle، وSybase. يستخدم معلمات العبارات المعدة لمنع هجمات الحقن مع الحفاظ على نهج برمجي لبناء استعلامات SQL معقدة. تغطي مجموعة الأدوات عمليات معالجة البيانات القياسية، بما في ذلك إدراج السجلات، والتحديثات، والحذف، والاستعلام. كما توفر قدرات للحسابات التجميعية، وإدارة المعاملات الذرية، وتنفيذ SQL الخام للمنطق المعقد. يتم تضمين أدوات تشخيصية لفحص تنفيذ الاستعلام، مما يسمح بتسجيل SQL الذي تم إنشاؤه ومعلومات الاتصال لأغراض التصحيح.

RoseDB is an embedded key-value database and log-structured storage engine. It functions as a library-based database that runs within an application process to provide local data persistence without the need for a separate database server. The project implements a Bitcask-style store, utilizing an append-only log format to maximize write throughput and minimize seek time. It ensures data consistency by grouping multiple read and write operations into single atomic units. The storage architecture relies on an in-memory key index for constant-time lookups and uses segment-based file management

RoseDB هو قاعدة بيانات مفتاح-قيمة (key-value) مستمرة ومحرك تخزين قائم على السجلات (log-structured). يعمل كنظام تخزين خفيف الوزن يستخدم جدول تجزئة قائم على السجلات وتنفيذ محرك Bitcask لتوفير استرجاع سريع للبيانات واستمرارية مدعومة بالقرص. يعمل النظام كمحرك معاملات ذري (atomic transaction)، حيث يجمع عمليات القراءة والكتابة المتعددة في وحدات واحدة للحفاظ على اتساق البيانات. يتعامل النظام مع البيانات من خلال نموذج مفتاح-قيمة يدعم عمليات الإدراج والبحث والحذف الفردية. توفر قاعدة البيانات إمكانيات لمعالجة البيانات المجمعة والتحديثات الذرية. بالإضافة إلى ذلك، يتضمن المشروع ميزات لإدارة المحتوى ذي الإصدارات وترجمة المحتوى متعدد اللغات.

FreeSql هو أداة تعيين كائنات-علاقات (ORM) في .NET وطبقة وصول للبيانات تترجم الكود الموجه للكائنات إلى SQL لمزودي قواعد بيانات علائقية متعددين. يعمل كمنشئ استعلام SQL بأسلوب fluent ومزامن لمخطط قاعدة البيانات، مما يسمح للمطورين بمواءمة هياكل جداول وفهارس قاعدة البيانات مع تعريفات فئات الكيانات. تم تحسين إطار العمل خصيصاً لـ .NET Native AOT لضمان تقليل بصمات الذاكرة وأوقات بدء تشغيل أسرع. يتضمن مديراً لحركة مرور قاعدة البيانات لتوزيع الحمل من خلال تقسيم القراءة والكتابة، وتقسيم الجداول الديناميكي (sharding)، وعزل البيانات القائم على المستأجر. تشمل الإمكانيات الواسعة استيعاب البيانات عالي الأداء باستخدام آليات النسخ المجمع الخاصة بالمزود، والاستعلام المتقدم مع دوال النافذة و CTEs المتكررة، والمراقبة القائمة على AOP لتدقيق تغييرات البيانات. يوفر النظام أيضاً أدوات إدارة المخطط للترحيلات المؤتمتة وأدوات التطوير لتوليد فئات الكيانات من بيانات تعريف قاعدة البيانات.