Awesome GitHub RepositoriesDisk-Backed Data Structures

Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

MapDB este un motor de bază de date embedded și o bibliotecă de colecții susținută de disc care stochează colecțiile Java pe disc sau off-heap. Funcționează ca un motor local de procesare a datelor conceput pentru a gestiona seturi de date care depășesc memoria RAM fizică disponibilă. Proiectul utilizează stocarea datelor off-heap pentru a elimina overhead-ul de garbage collection și folosește caching-ul cu overflow pe disc pentru a echilibra utilizarea memoriei și a discului. Oferă utilitare specializate pentru filtrarea și analizarea unor volume mari de date locale pe o singură mașină. Sistemul asigură integritatea datelor prin tranzacții conforme ACID și controlul concurenței multi-versiune. Suportă map-uri, seturi și cozi persistente folosind indexare B-tree și un jurnal de tranzacții secvențial pentru durabilitate. Comportamentul sistemului și operațiunile motorului intern pot fi monitorizate prin niveluri de logare configurabile și formate de output.

Miniflare este un simulator și emulator local pentru Cloudflare Workers. Oferă un mediu de runtime serverless pe o mașină locală, permițând dezvoltarea și testarea funcțiilor și a API-urilor edge fără a implementa într-un mediu cloud de producție. Proiectul implementează o simulare locală a primitivelor de stocare edge, inclusiv key-value stores, stocare de obiecte și durable objects. De asemenea, permite un mediu de testare de integrare locală unde funcțiile serverless sunt executate în sandbox-uri izolate. Setul de instrumente acoperă o suprafață largă de dezvoltare, inclusiv hot-reloading prin monitorizarea sistemului de fișiere, persistența stării locale pentru binding-urile de stocare și gestionarea secretelor de mediu. De asemenea, suportă testarea automată de integrare cu containere izolate la nivel de stare pentru a preveni scurgerea datelor între cazurile de testare.

This project is a disk-backed key-value store and persistent data structure library for Python. It provides a mechanism for persisting mappings, sets, and queues to the local filesystem to bypass memory limitations and cache expensive function results across threads and processes. The system serves as a cross-process synchronization tool, offering distributed locks, semaphores, and barriers to coordinate shared resource access. It implements advanced caching strategies such as probabilistic stampede prevention, sharded data partitioning to increase throughput, and least-recently-used eviction