Awesome GitHub RepositoriesDisk-Backed Data Structures

Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

MapDB ist eine eingebettete Datenbank-Engine und eine Bibliothek für disk-basierte Collections, die Java-Collections auf der Festplatte oder außerhalb des Heaps speichert. Sie fungiert als lokale Datenverarbeitungs-Engine, die darauf ausgelegt ist, Datensätze zu verarbeiten, die den verfügbaren physischen RAM überschreiten. Das Projekt nutzt Off-Heap-Datenspeicherung, um den Overhead der Garbage Collection zu eliminieren, und verwendet Disk-Overflow-Caching, um Speicher- und Festplattennutzung auszubalancieren. Es bietet spezialisierte Dienstprogramme zum Filtern und Analysieren großer Mengen lokaler Daten auf einer einzelnen Maschine. Das System stellt die Datenintegrität durch ACID-konforme Transaktionen und Multi-Version-Concurrency-Control sicher. Es unterstützt persistente Maps, Sets und Queues unter Verwendung von B-Tree-Indizierung und ein sequentielles Transaktionsprotokoll für die Dauerhaftigkeit. Das Systemverhalten und interne Engine-Operationen können über konfigurierbare Logging-Level und Ausgabeformate überwacht werden.

Miniflare ist ein lokaler Simulator und Emulator für Cloudflare Workers. Er bietet eine serverlose Laufzeitumgebung auf einem lokalen Rechner, die die Entwicklung und das Testen von Funktionen und Edge-APIs ermöglicht, ohne diese in einer Produktions-Cloud-Umgebung bereitstellen zu müssen. Das Projekt implementiert eine lokale Simulation von Edge-Storage-Primitiven, einschließlich Key-Value-Stores, Objektspeichern und Durable Objects. Es ermöglicht zudem eine lokale Integrations-Testumgebung, in der serverlose Funktionen innerhalb isolierter Sandboxes ausgeführt werden. Das Toolset deckt eine breite Entwicklungsfläche ab, einschließlich Hot-Reloading via Dateisystem-Monitoring, lokaler Zustandspersistenz für Storage-Bindings und dem Management von Umgebungsvariablen (Secrets). Es unterstützt zudem automatisierte Integrationstests mit zustandsisolierten Containern, um Datenlecks zwischen Testfällen zu verhindern.

This project is a disk-backed key-value store and persistent data structure library for Python. It provides a mechanism for persisting mappings, sets, and queues to the local filesystem to bypass memory limitations and cache expensive function results across threads and processes. The system serves as a cross-process synchronization tool, offering distributed locks, semaphores, and barriers to coordinate shared resource access. It implements advanced caching strategies such as probabilistic stampede prevention, sharded data partitioning to increase throughput, and least-recently-used eviction