Awesome GitHub RepositoriesDisk-Backed Data Structures

Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

MapDB est un moteur de base de données embarqué et une bibliothèque de collections supportée par disque qui stocke les collections Java sur disque ou hors-tas (off-heap). Il fonctionne comme un moteur de traitement de données local conçu pour gérer des ensembles de données qui dépassent la RAM physique disponible. Le projet utilise le stockage de données hors-tas pour éliminer la surcharge du garbage collection et emploie la mise en cache par débordement sur disque pour équilibrer l'utilisation de la mémoire et du disque. Il fournit des utilitaires spécialisés pour filtrer et analyser de grands volumes de données locales sur une seule machine. Le système assure l'intégrité des données via des transactions conformes ACID et un contrôle de concurrence multi-version. Il prend en charge les maps, sets et files persistants utilisant l'indexation B-tree et un journal de transaction séquentiel pour la durabilité. Le comportement du système et les opérations internes du moteur peuvent être surveillés via des niveaux de journalisation configurables et des formats de sortie.

Miniflare est un simulateur et émulateur local pour Cloudflare Workers. Il fournit un environnement d'exécution serverless sur une machine locale, permettant le développement et le test de fonctions et d'API edge sans déploiement dans un environnement cloud de production. Le projet implémente une simulation locale des primitives de stockage edge, incluant les magasins clé-valeur, le stockage d'objets et les objets durables. Il permet en outre un banc d'essai d'intégration local où les fonctions serverless sont exécutées dans des bacs à sable isolés. L'ensemble d'outils couvre une large surface de développement, incluant le rechargement à chaud via la surveillance du système de fichiers, la persistance d'état locale pour les liaisons de stockage et la gestion des secrets d'environnement. Il prend également en charge les tests d'intégration automatisés avec des conteneurs isolés par état pour éviter les fuites de données entre les cas de test.

This project is a disk-backed key-value store and persistent data structure library for Python. It provides a mechanism for persisting mappings, sets, and queues to the local filesystem to bypass memory limitations and cache expensive function results across threads and processes. The system serves as a cross-process synchronization tool, offering distributed locks, semaphores, and barriers to coordinate shared resource access. It implements advanced caching strategies such as probabilistic stampede prevention, sharded data partitioning to increase throughput, and least-recently-used eviction