Awesome GitHub RepositoriesConcurrent Caches

Dapper is a high-performance micro-ORM and SQL object mapper for .NET. It functions as an ADO.NET extension library that adds data mapping capabilities directly to database connections, allowing SQL query results to be transformed into typed objects. The project prioritizes execution speed and low memory overhead by using intermediate language generation to map database columns to object properties. It further optimizes performance through the use of concurrent caching for mapping functions and literal value injection to improve database execution plans. The library covers a broad range of d

Caffeine is a high-performance caching library for the Java virtual machine designed to manage object lifecycles within the application heap. It functions as a thread-safe, memory-resident data store that reduces latency by keeping frequently accessed objects available for immediate retrieval. The library distinguishes itself through a sophisticated eviction strategy that balances recency and frequency to determine which entries to retain. It utilizes a frequency-based admission policy to evaluate the historical access patterns of new data, ensuring that the cache remains populated with the m

Memcached is a high-performance, distributed, in-memory key-value storage and request routing engine. It functions as a volatile data store designed to accelerate dynamic applications by caching objects in RAM, thereby reducing backend database load and providing sub-millisecond response times. The system utilizes a specialized architecture that organizes memory into fixed-size slabs to minimize fragmentation and maximize throughput for high-concurrency workloads. The project distinguishes itself through a multi-threaded, lock-friendly design that scales across CPU cores and supports complex

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

go-cache is a thread-safe, in-memory cache library for Go that stores arbitrary objects with per-item expiration timestamps. It provides a concurrent key-value store where multiple goroutines can safely read and write shared cached data without external synchronization, using a mutex-guarded map for access control. The library distinguishes itself through its expiration management and optional disk persistence. Each cached item carries its own time-to-live, and a background goroutine periodically purges expired entries. The cache can serialize its entire contents to disk using Go's gob encodi

Ristretto is a high-performance in-memory cache and concurrent key-value store for Go applications. It provides a thread-safe memory store that manages strict memory bounds and employs probabilistic set filters to reduce lookup overhead. The system is distinguished by an admission-policy cache that utilizes frequency sketches and cost-based eviction to maximize hit ratios. It minimizes contention and improves throughput through the use of striped ring buffers and concurrent map sharding. The project covers a broad range of data management capabilities, including time-based expiration, item f

FASTER is a high-throughput key-value store that combines an in-memory data store with a hybrid memory-disk storage engine, enabling datasets larger than available RAM. It uses a latch-free, cache-optimized index for concurrent point lookups and heavy updates, and records all mutations to a persistent append-only log on disk with checksum validation and group-commit checkpointing for crash recovery. The system supports multi-key transactional workloads through atomic multi-key locking, ensuring transactional consistency without coarse-grained contention. It exposes the key-value store to remo

freecache هي مكتبة تخزين مفتاح-قيمة عالية الأداء ومتزامنة في الذاكرة لتطبيقات Go. تعمل كذاكرة تخزين مؤقت ثابتة الحجم تدير كميات كبيرة من البيانات مع القضاء على عبء جمع القمامة (garbage collection) من خلال استخدام الذاكرة المخصصة مسبقاً والتخزين خارج الكومة (off-heap). يحافظ النظام على بصمة ذاكرة يمكن التنبؤ بها من خلال استخدام تخصيص الذاكرة الثابت وإدارة المخزن المؤقت الدائري، حيث تقوم الإدخالات الجديدة تلقائياً بالكتابة فوق أقدم البيانات عند الوصول إلى السعة. كما يقلل من التنافس بين القراء والكتاب المتزامنين من خلال الوصول المتزامن المقفل. تتضمن المكتبة واجهة خادم تنفذ مجموعة فرعية من بروتوكول Redis، مما يسمح للعملاء الخارجيين بالتواصل مع ذاكرة التخزين المؤقت باستخدام أوامر قياسية وخطوط أنابيب. تتم إدارة دورة حياة البيانات عبر انتهاء الصلاحية (time-to-live) وسياسات الإخلاء الآلي.

هذه مكتبة تخزين مؤقت في الذاكرة آمنة للخيوط (thread-safe) لـ Go تقوم تلقائياً بطرد العناصر الأقل استخداماً مؤخراً عند الوصول إلى السعة. توفر ذاكرة تخزين مؤقت ذات حجم ثابت مصممة للحفاظ على بصمة ذاكرة ثابتة عن طريق إزالة أقدم الإدخالات عند وصول بيانات جديدة. يتضمن النظام مديراً للطرد ينفذ عمليات استدعاء مخصصة عند مسح الإدخالات لتسهيل تنظيف الموارد. كما يدعم انتهاء الصلاحية القائم على الوقت، مما يسمح بالإزالة التلقائية للعناصر بعد مدة زمنية محددة. تغطي المكتبة إمكانات التخزين المؤقت العامة بما في ذلك فحص ذاكرة التخزين المؤقت للتحقق من وجود المفتاح، ومسح ذاكرة التخزين المؤقت بالكامل، واستراتيجيات لتحسين معدلات الإصابة عن طريق منع تدفقات البيانات الجديدة من إزاحة العناصر التي يتم الوصول إليها بشكل متكرر. تتم مزامنة جميع عمليات القراءة والكتابة للسماح بالوصول المتزامن عبر روتينيات متعددة.

هذه مكتبة PHP توفر واجهات قياسية لتخزين البيانات مؤقتاً من خلال مواصفات PSR-6 وPSR-16. تعمل كمدير تجمع ذاكرة التخزين المؤقت ومحول ذاكرة تخزين مؤقت موزع، مما يسمح للتطبيقات بتنظيم أزواج المفتاح-القيمة في مستودعات ومساحات أسماء منطقية. يتضمن المشروع أداة مخصصة لمنع تدافع ذاكرة التخزين المؤقت (cache stampede) التي تحمي الأنظمة من ارتفاعات المعالج أثناء انتهاء صلاحية القيمة. يتم تحقيق ذلك من خلال آليات القفل للطلبات المتزامنة وانتهاء الصلاحية المبكر الاحتمالي. تدعم المكتبة تسلسل الكائنات مع التشفير والضغط الاختياري لترجمة البيانات المعقدة إلى صيغ قابلة للتخزين. توفر طبقة تجريد تخزين متعددة الخلفيات، مما يتيح استمرارية البيانات عبر الذاكرة، وأنظمة الملفات، وقواعد البيانات الموزعة. تشمل القدرات الأخرى استرجاع ذاكرة التخزين المؤقت القائم على رد الاتصال وتسمية النطاقات القائمة على المفتاح لعزل البيانات.

هذا المشروع عبارة عن دليل برمجة أداء شامل ومرجع للغة Go، مع التركيز على كفاءة وقت التشغيل وتحسين الذاكرة. يوفر مجموعة من الأنماط والتقنيات المصممة لزيادة سرعة التنفيذ عن طريق تقليل حمل جمع القمامة (garbage collection) وتحسين استخدام الذاكرة. يتميز المورد بتنفيذات مرجعية مفصلة لتحسين الذاكرة، مثل تحليل الهروب (escape analysis)، وتجميع الكائنات (object pooling)، ومحاذاة ذاكرة الهياكل. ويقدم استراتيجيات محددة لتقليل حجم الملف الثنائي وتحسين كفاءة ذاكرة التخزين المؤقت للمعالج (CPU cache) من خلال تحسين تخطيط ذاكرة الهياكل واستخدام عناصر نائبة خالية من التخصيص. يغطي المشروع نطاقاً واسعاً من قدرات هندسة الواجهة الخلفية، بما في ذلك إدارة التزامن مع مجموعات العمال (worker pools) وبدائيات المزامنة، وRPC عالي الأداء وتوجيه HTTP، واستراتيجيات التخزين المؤقت الموزعة. كما يتضمن توجيهات حول الملاحظة من خلال تحليل أداء المعالج والذاكرة، بالإضافة إلى أنماط ضمان الجودة لاختبار الوحدات الوظيفية وتوليد الكائنات الوهمية (mock objects). يتم تنظيم المحتوى كسلسلة من البرامج التعليمية، والأمثلة المعمارية، وأدلة قياس الأداء لمساعدة المطورين على تحليل وإصلاح اختناقات الأداء.

FusionCache is a hybrid distributed caching library that coordinates local memory and distributed storage to balance access speed with global consistency. It functions as a resilient data access layer, utilizing a pluggable serialization framework to convert cached objects into various binary or text formats for compatibility across diverse storage environments. The system maintains cluster consistency through a distributed cache synchronizer that propagates invalidations and state updates across multiple nodes via a shared messaging backplane. It improves reliability by serving stale cache d

FusionCache is a .NET caching framework that manages local and distributed data storage. It functions as a hybrid cache implementation, combining fast in-memory storage with a distributed second-level cache to reduce latency and remote data fetches. The framework includes a cache stampede protector that ensures only one request fetches missing data while concurrent calls wait. It synchronizes data across multiple application nodes using a backplane and provides an observability-driven approach with built-in metrics, structured logging, and telemetry. The system covers a broad range of cachin

Rueidis is a high-performance Redis client library for Go that provides a type-safe and asynchronous interface for interacting with Redis servers. It includes a full implementation of the Redis serialization protocol and a dedicated connection manager to handle pooling, multiplexing, and automatic pipelining. The library is distinguished by its support for RDMA connectivity to reduce latency and CPU overhead. It features a distributed lock manager that implements majority-based locking and optimistic concurrency control, as well as client-side caching with invalidation signals to minimize net

This project is a disk-backed key-value store and persistent data structure library for Python. It provides a mechanism for persisting mappings, sets, and queues to the local filesystem to bypass memory limitations and cache expensive function results across threads and processes. The system serves as a cross-process synchronization tool, offering distributed locks, semaphores, and barriers to coordinate shared resource access. It implements advanced caching strategies such as probabilistic stampede prevention, sharded data partitioning to increase throughput, and least-recently-used eviction