Awesome GitHub RepositoriesHigh-Throughput Decompression

Zstandard is a lossless data compression library and archive format designed for high compression ratios and fast real-time processing. It functions as a real-time data compressor and multi-threaded compression engine capable of distributing workloads across multiple CPU cores to increase throughput. The system features a dictionary-based compressor that trains on sample data to improve the compression ratio and speed of small files. It also provides long distance pattern matching to identify repeated sequences across large files. The library covers a broad range of capabilities including st

This project provides a lossless compression algorithm and a byte-oriented compression library designed for high-speed data reduction and maximum decompression speed. It functions as a stream-oriented compression engine, a software library for encoding and decoding data blocks, and a command-line tool for managing interoperable compressed frames. The system distinguishes itself through the use of predefined pattern dictionaries to improve compression ratios for small data sets and small packets. It supports multiple processing modes, including high-speed block compression for minimal latency

Thumbor is a dynamic image processing service and proxy server that resizes, crops, and filters images on demand via URL parameters. It functions as a URL-based image manipulator that generates specific image versions from source assets to optimize web delivery. The system includes a smart cropping engine that uses facial feature detection and computer vision to automatically center thumbnails on the most relevant visual content. To prevent unauthorized parameter tampering and malicious requests, it employs signature-based request validation and domain-based source whitelisting. Broad capabi

Ristretto is a high-performance in-memory cache and concurrent key-value store for Go applications. It provides a thread-safe memory store that manages strict memory bounds and employs probabilistic set filters to reduce lookup overhead. The system is distinguished by an admission-policy cache that utilizes frequency sketches and cost-based eviction to maximize hit ratios. It minimizes contention and improves throughput through the use of striped ring buffers and concurrent map sharding. The project covers a broad range of data management capabilities, including time-based expiration, item f

Snappy is a high-performance lossless compression library implemented in C++. It provides data reduction methods that perfectly restore original information, focusing on system-level efficiency and processing velocity across different platforms. The library prioritizes high-speed data compression and decompression over achieving the maximum possible compression ratio. It is designed for real-time stream compression to reduce bandwidth usage without introducing significant processing latency. The implementation covers high-velocity data shrinking and rapid restoration. It includes resilient d

DiskLruCache is a disk-backed key-value cache library for Android and Java environments that stores data on the filesystem within a configurable byte limit. It uses a least-recently-used (LRU) eviction policy to automatically remove old entries when the cache exceeds its allocated size, and maintains a journal file to reconstruct its in-memory state after a process restart. The cache provides atomic write operations that first write new data to a temporary file before atomically renaming it, preventing partial or corrupted reads during concurrent access. It returns frozen snapshots of cache e

Mozjpeg هي مكتبة C عالية الأداء لتشفير وفك تشفير وتحويل صور JPEG. تعمل كبديل متوافق ثنائياً (drop-in replacement) لمكتبات JPEG القياسية، مع الحفاظ على توقيعات الدوال الحالية لتحسين كفاءة الضغط دون الحاجة إلى تغييرات في منطق التطبيق. تعمل المكتبة كمحسن للصور يقلل أحجام الملفات من خلال التشفير التدريجي غير المفقود وتحسين المعاملات. تستخدم التكميم القائم على Trellis والمعالجة المسرعة بـ SIMD لتحسين المقايضة بين الجودة البصرية وحجم الملف. تغطي إمكانياتها الأوسع تشفير وفك تشفير الصور الشامل، وتحويل مساحة اللون، وتقليل أخذ العينات للمكونات. تم تصميم البنية لتكون قابلة لإعادة الدخول وآمنة للخيوط (thread-safe)، مما يسمح بالمعالجة المتزامنة لصور متعددة. كما تتميز بإدارة متخصصة للبيانات الوصفية للتعامل مع ملفات تعريف ألوان ICC الكبيرة عبر تقسيم العلامات.

webfunny_monitor is an open-source frontend monitoring and analytics platform that tracks page load performance, JavaScript errors, and user behavior. It serves as a comprehensive tool for measuring page load speed, API response times, client-side errors, and custom user events, with real-time dashboards that stream aggregated metrics via WebSocket for sub-second updates. The project distinguishes itself through its architectural approach: events are collected asynchronously via lightweight HTTP beacons and batched before transmission, while a memory-bounded local storage buffer ensures relia

هذه مكتبة تخزين مؤقت في الذاكرة آمنة للخيوط (thread-safe) لـ Go تقوم تلقائياً بطرد العناصر الأقل استخداماً مؤخراً عند الوصول إلى السعة. توفر ذاكرة تخزين مؤقت ذات حجم ثابت مصممة للحفاظ على بصمة ذاكرة ثابتة عن طريق إزالة أقدم الإدخالات عند وصول بيانات جديدة. يتضمن النظام مديراً للطرد ينفذ عمليات استدعاء مخصصة عند مسح الإدخالات لتسهيل تنظيف الموارد. كما يدعم انتهاء الصلاحية القائم على الوقت، مما يسمح بالإزالة التلقائية للعناصر بعد مدة زمنية محددة. تغطي المكتبة إمكانات التخزين المؤقت العامة بما في ذلك فحص ذاكرة التخزين المؤقت للتحقق من وجود المفتاح، ومسح ذاكرة التخزين المؤقت بالكامل، واستراتيجيات لتحسين معدلات الإصابة عن طريق منع تدفقات البيانات الجديدة من إزاحة العناصر التي يتم الوصول إليها بشكل متكرر. تتم مزامنة جميع عمليات القراءة والكتابة للسماح بالوصول المتزامن عبر روتينيات متعددة.