Awesome GitHub RepositoriesDistributed Object Stores

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

SeaweedFS is a distributed object store and high-performance file system designed to manage massive volumes of unstructured data. It utilizes a decoupled architecture that separates metadata management from raw data storage, allowing for independent scalability and the efficient handling of billions of files. By providing a POSIX-compliant interface, it enables applications to interact with a unified namespace while maintaining the performance characteristics of a distributed object store. The system distinguishes itself through a multi-region data fabric that supports active-active replicati

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CubeFS هو نظام تخزين سحابي موزع مصمم لإدارة تخزين الملفات والكائنات عبر مراكز البيانات والسحب الهجينة. يعمل كنظام ملفات موزع متعدد المستأجرين ومخزن كائنات قادر على التعامل مع البيانات على نطاق إكسابايت، باستخدام بنية موزعة لتخزين المحتوى غير المهيكل. يتميز النظام بطبقة واجهة متعددة البروتوكولات تسمح بالوصول المتزامن للبيانات عبر واجهات S3 وPOSIX وHDFS. يستخدم بنية حوسبة-تخزين مفككة لتوسيع نطاق المعالجة والاستمرارية بشكل مستقل، ويطبق سياسات عزل دقيقة لفصل الموارد والبيانات بين المستأجرين المختلفين. تتم إدارة الموثوقية من خلال استراتيجيات تكرار قابلة للتهيئة، بما في ذلك النسخ المتطابق متعدد النسخ وترميز المسح (Erasure coding). تتضمن المنصة نظام تخزين مؤقت متعدد المستويات لتسريع الوصول إلى البيانات، وتتكامل مع Kubernetes عبر برنامج تشغيل واجهة تخزين الحاويات (CSI) لأتمتة توفير وحدات التخزين المستمرة.

Mooncake هو منصة لخدمة نماذج اللغة الكبيرة (LLM) المفككة ومخزن مفتاح-قيمة موزع مصمم لبنية تحتية عالية الأداء للاستنتاج. يعمل كمنسق لذاكرة GPU ونظام إدارة لذاكرة التخزين المؤقت (KV cache) الذي يجمع وينقل ذاكرة التخزين المؤقت للمفاتيح والقيم عبر العناقيد (Clusters) لتسريع الاستنتاج. يتميز النظام بفصل مراحل الاستنتاج (Prefill وDecode) إلى عناقيد أجهزة متميزة لتحسين استخدام الموارد. يستخدم ذاكرة تخزين مؤقت موزعة عالية الأداء تعتمد على RDMA مع عمليات نقل بدون نسخ (Zero-copy) لنقل البيانات بين عقد الحوسبة، متجاوزًا وحدة المعالجة المركزية (CPU) لتقليل التأخير والحمل الزائد. تغطي المنصة مجالات قدرات واسعة بما في ذلك تجميع الذاكرة الموزعة، وتوجيه ذاكرة المسرع عبر CXL، وتفريغ التخزين متعدد المستويات إلى أقراص SSD. يدير النظام حالة العنقود من خلال خدمات تنسيق البيانات الوصفية، ويطبق حوكمة الموارد عبر حماية الكائنات القائمة على الإيجار وطرد ذاكرة التخزين المؤقت القائم على العلامات المائية. البرنامج مهيأ للنشر في حاويات (Containerized) مع دعم لشبكات المضيف وتعيين أجهزة العتاد.

FastStream is an asyncio message broker framework for building event-driven applications in Python. It provides a unified interface and a multi-broker messaging abstraction layer that translates generic producer and consumer calls into broker-specific APIs. The framework features a built-in dependency injection container and uses decorators to route messages to asynchronous handler functions. It includes a documentation generator that extracts channel definitions and message formats from code to produce standardized AsyncAPI specifications. The project supports integration with Kafka, Rabbit