Awesome GitHub RepositoriesErasure Coding

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

CubeFS هو نظام تخزين سحابي موزع مصمم لإدارة تخزين الملفات والكائنات عبر مراكز البيانات والسحب الهجينة. يعمل كنظام ملفات موزع متعدد المستأجرين ومخزن كائنات قادر على التعامل مع البيانات على نطاق إكسابايت، باستخدام بنية موزعة لتخزين المحتوى غير المهيكل. يتميز النظام بطبقة واجهة متعددة البروتوكولات تسمح بالوصول المتزامن للبيانات عبر واجهات S3 وPOSIX وHDFS. يستخدم بنية حوسبة-تخزين مفككة لتوسيع نطاق المعالجة والاستمرارية بشكل مستقل، ويطبق سياسات عزل دقيقة لفصل الموارد والبيانات بين المستأجرين المختلفين. تتم إدارة الموثوقية من خلال استراتيجيات تكرار قابلة للتهيئة، بما في ذلك النسخ المتطابق متعدد النسخ وترميز المسح (Erasure coding). تتضمن المنصة نظام تخزين مؤقت متعدد المستويات لتسريع الوصول إلى البيانات، وتتكامل مع Kubernetes عبر برنامج تشغيل واجهة تخزين الحاويات (CSI) لأتمتة توفير وحدات التخزين المستمرة.

YDB هي قاعدة بيانات SQL موزعة ومحرك تحليلي مصمم لقابلية التوسع الأفقي والاتساق القوي. تعمل كنظام متعدد النماذج يدعم أحمال العمل المعاملاتية والتحليلية من خلال معمارية موزعة توفر معاملات ACID قابلة للتسلسل. يتميز النظام بتوافقه الواسع مع البروتوكولات، حيث ينفذ بروتوكول PostgreSQL لبرامج تشغيل SQL القياسية وبروتوكول Kafka للمراسلة والبث. كما يعمل كقاعدة بيانات متجهة، حيث يدعم فهارس المتجهات وعمليات البحث عن أقرب جار تقريبي للبحث الدلالي والتضمينات. تدير المنصة البيانات باستخدام نموذج تخزين هجين مع تنسيقات موجهة للصفوف وموجهة للأعمدة، باستخدام تنفيذ الاستعلام المتجه لتحليلات على نطاق البيتابايت. يشمل سطحها التشغيلي بث تغيير البيانات (CDC)، وطوابير ثابتة مرة واحدة بالضبط، وتوافر عالي متعدد المناطق. يتم دعم النشر وإدارة دورة الحياة من خلال مشغل Kubernetes وتوفير البنية التحتية ككود.