Awesome GitHub RepositoriesDistributed Cloud Storage Systems

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

CubeFS هو نظام تخزين سحابي موزع مصمم لإدارة تخزين الملفات والكائنات عبر مراكز البيانات والسحب الهجينة. يعمل كنظام ملفات موزع متعدد المستأجرين ومخزن كائنات قادر على التعامل مع البيانات على نطاق إكسابايت، باستخدام بنية موزعة لتخزين المحتوى غير المهيكل. يتميز النظام بطبقة واجهة متعددة البروتوكولات تسمح بالوصول المتزامن للبيانات عبر واجهات S3 وPOSIX وHDFS. يستخدم بنية حوسبة-تخزين مفككة لتوسيع نطاق المعالجة والاستمرارية بشكل مستقل، ويطبق سياسات عزل دقيقة لفصل الموارد والبيانات بين المستأجرين المختلفين. تتم إدارة الموثوقية من خلال استراتيجيات تكرار قابلة للتهيئة، بما في ذلك النسخ المتطابق متعدد النسخ وترميز المسح (Erasure coding). تتضمن المنصة نظام تخزين مؤقت متعدد المستويات لتسريع الوصول إلى البيانات، وتتكامل مع Kubernetes عبر برنامج تشغيل واجهة تخزين الحاويات (CSI) لأتمتة توفير وحدات التخزين المستمرة.

Cube Studio هو منصة MLOps سحابية ومنظم ذكاء اصطناعي يعتمد على Kubernetes ومصمم لدورة حياة تعلم الآلة بالكامل. يوفر إطار عمل للتدريب الموزع لضبط النماذج على نطاق واسع، ومدير موارد GPU لافتراضية الأجهزة، ومنظم لخطوط أنابيب تعلم الآلة يستخدم رسوم بيانية موجهة غير دورية (DAGs) لإدارة سير العمل من البداية إلى النهاية. تتميز المنصة بخادم استنتاج LLM متخصص يدعم التوليد المعزز بالاسترجاع (RAG) وبناء قواعد المعرفة الخاصة. كما يتميز بنظام مخصص للضبط الخاضع للإشراف والتعلم التعزيزي لنماذج اللغات الكبيرة، مدعوماً بأدوات مرئية للبحث عن المعاملات الفائقة (Hyperparameters). يغطي النظام نطاقاً واسعاً من القدرات التشغيلية، بما في ذلك تصنيف البيانات متعددة الوسائط، وخطوط أنابيب البيانات الموزعة، وجدولة أحمال العمل عبر مجموعات متعددة. كما يوفر بيئات تطوير تفاعلية تعتمد على المتصفح، وإدارة صور الحاويات، وسجل نماذج لإصدار ونشر واجهات برمجة تطبيقات استنتاج قابلة للتوسع مع تقسيم حركة المرور. تتضمن البنية التحتية مراقبة صحة المجموعات (Cluster Health) والتحكم في الوصول القائم على الأدوار مع تكامل تسجيل الدخول الموحد (SSO).