Awesome GitHub RepositoriesDistributed Cloud Storage Systems

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

CubeFS ist ein verteiltes Cloud-Speichersystem, das für die Verwaltung von Datei- und Objektspeichern über Rechenzentren und hybride Clouds hinweg entwickelt wurde. Es fungiert als mandantenfähiges verteiltes Dateisystem und Objektspeicher, der Daten im Exabyte-Maßstab verarbeiten kann und eine verteilte Architektur zur Speicherung unstrukturierter Inhalte nutzt. Das System zeichnet sich durch eine Multi-Protokoll-Schnittstellenebene aus, die den gleichzeitigen Datenzugriff über S3-, POSIX- und HDFS-Schnittstellen ermöglicht. Es verwendet eine entkoppelte Compute-Storage-Architektur, um Verarbeitung und Persistenz unabhängig voneinander zu skalieren, und implementiert fein abgestimmte Isolationsrichtlinien, um Ressourcen und Daten zwischen verschiedenen Mandanten zu trennen. Die Zuverlässigkeit wird durch konfigurierbare Redundanzstrategien verwaltet, einschließlich Multi-Replica-Mirroring und Erasure Coding. Die Plattform beinhaltet ein Multi-Tier-Caching-System zur Beschleunigung des Datenzugriffs und integriert sich via Container Storage Interface-Treiber in Kubernetes, um die Bereitstellung persistenter Volumes zu automatisieren.

Cube Studio ist eine Cloud-native MLOps-Plattform und ein Kubernetes-basierter KI-Orchestrator, der für den gesamten Lebenszyklus des maschinellen Lernens konzipiert ist. Es bietet ein Framework für verteiltes Training zur Feinabstimmung großer Modelle, einen GPU-Ressourcenmanager für Hardware-Virtualisierung und einen ML-Pipeline-Orchestrator, der visuelle gerichtete azyklische Graphen zur Verwaltung von End-to-End-Workflows nutzt. Die Plattform zeichnet sich durch ihren spezialisierten LLM-Inference-Server aus, der Retrieval-Augmented Generation und den Aufbau privater Wissensdatenbanken unterstützt. Sie verfügt über ein dediziertes System für das überwachte Fine-Tuning und Reinforcement Learning großer Sprachmodelle, ergänzt durch visuelle Tools zur Hyperparameter-Suche. Das System deckt ein breites Spektrum operativer Fähigkeiten ab, darunter multimodale Datenlabeling-Prozesse, verteilte Datenpipelines und Multi-Cluster-Workload-Scheduling. Zudem bietet es browserbasierte interaktive Entwicklungsumgebungen, Container-Image-Management und eine Modell-Registry für die Versionierung und Bereitstellung skalierbarer Inference-APIs mit Traffic-Splitting. Die Infrastruktur umfasst ein integriertes Cluster-Health-Monitoring sowie rollenbasierte Zugriffskontrolle mit Single-Sign-On-Integration.