Awesome GitHub RepositoriesDistributed Cloud Storage Systems

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.

Cube Studio este o platformă MLOps cloud-native și un orchestrator AI bazat pe Kubernetes, conceput pentru întregul ciclu de viață al învățării automate. Oferă un framework de antrenare distribuită pentru fine-tuning-ul modelelor la scară largă, un manager de resurse GPU pentru virtualizarea hardware și un orchestrator de pipeline-uri ML care utilizează grafuri aciclice direcționate vizuale pentru a gestiona fluxurile de lucru end-to-end. Platforma se distinge prin serverul său specializat de inferență LLM, care suportă generarea augmentată prin recuperare (RAG) și construirea de baze de cunoștințe private. Dispune de un sistem dedicat pentru fine-tuning supervizat și învățare prin consolidare a modelelor de limbaj mari, completat de instrumente vizuale de căutare a hiperparametrilor. Sistemul acoperă o gamă largă de capabilități operaționale, inclusiv etichetarea datelor multimodale, pipeline-uri de date distribuite și programarea sarcinilor de lucru multi-cluster. De asemenea, oferă medii de dezvoltare interactive bazate pe browser, gestionarea imaginilor de containere și un registru de modele pentru versionarea și implementarea API-urilor de inferență scalabile cu împărțirea traficului. Infrastructura include monitorizarea integrată a stării clusterului și controlul accesului bazat pe roluri cu integrare single sign-on.