Awesome GitHub RepositoriesDistributed Cloud Storage Systems

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

CubeFS 是一个分布式云存储系统，旨在管理跨数据中心和混合云的文件和对象存储。它作为一个多租户分布式文件系统和对象存储，能够处理艾字节（exabyte）规模的数据，并利用分布式架构存储非结构化内容。 该系统以其多协议接口层为特色，允许通过 S3、POSIX 和 HDFS 接口同时访问数据。它采用存算分离架构以独立扩展处理和持久化能力，并实施细粒度的隔离策略以分离不同租户间的资源和数据。 可靠性通过可配置的冗余策略进行管理，包括多副本镜像和纠删码。该平台包含一个多级缓存系统以加速数据访问，并与 Kubernetes 通过容器存储接口（CSI）驱动程序集成，以实现持久卷的自动化配置。

Cube Studio 是一个云原生 MLOps 平台和基于 Kubernetes 的 AI 编排器，专为机器学习全生命周期设计。它提供了一个用于大规模模型微调的分布式训练框架、用于硬件虚拟化的 GPU 资源管理器，以及一个使用可视化有向无环图（DAG）来管理端到端工作流的 ML 流水线编排器。 该平台的特色在于其专业的 LLM 推理服务器，支持检索增强生成（RAG）和私有知识库构建。它拥有专门用于大语言模型监督微调和强化学习的系统，并辅以可视化超参数搜索工具。 该系统涵盖了广泛的运营能力，包括多模态数据标注、分布式数据流水线和多集群工作负载调度。它还提供基于浏览器的交互式开发环境、容器镜像管理以及用于版本控制和部署可扩展推理 API（带流量拆分）的模型注册中心。 其基础设施包括集成的集群健康监控和支持单点登录（SSO）的基于角色的访问控制（RBAC）。