Awesome GitHub RepositoriesErasure Coding

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

CubeFS es un sistema de almacenamiento en la nube distribuido diseñado para gestionar almacenamiento de archivos y objetos en centros de datos y nubes híbridas. Funciona como un sistema de archivos distribuido multi-inquilino y un almacén de objetos capaz de manejar datos a escala de exabytes, utilizando una arquitectura distribuida para almacenar contenido no estructurado. El sistema se distingue por una capa de interfaz multiprotocolo que permite el acceso simultáneo a datos a través de interfaces S3, POSIX y HDFS. Emplea una arquitectura desacoplada de cómputo-almacenamiento para escalar el procesamiento y la persistencia de forma independiente e implementa políticas de aislamiento de grano fino para separar recursos y datos entre diferentes inquilinos. La fiabilidad se gestiona mediante estrategias de redundancia configurables, incluyendo replicación múltiple y codificación de borrado (erasure coding). La plataforma incluye un sistema de caché multinivel para acelerar el acceso a los datos y se integra con Kubernetes a través de un controlador de Container Storage Interface (CSI) para automatizar el aprovisionamiento de volúmenes persistentes.

YDB es una base de datos SQL distribuida y motor analítico diseñado para la escalabilidad horizontal y una fuerte consistencia. Funciona como un sistema multimodelo que admite cargas de trabajo transaccionales y analíticas a través de una arquitectura distribuida que proporciona transacciones ACID serializables. El sistema se distingue por su amplia compatibilidad de protocolos, implementando el protocolo de cable de PostgreSQL para controladores SQL estándar y el protocolo de Kafka para mensajería y streaming. Además, sirve como una base de datos vectorial, admitiendo índices vectoriales y búsquedas de vecinos más cercanos aproximados para búsqueda semántica e incrustaciones. La plataforma gestiona datos utilizando un modelo de almacenamiento híbrido con formatos orientados a filas y columnas, utilizando ejecución de consultas vectorizadas para analíticas a escala de petabytes. Su superficie operativa incluye streaming de captura de datos de cambio, colas persistentes de entrega única y alta disponibilidad multizona. El despliegue y la gestión del ciclo de vida son compatibles a través de un operador de Kubernetes y aprovisionamiento de infraestructura como código.