Awesome GitHub RepositoriesStorage Node Replicas

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

GlusterFS est un système de fichiers distribué défini par logiciel et un cluster de stockage scale-out qui agrège les ressources disque de plusieurs serveurs en un seul espace de noms global. Il fonctionne comme une plateforme de stockage unifiée, permettant aux mêmes données sous-jacentes d'être exposées via des interfaces de stockage de fichiers, de blocs et d'objets. Le système se distingue par une architecture décentralisée qui utilise le hachage cohérent pour distribuer les fichiers sur les nœuds réseau sans serveur de métadonnées central. Il garantit l'intégrité et la disponibilité des données en utilisant la réplication auto-réparatrice, la cohérence basée sur le quorum pour éviter les scénarios de split-brain, et la géo-réplication asynchrone pour la reprise après sinistre sur des sites géographiques distants. La plateforme offre une large couverture de capacités via l'exportation de stockage multi-protocoles via NFS, Samba et iSCSI, ainsi qu'une gestion complète des volumes incluant des snapshots point-in-time, des quotas de stockage et une expansion élastique de la capacité. La sécurité est gérée via le chiffrement TLS pour les données en transit, l'intégration de la gestion des identités et un contrôle d'accès POSIX granulaire. Le logiciel est disponible sous forme de paquets binaires via des dépôts communautaires pour diverses distributions Linux.

m3 est une base de données de séries temporelles distribuée conçue pour les métriques haute résolution et la gestion de données à haute cardinalité. Elle fonctionne comme un système de stockage évolutif et un moteur de requête multi-cluster, fournissant un agrégateur de métriques distribué capable de sous-échantillonner et de résumer les données avant qu'elles ne soient validées dans le stockage. Le projet se distingue par un modèle de cluster coordonné utilisant etcd pour l'appartenance aux nœuds et le placement des shards. Il prend en charge plusieurs protocoles d'ingestion, notamment le protocole d'écriture à distance Prometheus, le protocole InfluxDB line et le protocole Graphite Carbon en texte brut, et fournit des interfaces de requête compatibles pour PromQL et Graphite. Le système couvre de larges domaines de capacités, notamment le stockage de séries temporelles en colonnes, la réplication synchrone des données et le fan-out de requêtes distribuées. Il intègre l'automatisation du cycle de vie des données, le réglage de la cohérence basé sur le quorum et l'indexation des séries basée sur les tags pour maintenir l'intégrité des données et la vitesse de récupération à travers des espaces de noms isolés. L'orchestration du cluster et le placement des composants sont gérés via des outils automatisés et des opérateurs pour assurer une haute disponibilité et une distribution équilibrée des données.