3 repository-uri
Settings for managing storage backends and data shuffling in distributed environments.
Distinguishing note: Focuses on infrastructure configuration for distributed data processing rather than general database storage.
Explore 3 awesome GitHub repositories matching data & databases · Distributed Storage Configurations. Refine with filters or upvote what's useful.
Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e
Configures storage backends and shuffle mechanisms to ensure fault tolerance and performance in distributed query execution.
GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.
Allows tuning of stripe block sizes and hash-range allocation to optimize data distribution across storage bricks.
CloudStack is an infrastructure-as-a-service orchestration engine designed to automate the deployment and lifecycle of computing, storage, and networking resources within a software-defined data center. It serves as a management layer for provisioning private clouds and managing the delivery of virtual machines and persistent storage across virtualized physical infrastructure. The platform features a multi-hypervisor orchestrator that utilizes a hypervisor-agnostic abstraction layer to control diverse virtualization technologies through a unified set of standardized API calls. It further prov
Configures storage backends and networking to provide persistent data access across virtualized environments.