Awesome GitHub RepositoriesRemote Storage Protocols

PhotoPrism is a self-hosted digital asset management platform designed to organize, classify, and manage large collections of photos and videos on personal infrastructure. It functions as a private alternative to cloud-based services, ensuring that all media remains under the user's control. The platform utilizes neural-network-based media analysis to automatically detect objects, faces, and locations, providing a comprehensive, AI-powered approach to library organization. The project distinguishes itself through its containerized architecture, which simplifies deployment and lifecycle manage

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

MaterialFiles is a graphical Linux file manager and system utility designed for local file management, archive manipulation, and system administration. It provides a filesystem interface for navigating directories, inspecting file attributes, and managing local files. The application supports privileged root access to manage restricted system files and directories. It includes specialized tools for Linux system administration, such as inspecting security contexts, symbolic links, and file permissions. The utility features a network file client for connecting to remote servers and managing fi

SSHFS is a network filesystem client that maps remote server directories to local mount points. It functions as a userspace implementation of a filesystem, allowing users to access and manage remote files as if they were on a local disk using the SFTP protocol over SSH. The tool distinguishes itself by offering multiple transport options, including encrypted SSH tunnels for security and direct TCP socket connections to bypass encryption for higher throughput. It also supports connectivity via virtual sockets to access directories hosted inside virtual machines. The system includes capabiliti

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.

LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.

Sigma File Manager is a cross-platform desktop application for browsing, organizing, and searching local and network files through a modern graphical interface. It functions as an integrated file previewer, network storage client, and local network file share utility. The application is built on an extensible architecture that allows users to add custom commands, pages, and settings through a plugin system and marketplace. It distinguishes itself with the ability to stream local files and folders to other devices over a local network using browser access, QR codes, and FTP. Core capabilities

Incus is a unified orchestration platform for managing system containers, OCI application containers, and virtual machines through a single control plane. It brings together cluster infrastructure management, secure multi-tenancy, software-defined networking, and pluggable storage backend orchestration into one cohesive system exposed via a full REST API and command-line interface. What distinguishes Incus is its ability to run multiple instance types side by side—full Linux system containers, OCI application containers, and QEMU virtual machines—all managed with consistent tooling. Networkin

s3cmd is a command-line client for Amazon S3 and S3-compatible cloud storage services. It provides a unified terminal interface for managing buckets and objects, transferring files, and synchronising directories. All operations are performed over HTTPS with HMAC-SHA256 request signing and TLS encryption to secure data in transit. The tool supports incremental transfers using S3 ETags, so only new or modified files are sent during sync. Large files are handled with multipart upload chunking, reducing the impact of failures and improving throughput. Directory synchronisation works recursively w

Cyberduck este un client de transfer de fișiere multi-protocol și un manager de fișiere cross-platform pentru Mac și Windows. Funcționează ca un manager de stocare în cloud și un mounter de stocare la distanță, permițând utilizatorilor să încarce, să organizeze și să sincronizeze date între unitățile locale și endpoint-urile la distanță. Aplicația oferă o interfață unificată pentru gestionarea fișierelor prin FTP, SFTP, WebDAV, S3 și alte protocoale de stocare în cloud, inclusiv Amazon S3, Backblaze B2, Microsoft Azure și OneDrive. Se distinge printr-un vault de criptare client-side care criptează fișierele și folderele local înainte de a fi transmise către serverele la distanță. Sistemul suportă gestionarea fișierelor la distanță și transferuri de fișiere cross-protocol, inclusiv posibilitatea de a monta servere la distanță sau directoare cloud direct în explorer-ul de fișiere al sistemului de operare local. Capabilitățile suplimentare includ o interfață în linie de comandă pentru executarea sarcinilor de transfer de fișiere.

Contour este un ingress controller Kubernetes care gestionează traficul HTTP și TCP extern prin orchestrarea instanțelor de proxy Envoy. Acesta funcționează ca un plan de control care traduce obiectele declarative ale API-ului Kubernetes în configurații de proxy dinamice, permițând gestionarea traficului în timp real fără a necesita repornirea infrastructurii. Sistemul se distinge printr-un accent pe rețelistica de cluster multi-tenant și configurarea delegată. Permițând partiționarea regulilor de rutare pe namespace-uri, acesta permite mai multor echipe să își gestioneze în siguranță propriile politici de trafic într-un cluster partajat. Suportă, de asemenea, medii complexe prin descărcarea deciziilor de autentificare și control al accesului către servicii externe și oferind control granular asupra host-urilor virtuale și a credențialelor. Dincolo de rutarea de bază, proiectul oferă o suită cuprinzătoare de capabilități de gestionare a traficului și securitate. Aceasta include load balancing avansat, circuit breaking, limitarea ratei și terminarea TLS, alături de funcții robuste de observabilitate, cum ar fi trasarea distribuită a cererilor, logarea structurată a accesului și monitorizarea activă a stării backend-urilor. Controller-ul asigură disponibilitatea ridicată prin coordonarea alegerii liderului și validează obiectele de configurare în timpul inițializării pentru a preveni erorile de runtime.

Acest proiect este un framework cuprinzător pentru dezvoltarea aplicațiilor iOS, axat pe construirea de aplicații mobile care dispun de componente UI personalizate, gestionarea sarcinilor asincrone și persistența datelor locale. Servește drept bază de cunoștințe tehnice pentru ingineria software, oferind instrumente pentru a organiza și publica analize arhitecturale și note în format Markdown. Framework-ul se distinge printr-un strat de stocare robust bazat pe documente, care utilizează înregistrări formatate BSON pentru a efectua operațiuni CRUD într-un magazin de documente NoSQL. Oferă capabilități extinse de integrare a sistemului, inclusiv comunicarea specializată prin extensii de aplicație, trecerea mesajelor între sandbox-uri și prezentarea nativă a share sheet-ului, permițând o interacțiune fluidă între aplicația gazdă și serviciile la nivel de sistem. Proiectul acoperă o suprafață largă de capabilități, inclusiv gestionarea avansată a concurenței cu sincronizare thread-safe, descărcarea randării UI în fundal pentru a menține responsivitatea și suport cuprinzător pentru internaționalizare. Include, de asemenea, utilitare axate pe dezvoltatori pentru generarea de tipuri statice, maparea automată a resurselor și construcția de prototipuri interactive, alături de instrumente specializate pentru monitorizarea beacon-urilor geografice și generarea adaptivă de grafice.

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa

minio-go is a client library and software development kit for interacting with S3-compatible object storage. It provides a programmatic interface for Go applications to manage buckets and objects using the S3 protocol. The library enables the execution of complex storage operations, including multi-part uploads for large datasets, data synchronization between filesystems, and the management of bucket lifecycle and replication policies. It also supports advanced data retrieval through object searching and SQL-based querying of stored data. The toolkit covers a broad range of administrative an