Awesome GitHub RepositoriesRemote Storage Protocols

PhotoPrism is a self-hosted digital asset management platform designed to organize, classify, and manage large collections of photos and videos on personal infrastructure. It functions as a private alternative to cloud-based services, ensuring that all media remains under the user's control. The platform utilizes neural-network-based media analysis to automatically detect objects, faces, and locations, providing a comprehensive, AI-powered approach to library organization. The project distinguishes itself through its containerized architecture, which simplifies deployment and lifecycle manage

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

MaterialFiles is a graphical Linux file manager and system utility designed for local file management, archive manipulation, and system administration. It provides a filesystem interface for navigating directories, inspecting file attributes, and managing local files. The application supports privileged root access to manage restricted system files and directories. It includes specialized tools for Linux system administration, such as inspecting security contexts, symbolic links, and file permissions. The utility features a network file client for connecting to remote servers and managing fi

SSHFS is a network filesystem client that maps remote server directories to local mount points. It functions as a userspace implementation of a filesystem, allowing users to access and manage remote files as if they were on a local disk using the SFTP protocol over SSH. The tool distinguishes itself by offering multiple transport options, including encrypted SSH tunnels for security and direct TCP socket connections to bypass encryption for higher throughput. It also supports connectivity via virtual sockets to access directories hosted inside virtual machines. The system includes capabiliti

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

CubeFS ist ein verteiltes Cloud-Speichersystem, das für die Verwaltung von Datei- und Objektspeichern über Rechenzentren und hybride Clouds hinweg entwickelt wurde. Es fungiert als mandantenfähiges verteiltes Dateisystem und Objektspeicher, der Daten im Exabyte-Maßstab verarbeiten kann und eine verteilte Architektur zur Speicherung unstrukturierter Inhalte nutzt. Das System zeichnet sich durch eine Multi-Protokoll-Schnittstellenebene aus, die den gleichzeitigen Datenzugriff über S3-, POSIX- und HDFS-Schnittstellen ermöglicht. Es verwendet eine entkoppelte Compute-Storage-Architektur, um Verarbeitung und Persistenz unabhängig voneinander zu skalieren, und implementiert fein abgestimmte Isolationsrichtlinien, um Ressourcen und Daten zwischen verschiedenen Mandanten zu trennen. Die Zuverlässigkeit wird durch konfigurierbare Redundanzstrategien verwaltet, einschließlich Multi-Replica-Mirroring und Erasure Coding. Die Plattform beinhaltet ein Multi-Tier-Caching-System zur Beschleunigung des Datenzugriffs und integriert sich via Container Storage Interface-Treiber in Kubernetes, um die Bereitstellung persistenter Volumes zu automatisieren.

LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes

lakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.

GlusterFS ist ein softwaredefiniertes verteiltes Dateisystem und Scale-Out-Storage-Cluster, das Festplattenressourcen von mehreren Servern in einem einzigen globalen Namensraum aggregiert. Es fungiert als vereinheitlichte Speicherplattform, die es ermöglicht, dieselben zugrunde liegenden Daten über Datei-, Block- und Objektspeicherschnittstellen bereitzustellen. Das System zeichnet sich durch eine dezentrale Architektur aus, die konsistentes Hashing verwendet, um Dateien über Netzwerkknoten hinweg ohne zentralen Metadaten-Server zu verteilen. Es stellt Datenintegrität und -verfügbarkeit durch selbstheilende Replikation, Quorum-basierte Konsistenz zur Vermeidung von Split-Brain-Szenarien sowie asynchrone Geo-Replikation für die Notfallwiederherstellung über entfernte geografische Standorte hinweg sicher. Die Plattform bietet eine breite Abdeckung von Funktionen über Multi-Protokoll-Speicherexport via NFS, Samba und iSCSI sowie umfassende Volume-Verwaltung, einschließlich Point-in-Time-Snapshots, Speicherkontingenten und elastischer Kapazitätserweiterung. Die Sicherheit wird durch TLS-Verschlüsselung für Daten während der Übertragung, Identitätsmanagement-Integration und granulare POSIX-Zugriffskontrolle gehandhabt. Die Software ist als Binärpakete über Community-Repositories für verschiedene Linux-Distributionen verfügbar.

Sigma File Manager is a cross-platform desktop application for browsing, organizing, and searching local and network files through a modern graphical interface. It functions as an integrated file previewer, network storage client, and local network file share utility. The application is built on an extensible architecture that allows users to add custom commands, pages, and settings through a plugin system and marketplace. It distinguishes itself with the ability to stream local files and folders to other devices over a local network using browser access, QR codes, and FTP. Core capabilities

Incus is a unified orchestration platform for managing system containers, OCI application containers, and virtual machines through a single control plane. It brings together cluster infrastructure management, secure multi-tenancy, software-defined networking, and pluggable storage backend orchestration into one cohesive system exposed via a full REST API and command-line interface. What distinguishes Incus is its ability to run multiple instance types side by side—full Linux system containers, OCI application containers, and QEMU virtual machines—all managed with consistent tooling. Networkin

s3cmd is a command-line client for Amazon S3 and S3-compatible cloud storage services. It provides a unified terminal interface for managing buckets and objects, transferring files, and synchronising directories. All operations are performed over HTTPS with HMAC-SHA256 request signing and TLS encryption to secure data in transit. The tool supports incremental transfers using S3 ETags, so only new or modified files are sent during sync. Large files are handled with multipart upload chunking, reducing the impact of failures and improving throughput. Directory synchronisation works recursively w

Cyberduck ist ein Multi-Protokoll-Dateitransfer-Client und ein plattformübergreifender Dateimanager für Mac und Windows. Er fungiert als Cloud-Speichermanager und Remote-Speicher-Mounter, der es Benutzern ermöglicht, Daten zwischen lokalen Laufwerken und Remote-Endpunkten hochzuladen, zu organisieren und zu synchronisieren. Die Anwendung bietet eine einheitliche Schnittstelle zur Verwaltung von Dateien über FTP, SFTP, WebDAV, S3 und andere Cloud-Speicherprotokolle, einschließlich Amazon S3, Backblaze B2, Microsoft Azure und OneDrive. Sie zeichnet sich durch einen clientseitigen Verschlüsselungstresor aus, der Dateien und Ordner lokal verschlüsselt, bevor sie an Remote-Server übertragen werden. Das System unterstützt Remote-Dateiverwaltung und protokollübergreifende Dateitransfers, einschließlich der Möglichkeit, Remote-Server- oder Cloud-Verzeichnisse direkt in den lokalen Betriebssystem-Dateiexplorer einzubinden. Zusätzliche Funktionen umfassen ein Command-Line-Interface für die Ausführung von Dateitransferaufgaben.

Contour ist ein Kubernetes-Ingress-Controller, der externen HTTP- und TCP-Traffic durch die Orchestrierung von Envoy-Proxy-Instanzen verwaltet. Er fungiert als Control Plane, die deklarative Kubernetes-API-Objekte in dynamische Proxy-Konfigurationen übersetzt und so ein Echtzeit-Traffic-Management ohne Infrastruktur-Neustarts ermöglicht. Das System zeichnet sich durch einen Fokus auf Multi-Tenant-Cluster-Networking und delegierte Konfiguration aus. Indem Routing-Regeln über Namespaces hinweg partitioniert werden können, ermöglicht es mehreren Teams, ihre eigenen Traffic-Richtlinien innerhalb eines geteilten Clusters sicher zu verwalten. Es unterstützt zudem komplexe Umgebungen durch das Auslagern von Authentifizierungs- und Zugriffskontrollentscheidungen an externe Dienste und bietet granulare Kontrolle über virtuelle Hosts und Anmeldedaten. Über das Kern-Routing hinaus bietet das Projekt eine umfassende Suite an Traffic-Management- und Sicherheitsfunktionen. Dies umfasst fortgeschrittenes Load Balancing, Circuit Breaking, Rate Limiting und TLS-Terminierung sowie robuste Observability-Features wie verteiltes Request-Tracing, strukturiertes Access-Logging und aktive Backend-Health-Überwachung. Der Controller stellt durch Leader-Election-Koordination eine hohe Verfügbarkeit sicher und validiert Konfigurationsobjekte während der Initialisierung, um Laufzeitfehler zu verhindern.

Dieses Projekt ist ein umfassendes Framework für die iOS-App-Entwicklung, das sich auf den Aufbau mobiler Anwendungen mit benutzerdefinierten UI-Komponenten, asynchronem Task-Management und lokaler Datenpersistenz konzentriert. Es dient als technische Wissensdatenbank für Software-Engineering und bietet Tools zur Organisation und Veröffentlichung architektonischer Analysen und Notizen im Markdown-Format. Das Framework zeichnet sich durch eine robuste dokumentenbasierte Speicherschicht aus, die BSON-formatierte Datensätze nutzt, um CRUD-Operationen innerhalb eines NoSQL-Dokumentenspeichers durchzuführen. Es bietet umfangreiche Systemintegrationsfunktionen, einschließlich spezialisierter App-Extension-Kommunikation, Cross-Sandbox-Messaging und nativer Share-Sheet-Präsentation, was eine nahtlose Interaktion zwischen der Host-Anwendung und Systemdiensten ermöglicht. Das Projekt deckt eine breite Funktionsfläche ab, einschließlich fortgeschrittenem Concurrency-Management mit thread-sicherer Synchronisierung, Auslagerung des Hintergrund-UI-Renderings zur Wahrung der Reaktionsfähigkeit und umfassender Internationalisierungsunterstützung. Es enthält zudem entwicklerfokussierte Utilities für statische Typgenerierung, automatisierte Asset-Mappings und interaktive Prototypenkonstruktion sowie spezialisierte Tools für geografisches Beacon-Monitoring und adaptive Diagrammerstellung.

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa

minio-go is a client library and software development kit for interacting with S3-compatible object storage. It provides a programmatic interface for Go applications to manage buckets and objects using the S3 protocol. The library enables the execution of complex storage operations, including multi-part uploads for large datasets, data synchronization between filesystems, and the management of bucket lifecycle and replication policies. It also supports advanced data retrieval through object searching and SQL-based querying of stored data. The toolkit covers a broad range of administrative an