Awesome GitHub RepositoriesRemote Storage Protocols

PhotoPrism is a self-hosted digital asset management platform designed to organize, classify, and manage large collections of photos and videos on personal infrastructure. It functions as a private alternative to cloud-based services, ensuring that all media remains under the user's control. The platform utilizes neural-network-based media analysis to automatically detect objects, faces, and locations, providing a comprehensive, AI-powered approach to library organization. The project distinguishes itself through its containerized architecture, which simplifies deployment and lifecycle manage

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

MaterialFiles is a graphical Linux file manager and system utility designed for local file management, archive manipulation, and system administration. It provides a filesystem interface for navigating directories, inspecting file attributes, and managing local files. The application supports privileged root access to manage restricted system files and directories. It includes specialized tools for Linux system administration, such as inspecting security contexts, symbolic links, and file permissions. The utility features a network file client for connecting to remote servers and managing fi

SSHFS is a network filesystem client that maps remote server directories to local mount points. It functions as a userspace implementation of a filesystem, allowing users to access and manage remote files as if they were on a local disk using the SFTP protocol over SSH. The tool distinguishes itself by offering multiple transport options, including encrypted SSH tunnels for security and direct TCP socket connections to bypass encryption for higher throughput. It also supports connectivity via virtual sockets to access directories hosted inside virtual machines. The system includes capabiliti

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

CubeFS هو نظام تخزين سحابي موزع مصمم لإدارة تخزين الملفات والكائنات عبر مراكز البيانات والسحب الهجينة. يعمل كنظام ملفات موزع متعدد المستأجرين ومخزن كائنات قادر على التعامل مع البيانات على نطاق إكسابايت، باستخدام بنية موزعة لتخزين المحتوى غير المهيكل. يتميز النظام بطبقة واجهة متعددة البروتوكولات تسمح بالوصول المتزامن للبيانات عبر واجهات S3 وPOSIX وHDFS. يستخدم بنية حوسبة-تخزين مفككة لتوسيع نطاق المعالجة والاستمرارية بشكل مستقل، ويطبق سياسات عزل دقيقة لفصل الموارد والبيانات بين المستأجرين المختلفين. تتم إدارة الموثوقية من خلال استراتيجيات تكرار قابلة للتهيئة، بما في ذلك النسخ المتطابق متعدد النسخ وترميز المسح (Erasure coding). تتضمن المنصة نظام تخزين مؤقت متعدد المستويات لتسريع الوصول إلى البيانات، وتتكامل مع Kubernetes عبر برنامج تشغيل واجهة تخزين الحاويات (CSI) لأتمتة توفير وحدات التخزين المستمرة.

LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes

lakeFS هو نظام إصدارات لبحيرات البيانات يوفر تفرعاً (branching) والتزامات (commits) تشبه Git لمجموعات البيانات الكبيرة المخزنة في تخزين الكائنات. يعمل كطبقة تحكم في الإصدار، مما يتيح إنشاء لقطات غير قابلة للتغيير، والتزامات ذرية، وتفرعاً بدون نسخ (zero-copy) لإنشاء بيئات معزولة لتجارب البيانات دون تكرار الملفات الفيزيائية. يعمل النظام كبوابة تخزين متوافقة مع S3 وفهرس Iceberg REST، مما يسمح لبروتوكولات التخزين السحابي القياسية والعملاء المتوافقين بإدارة الجداول ذات الإصدارات. يعمل كحارس لجودة البيانات باستخدام نظام خطافات (hooks) قائم على الأحداث للتحقق من مجموعات البيانات مقابل سياسات الحوكمة قبل دمج التغييرات في الإنتاج. تغطي المنصة قدرات واسعة لحوكمة البيانات، بما في ذلك التعاون عبر طلبات السحب (pull requests)، والتحكم في الوصول القائم على الأدوار، وتتبع أصل البيانات. يوفر تكاملاً لتنسيق سير العمل، وخطوط أنابيب التعلم الآلي، ومحركات حوسبة البيانات الضخمة المختلفة، ويدعم اتصال التخزين متعدد السحابة ومزامنة الهوية عبر SSO وSCIM. يمكن تثبيت البرنامج باستخدام ملفات ثنائية، أو حاويات، أو Helm charts للنشر على Kubernetes.

GlusterFS هو نظام ملفات موزع محدد برمجياً وعنقود تخزين قابل للتوسع يجمع موارد القرص من خوادم متعددة في مساحة اسم عالمية واحدة. يعمل كمنصة تخزين موحدة، مما يسمح بتعريض نفس البيانات الأساسية من خلال واجهات تخزين الملفات، والكتل، والكائنات. يتميز النظام من خلال بنية لا مركزية تستخدم التجزئة المتسقة لتوزيع الملفات عبر عقد الشبكة دون خادم بيانات تعريف مركزي. يضمن سلامة البيانات وتوافرها باستخدام النسخ المتماثل ذاتي الإصلاح، والاتساق القائم على النصاب القانوني لمنع سيناريوهات انقسام الدماغ، والنسخ المتماثل الجغرافي غير المتزامن للتعافي من الكوارث عبر المواقع الجغرافية البعيدة. توفر المنصة تغطية واسعة للإمكانيات عبر تصدير التخزين متعدد البروتوكولات عبر NFS وSamba وiSCSI، بالإضافة إلى إدارة شاملة لوحدات التخزين بما في ذلك لقطات في الوقت المناسب، وحصص التخزين، وتوسيع السعة المرن. تتم إدارة الأمان من خلال تشفير TLS للبيانات أثناء النقل، وتكامل إدارة الهوية، والتحكم الدقيق في الوصول POSIX. البرنامج متاح كحزم ثنائية من خلال مستودعات المجتمع لتوزيعات Linux المختلفة.

Sigma File Manager is a cross-platform desktop application for browsing, organizing, and searching local and network files through a modern graphical interface. It functions as an integrated file previewer, network storage client, and local network file share utility. The application is built on an extensible architecture that allows users to add custom commands, pages, and settings through a plugin system and marketplace. It distinguishes itself with the ability to stream local files and folders to other devices over a local network using browser access, QR codes, and FTP. Core capabilities

Incus is a unified orchestration platform for managing system containers, OCI application containers, and virtual machines through a single control plane. It brings together cluster infrastructure management, secure multi-tenancy, software-defined networking, and pluggable storage backend orchestration into one cohesive system exposed via a full REST API and command-line interface. What distinguishes Incus is its ability to run multiple instance types side by side—full Linux system containers, OCI application containers, and QEMU virtual machines—all managed with consistent tooling. Networkin

s3cmd is a command-line client for Amazon S3 and S3-compatible cloud storage services. It provides a unified terminal interface for managing buckets and objects, transferring files, and synchronising directories. All operations are performed over HTTPS with HMAC-SHA256 request signing and TLS encryption to secure data in transit. The tool supports incremental transfers using S3 ETags, so only new or modified files are sent during sync. Large files are handled with multipart upload chunking, reducing the impact of failures and improving throughput. Directory synchronisation works recursively w

Cyberduck هو عميل نقل ملفات متعدد البروتوكولات ومدير ملفات عبر المنصات لنظامي Mac وWindows. يعمل كمدير تخزين سحابي ومثبت تخزين بعيد، مما يسمح للمستخدمين برفع وتنظيم ومزامنة البيانات بين الأقراص المحلية ونقاط النهاية البعيدة. يوفر التطبيق واجهة موحدة لإدارة الملفات عبر بروتوكولات FTP وSFTP وWebDAV وS3 وبروتوكولات تخزين سحابي أخرى، بما في ذلك Amazon S3 وBackblaze B2 وMicrosoft Azure وOneDrive. يتميز بخزنة تشفير من جانب العميل تقوم بتشفير الملفات والمجلدات محلياً قبل إرسالها إلى الخوادم البعيدة. يدعم النظام إدارة الملفات عن بُعد وعمليات نقل الملفات عبر البروتوكولات، بما في ذلك القدرة على تثبيت خادم بعيد أو أدلة سحابية مباشرة في مستكشف ملفات نظام التشغيل المحلي. تشمل الإمكانيات الإضافية واجهة سطر أوامر لتنفيذ مهام نقل الملفات.

Contour is a Kubernetes ingress controller that manages external HTTP and TCP traffic by orchestrating Envoy proxy instances. It functions as a control plane that translates declarative Kubernetes API objects into dynamic proxy configurations, enabling real-time traffic management without requiring infrastructure restarts. The system distinguishes itself through a focus on multi-tenant cluster networking and delegated configuration. By allowing routing rules to be partitioned across namespaces, it enables multiple teams to securely manage their own traffic policies within a shared cluster. It

This project is a comprehensive framework for iOS application development, centered on building mobile applications that feature custom user interface components, asynchronous task management, and local data persistence. It serves as a technical knowledge base for software engineering, providing tools to organize and publish architectural analyses and notes in Markdown format. The framework distinguishes itself through a robust document-based storage layer that utilizes BSON-formatted records to perform CRUD operations within a NoSQL document store. It provides extensive system integration ca

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa

minio-go is a client library and software development kit for interacting with S3-compatible object storage. It provides a programmatic interface for Go applications to manage buckets and objects using the S3 protocol. The library enables the execution of complex storage operations, including multi-part uploads for large datasets, data synchronization between filesystems, and the management of bucket lifecycle and replication policies. It also supports advanced data retrieval through object searching and SQL-based querying of stored data. The toolkit covers a broad range of administrative an