Awesome GitHub RepositoriesCloud-Native Storage Layers

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

CVAT is an open-source, web-based platform designed for annotating images, videos, and 3D point clouds to create high-quality training datasets for machine learning. It functions as a containerized server that orchestrates the entire lifecycle of computer vision data, from initial task creation and manual labeling to quality assurance and final dataset export. The platform distinguishes itself through deep integration with machine learning models, allowing users to deploy custom AI models as serverless functions for automated object detection, tracking, and skeleton annotation. It supports co

JuiceFS is a distributed file system designed to mount object storage as a local, POSIX-compliant drive. It functions as a cloud-native persistent storage layer that decouples file metadata from raw data, storing metadata in a transactional database while keeping data blocks in object storage. This architecture enables multiple hosts across different regions to access the same storage simultaneously while maintaining strong consistency. The system distinguishes itself by performing data processing, including compression and encryption, directly on the client side before transmission. By split

SkyPilot is a multi-cloud AI orchestrator and distributed task scheduler designed to launch and manage AI workloads across various cloud providers, Kubernetes, and Slurm clusters. It functions as an infrastructure-as-code framework that uses declarative files to define resource requirements and setup commands for consistent execution across different environments. The project differentiates itself through automated cost optimization, selecting the most affordable GPU or TPU hardware and managing spot instances to reduce expenses. It also provides a remote development environment that bridges

KoboldCPP is a local large language model inference engine and GGUF model runner designed to execute quantized models on personal hardware. It functions as a multimodal AI server and API gateway, providing OpenAI-compatible endpoints that allow third-party clients to interact with locally hosted models. The project distinguishes itself as an AI storytelling backend, featuring dedicated tools for long-form narrative management through persistent memory, world lore tracking, and character state management. It further extends its capabilities as a multimodal server capable of processing text, im

all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

ZeroByte is a backup management platform built around the Restic backup engine, providing encrypted, deduplicated, and compressed snapshots across multiple storage backends. It offers a web interface for scheduling, monitoring, and managing backup operations, with support for cron-based job scheduling and configurable retention policies that automatically prune older snapshots. The platform distinguishes itself through comprehensive multi-protocol volume mounting, allowing backup ingestion from NFS, SMB, WebDAV, SFTP, and rclone-backed sources alongside local directories. It includes a snapsh

SSHFS-Win is a Windows implementation of SSHFS that mounts remote directories over SSH as local Windows drives, enabling seamless file access as if they were local network drives. It provides both command-line and graphical interfaces for creating, managing, and disconnecting SSHFS mounts, supporting password or SSH key authentication with optional credential storage in the Windows Credential Manager. The project extends beyond basic SSH mounting to support a wide range of remote file access scenarios, including mounting cloud storage services like Azure Blob or Amazon S3, distributed POSIX f

هذا المشروع عبارة عن أداة تحسين أداء ومقياس موارد لـ AWS Lambda. يحلل المقايضة بين سرعة التنفيذ والتكلفة عن طريق اختبار إعدادات ذاكرة مختلفة لتحديد الإعدادات الأكثر فعالية من حيث التكلفة وتقليل الإنفاق التشغيلي. تستخدم الأداة منسق AWS Step Functions لأتمتة تنفيذ وجمع بيانات عمليات اختبار الوظائف المتعددة عبر مستويات طاقة مختلفة. تحاكي أحمال عمل الإنتاج عن طريق حقن بيانات ثابتة أو بعيدة مخصصة واستخدام توزيع حمولة مرجح لمحاكاة أنماط حركة المرور الواقعية. تغطي المجموعة عدة مجالات قدرة، بما في ذلك أخذ عينات الذاكرة التكرارية ونمذجة التكلفة القائمة على المقاييس لتصور مقايضات الأداء. توفر تنظيفاً آلياً للموارد لإصدارات الوظائف المؤقتة والأسماء المستعارة، وإعداد شبكة خاصة للموارد الداخلية المقيدة، وتحميل حمولة بعيد لتجاوز حدود حجم الاستدعاء القياسية. يتم التعامل مع النشر عبر بنيات البنية التحتية ككود (infrastructure-as-code) لضمان إعداد بيئة متسق وقابلية التكرار.

google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only

CubeFS هو نظام تخزين سحابي موزع مصمم لإدارة تخزين الملفات والكائنات عبر مراكز البيانات والسحب الهجينة. يعمل كنظام ملفات موزع متعدد المستأجرين ومخزن كائنات قادر على التعامل مع البيانات على نطاق إكسابايت، باستخدام بنية موزعة لتخزين المحتوى غير المهيكل. يتميز النظام بطبقة واجهة متعددة البروتوكولات تسمح بالوصول المتزامن للبيانات عبر واجهات S3 وPOSIX وHDFS. يستخدم بنية حوسبة-تخزين مفككة لتوسيع نطاق المعالجة والاستمرارية بشكل مستقل، ويطبق سياسات عزل دقيقة لفصل الموارد والبيانات بين المستأجرين المختلفين. تتم إدارة الموثوقية من خلال استراتيجيات تكرار قابلة للتهيئة، بما في ذلك النسخ المتطابق متعدد النسخ وترميز المسح (Erasure coding). تتضمن المنصة نظام تخزين مؤقت متعدد المستويات لتسريع الوصول إلى البيانات، وتتكامل مع Kubernetes عبر برنامج تشغيل واجهة تخزين الحاويات (CSI) لأتمتة توفير وحدات التخزين المستمرة.

Mountpoint for Amazon S3 is a FUSE-based filesystem client that mounts S3 buckets as local directories, enabling standard file operations on objects without custom code. It enforces S3 bucket permissions through AWS Identity and Access Management policies on every operation, and implements lazy object materialization to fetch content on-demand rather than downloading entire objects at mount time. The filesystem maps S3's flat key namespace into a hierarchical directory structure using forward slashes as path separators, and supports write-back object assembly that accumulates local writes into

Cyberduck هو عميل نقل ملفات متعدد البروتوكولات ومدير ملفات عبر المنصات لنظامي Mac وWindows. يعمل كمدير تخزين سحابي ومثبت تخزين بعيد، مما يسمح للمستخدمين برفع وتنظيم ومزامنة البيانات بين الأقراص المحلية ونقاط النهاية البعيدة. يوفر التطبيق واجهة موحدة لإدارة الملفات عبر بروتوكولات FTP وSFTP وWebDAV وS3 وبروتوكولات تخزين سحابي أخرى، بما في ذلك Amazon S3 وBackblaze B2 وMicrosoft Azure وOneDrive. يتميز بخزنة تشفير من جانب العميل تقوم بتشفير الملفات والمجلدات محلياً قبل إرسالها إلى الخوادم البعيدة. يدعم النظام إدارة الملفات عن بُعد وعمليات نقل الملفات عبر البروتوكولات، بما في ذلك القدرة على تثبيت خادم بعيد أو أدلة سحابية مباشرة في مستكشف ملفات نظام التشغيل المحلي. تشمل الإمكانيات الإضافية واجهة سطر أوامر لتنفيذ مهام نقل الملفات.

img2dataset هو خط معالجة عالي الأداء لمجموعات بيانات الصور وأداة معالجة مسبقة مصممة لتنزيل ومعالجة ملايين الصور من روابط URL لتدريب تعلم الآلة. يعمل كأداة تنزيل صور موزعة ومصدر بيانات للتخزين السحابي، حيث ينقل مجموعات البيانات البصرية الكبيرة من مصادر الويب مباشرة إلى تنسيقات مهيكلة. يعطي النظام الأولوية للحصول على البيانات ذات الإنتاجية العالية من خلال توزيع أحمال العمل عبر أنوية CPU متعددة وأجهزة متعددة. يتكامل مباشرة مع حاويات التخزين السحابي البعيدة ويستخدم نظام تتبع قائماً على البيان (manifest-based) لاستئناف التنزيلات المتقطعة دون إعادة معالجة البيانات الموجودة. توفر الأداة مجموعة معالجة مسبقة كاملة لإعداد مجموعات بيانات تعلم الآلة، بما في ذلك تغيير حجم الصور، والقص، وترشيح الخصائص بناءً على الحجم أو نسبة العرض إلى الارتفاع. كما تتحقق من سلامة الصور عبر مقارنة الهاش (hash) وتضمن الامتثال لتوجيهات الروبوتات أثناء سير عمل الكشط (scraping). تم تنفيذ المشروع بلغة Python.

JimsGarage is a collection of shell scripts and automation tools designed to help individuals deploy and manage a wide range of self-hosted services on their own hardware. It provides a structured approach to setting up containerized applications, from media servers and document management systems to VPNs and monitoring stacks, all through automated Docker-based configurations. The project distinguishes itself by offering a comprehensive library of deployment recipes that cover the full lifecycle of a home server environment. This includes not just the services themselves, but also the suppor

هذا المشروع عبارة عن بوت مرآة سحابي لـ Telegram مصمم لتنزيل الملفات من مصادر إنترنت مختلفة ونسخها إلى Telegram أو التخزين السحابي. يعمل كخدمة متخصصة لتنزيل الوسائط عن بُعد، وتنزيل ملفات التورنت و Usenet، ونسخ المحتوى تلقائياً. يتميز البوت بالتكامل العميق مع نظام Rclone البيئي لإدارة الملفات واستنساخها ونقلها عبر مزودي سحابة متعددين. يتضمن مؤتمت محتوى RSS لتشغيل التنزيلات بناءً على فلاتر محددة من قبل المستخدم ويستخدم تدوير حساب الخدمة لتجاوز حصص API عند إدارة الموارد السحابية. يغطي النظام مجموعة واسعة من الإمكانيات، بما في ذلك معالجة الوسائط لاستخراج الأرشيف وتحويل التنسيق، بالإضافة إلى التقاط وسائط الويب من المنصات المدعومة. كما يتميز باكتشاف التورنت عبر واجهات برمجة التطبيقات الخارجية، والبحث المتكرر في المحتوى السحابي، وطابور مهام لإدارة وظائف النقل ذات الحجم الكبير. يتم توفير التحكم الإداري من خلال التحكم في الوصول القائم على الدردشة وقاعدة بيانات لحفظ تكوينات المستخدم وسجل المهام.

CML هي أداة لأتمتة خطوط الأنابيب لتدريب وتقييم نماذج تعلم الآلة، وتعمل كنظام CI/CD لتعلم الآلة. تعمل كمنسق للحوسبة السحابية ومدير سير عمل يعتمد على Git يقوم بأتمتة دورات تدريب النماذج من خلال إدارة الفروع، والالتزامات (commits) المؤتمتة، والتقارير المتكاملة. يتميز المشروع بتوفير نسخ سحابية مؤقتة أو عقد Kubernetes لتوفير أجهزة متخصصة للمهام كثيفة الحوسبة. كما يدير مشغلات الحوسبة عن بُعد، مما يسمح بربط مجموعات GPU ذاتية الاستضافة أو أجهزة محلية لتنفيذ سير عمل تعلم الآلة المحاوي (containerized). يغطي النظام مجموعة واسعة من الإمكانيات بما في ذلك تتبع تجارب تعلم الآلة، حيث يتم نشر مقاييس الأداء والتصورات مباشرة في طلبات السحب (pull requests) الخاصة بالتحكم في الإصدار. يتعامل مع أتمتة خط أنابيب تعلم الآلة من استيراد البيانات الأولي وإصدارها إلى إنشاء تقارير سير العمل المنسقة وروابط التصور الخارجية. توفر الأداة فائدة إضافية لإدارة البنية التحتية من خلال تصحيح الأخطاء عن بُعد عبر SSH والقدرة على استئناف المهام التي تمت مقاطعتها.