Awesome GitHub RepositoriesCloud-Native Storage Layers

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

CVAT is an open-source, web-based platform designed for annotating images, videos, and 3D point clouds to create high-quality training datasets for machine learning. It functions as a containerized server that orchestrates the entire lifecycle of computer vision data, from initial task creation and manual labeling to quality assurance and final dataset export. The platform distinguishes itself through deep integration with machine learning models, allowing users to deploy custom AI models as serverless functions for automated object detection, tracking, and skeleton annotation. It supports co

JuiceFS is a distributed file system designed to mount object storage as a local, POSIX-compliant drive. It functions as a cloud-native persistent storage layer that decouples file metadata from raw data, storing metadata in a transactional database while keeping data blocks in object storage. This architecture enables multiple hosts across different regions to access the same storage simultaneously while maintaining strong consistency. The system distinguishes itself by performing data processing, including compression and encryption, directly on the client side before transmission. By split

SkyPilot is a multi-cloud AI orchestrator and distributed task scheduler designed to launch and manage AI workloads across various cloud providers, Kubernetes, and Slurm clusters. It functions as an infrastructure-as-code framework that uses declarative files to define resource requirements and setup commands for consistent execution across different environments. The project differentiates itself through automated cost optimization, selecting the most affordable GPU or TPU hardware and managing spot instances to reduce expenses. It also provides a remote development environment that bridges

KoboldCPP is a local large language model inference engine and GGUF model runner designed to execute quantized models on personal hardware. It functions as a multimodal AI server and API gateway, providing OpenAI-compatible endpoints that allow third-party clients to interact with locally hosted models. The project distinguishes itself as an AI storytelling backend, featuring dedicated tools for long-form narrative management through persistent memory, world lore tracking, and character state management. It further extends its capabilities as a multimodal server capable of processing text, im

all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

ZeroByte is a backup management platform built around the Restic backup engine, providing encrypted, deduplicated, and compressed snapshots across multiple storage backends. It offers a web interface for scheduling, monitoring, and managing backup operations, with support for cron-based job scheduling and configurable retention policies that automatically prune older snapshots. The platform distinguishes itself through comprehensive multi-protocol volume mounting, allowing backup ingestion from NFS, SMB, WebDAV, SFTP, and rclone-backed sources alongside local directories. It includes a snapsh

SSHFS-Win is a Windows implementation of SSHFS that mounts remote directories over SSH as local Windows drives, enabling seamless file access as if they were local network drives. It provides both command-line and graphical interfaces for creating, managing, and disconnecting SSHFS mounts, supporting password or SSH key authentication with optional credential storage in the Windows Credential Manager. The project extends beyond basic SSH mounting to support a wide range of remote file access scenarios, including mounting cloud storage services like Azure Blob or Amazon S3, distributed POSIX f

This project is a performance optimizer and resource benchmarker for AWS Lambda. It analyzes the trade-off between execution speed and cost by testing various memory configurations to identify the most cost-effective settings and minimize operational spending. The tool utilizes an AWS Step Functions orchestrator to automate the execution and data collection of multiple function test runs across different power levels. It simulates production workloads by injecting custom static or remote data and using weighted payload distribution to mimic real-world traffic patterns. The suite covers sever

google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.

Mountpoint for Amazon S3 is a FUSE-based filesystem client that mounts S3 buckets as local directories, enabling standard file operations on objects without custom code. It enforces S3 bucket permissions through AWS Identity and Access Management policies on every operation, and implements lazy object materialization to fetch content on-demand rather than downloading entire objects at mount time. The filesystem maps S3's flat key namespace into a hierarchical directory structure using forward slashes as path separators, and supports write-back object assembly that accumulates local writes into

Cyberduck este un client de transfer de fișiere multi-protocol și un manager de fișiere cross-platform pentru Mac și Windows. Funcționează ca un manager de stocare în cloud și un mounter de stocare la distanță, permițând utilizatorilor să încarce, să organizeze și să sincronizeze date între unitățile locale și endpoint-urile la distanță. Aplicația oferă o interfață unificată pentru gestionarea fișierelor prin FTP, SFTP, WebDAV, S3 și alte protocoale de stocare în cloud, inclusiv Amazon S3, Backblaze B2, Microsoft Azure și OneDrive. Se distinge printr-un vault de criptare client-side care criptează fișierele și folderele local înainte de a fi transmise către serverele la distanță. Sistemul suportă gestionarea fișierelor la distanță și transferuri de fișiere cross-protocol, inclusiv posibilitatea de a monta servere la distanță sau directoare cloud direct în explorer-ul de fișiere al sistemului de operare local. Capabilitățile suplimentare includ o interfață în linie de comandă pentru executarea sarcinilor de transfer de fișiere.

img2dataset este un pipeline de seturi de date de imagini de înaltă performanță și un instrument de preprocesare conceput pentru a descărca și procesa milioane de imagini de la URL-uri pentru antrenarea modelelor de machine learning. Funcționează ca un downloader distribuit de imagini și exportator de date în cloud storage, mutând seturi de date vizuale mari din surse web direct în formate structurate. Sistemul prioritizează achiziția de date cu throughput ridicat prin distribuirea sarcinilor pe mai multe nuclee CPU și mașini. Se integrează direct cu bucket-uri de stocare cloud remote și folosește un sistem de urmărire bazat pe manifest pentru a relua descărcările întrerupte fără a reprocesa datele existente. Instrumentul oferă o suită completă de preprocesare pentru pregătirea seturilor de date de machine learning, inclusiv redimensionarea imaginilor, decuparea și filtrarea proprietăților bazată pe dimensiune sau aspect ratio. De asemenea, verifică integritatea imaginilor prin compararea hash-urilor și asigură conformitatea cu directivele roboților în timpul fluxului de lucru de scraping. Proiectul este implementat în Python.

JimsGarage is a collection of shell scripts and automation tools designed to help individuals deploy and manage a wide range of self-hosted services on their own hardware. It provides a structured approach to setting up containerized applications, from media servers and document management systems to VPNs and monitoring stacks, all through automated Docker-based configurations. The project distinguishes itself by offering a comprehensive library of deployment recipes that cover the full lifecycle of a home server environment. This includes not just the services themselves, but also the suppor

Acest proiect este un bot de oglindire în cloud pentru Telegram, conceput pentru a descărca fișiere din diverse surse de internet și a le oglindi pe Telegram sau în stocarea în cloud. Acesta funcționează ca un serviciu specializat pentru descărcarea media la distanță, leeching de torrent și Usenet, și oglindirea automată a conținutului. Bot-ul se distinge prin integrarea profundă cu ecosistemul Rclone pentru gestionarea, clonarea și migrarea fișierelor între mai mulți furnizori de cloud. Include un automatizator de conținut RSS pentru a declanșa descărcări bazate pe filtre definite de utilizator și utilizează rotația conturilor de serviciu pentru a ocoli cotele API atunci când gestionează resursele cloud. Sistemul acoperă o gamă largă de capabilități, inclusiv procesarea media pentru extragerea arhivelor și conversia formatelor, precum și capturarea media web de pe platformele suportate. De asemenea, dispune de descoperirea torrentelor prin API-uri externe, căutarea recursivă a conținutului în cloud și o coadă de sarcini pentru gestionarea joburilor de transfer cu volum mare. Controlul administrativ este oferit prin controlul accesului bazat pe chat și o bază de date pentru persistența configurațiilor utilizatorului și a istoricului sarcinilor.

CML este un instrument de automatizare a pipeline-urilor pentru antrenarea și evaluarea modelelor de machine learning, funcționând ca un sistem CI/CD pentru machine learning. Servește drept orchestrator de calcul în cloud și manager de flux de lucru bazat pe Git, care automatizează ciclurile de antrenare a modelelor prin gestionarea branch-urilor, commit-uri automate și raportare integrată. Proiectul se distinge prin provizionarea de instanțe cloud efemere sau noduri Kubernetes pentru a oferi hardware specializat pentru sarcini intensive de calcul. De asemenea, gestionează runneri de calcul la distanță, permițând conectarea clusterelor GPU self-hosted sau a mașinilor on-premise pentru a executa fluxuri de lucru de machine learning containerizate. Sistemul acoperă o gamă largă de capabilități, inclusiv monitorizarea experimentelor ML, unde metricile de performanță și vizualizările sunt postate direct în pull request-urile de control al versiunilor. Gestionează automatizarea pipeline-ului ML de la importul inițial al datelor și versionare până la generarea de rapoarte de flux de lucru formatate și link-uri de vizualizare externă. Instrumentul oferă utilitate suplimentară pentru gestionarea infrastructurii prin depanare la distanță bazată pe SSH și capacitatea de a relua joburile întrerupte.