Awesome GitHub RepositoriesCloud-Native Storage Layers

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

CVAT is an open-source, web-based platform designed for annotating images, videos, and 3D point clouds to create high-quality training datasets for machine learning. It functions as a containerized server that orchestrates the entire lifecycle of computer vision data, from initial task creation and manual labeling to quality assurance and final dataset export. The platform distinguishes itself through deep integration with machine learning models, allowing users to deploy custom AI models as serverless functions for automated object detection, tracking, and skeleton annotation. It supports co

JuiceFS is a distributed file system designed to mount object storage as a local, POSIX-compliant drive. It functions as a cloud-native persistent storage layer that decouples file metadata from raw data, storing metadata in a transactional database while keeping data blocks in object storage. This architecture enables multiple hosts across different regions to access the same storage simultaneously while maintaining strong consistency. The system distinguishes itself by performing data processing, including compression and encryption, directly on the client side before transmission. By split

SkyPilot is a multi-cloud AI orchestrator and distributed task scheduler designed to launch and manage AI workloads across various cloud providers, Kubernetes, and Slurm clusters. It functions as an infrastructure-as-code framework that uses declarative files to define resource requirements and setup commands for consistent execution across different environments. The project differentiates itself through automated cost optimization, selecting the most affordable GPU or TPU hardware and managing spot instances to reduce expenses. It also provides a remote development environment that bridges

KoboldCPP is a local large language model inference engine and GGUF model runner designed to execute quantized models on personal hardware. It functions as a multimodal AI server and API gateway, providing OpenAI-compatible endpoints that allow third-party clients to interact with locally hosted models. The project distinguishes itself as an AI storytelling backend, featuring dedicated tools for long-form narrative management through persistent memory, world lore tracking, and character state management. It further extends its capabilities as a multimodal server capable of processing text, im

all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

ZeroByte is a backup management platform built around the Restic backup engine, providing encrypted, deduplicated, and compressed snapshots across multiple storage backends. It offers a web interface for scheduling, monitoring, and managing backup operations, with support for cron-based job scheduling and configurable retention policies that automatically prune older snapshots. The platform distinguishes itself through comprehensive multi-protocol volume mounting, allowing backup ingestion from NFS, SMB, WebDAV, SFTP, and rclone-backed sources alongside local directories. It includes a snapsh

SSHFS-Win is a Windows implementation of SSHFS that mounts remote directories over SSH as local Windows drives, enabling seamless file access as if they were local network drives. It provides both command-line and graphical interfaces for creating, managing, and disconnecting SSHFS mounts, supporting password or SSH key authentication with optional credential storage in the Windows Credential Manager. The project extends beyond basic SSH mounting to support a wide range of remote file access scenarios, including mounting cloud storage services like Azure Blob or Amazon S3, distributed POSIX f

Dieses Projekt ist ein Leistungsoptimierer und Ressourcen-Bencher für AWS Lambda. Es analysiert das Verhältnis zwischen Ausführungsgeschwindigkeit und Kosten, indem es verschiedene Speicherkonfigurationen testet, um die kosteneffizientesten Einstellungen zu identifizieren und die Betriebsausgaben zu minimieren. Das Tool nutzt einen AWS-Step-Functions-Orchestrator, um die Ausführung und Datensammlung mehrerer Funktionstestläufe über verschiedene Leistungsstufen hinweg zu automatisieren. Es simuliert Produktions-Workloads durch das Injizieren benutzerdefinierter statischer oder Remote-Daten und die Verwendung gewichteter Payload-Verteilung, um reale Verkehrsmuster nachzuahmen. Die Suite deckt mehrere Funktionsbereiche ab, einschließlich iterativer Speicherabtastung und metrikbasierter Kostenmodellierung zur Visualisierung von Leistungs-Trade-offs. Sie bietet automatisierte Ressourcenbereinigung für temporäre Funktionsversionen und Aliase, private Netzwerkkonfiguration für eingeschränkte interne Ressourcen und Remote-Payload-Laden, um Standard-Aufrufgrößenbeschränkungen zu umgehen. Die Bereitstellung erfolgt über Infrastructure-as-Code-Konstrukte, um eine konsistente Umgebungseinrichtung und Wiederholbarkeit zu gewährleisten.

google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only

CubeFS ist ein verteiltes Cloud-Speichersystem, das für die Verwaltung von Datei- und Objektspeichern über Rechenzentren und hybride Clouds hinweg entwickelt wurde. Es fungiert als mandantenfähiges verteiltes Dateisystem und Objektspeicher, der Daten im Exabyte-Maßstab verarbeiten kann und eine verteilte Architektur zur Speicherung unstrukturierter Inhalte nutzt. Das System zeichnet sich durch eine Multi-Protokoll-Schnittstellenebene aus, die den gleichzeitigen Datenzugriff über S3-, POSIX- und HDFS-Schnittstellen ermöglicht. Es verwendet eine entkoppelte Compute-Storage-Architektur, um Verarbeitung und Persistenz unabhängig voneinander zu skalieren, und implementiert fein abgestimmte Isolationsrichtlinien, um Ressourcen und Daten zwischen verschiedenen Mandanten zu trennen. Die Zuverlässigkeit wird durch konfigurierbare Redundanzstrategien verwaltet, einschließlich Multi-Replica-Mirroring und Erasure Coding. Die Plattform beinhaltet ein Multi-Tier-Caching-System zur Beschleunigung des Datenzugriffs und integriert sich via Container Storage Interface-Treiber in Kubernetes, um die Bereitstellung persistenter Volumes zu automatisieren.

Mountpoint for Amazon S3 is a FUSE-based filesystem client that mounts S3 buckets as local directories, enabling standard file operations on objects without custom code. It enforces S3 bucket permissions through AWS Identity and Access Management policies on every operation, and implements lazy object materialization to fetch content on-demand rather than downloading entire objects at mount time. The filesystem maps S3's flat key namespace into a hierarchical directory structure using forward slashes as path separators, and supports write-back object assembly that accumulates local writes into

Cyberduck ist ein Multi-Protokoll-Dateitransfer-Client und ein plattformübergreifender Dateimanager für Mac und Windows. Er fungiert als Cloud-Speichermanager und Remote-Speicher-Mounter, der es Benutzern ermöglicht, Daten zwischen lokalen Laufwerken und Remote-Endpunkten hochzuladen, zu organisieren und zu synchronisieren. Die Anwendung bietet eine einheitliche Schnittstelle zur Verwaltung von Dateien über FTP, SFTP, WebDAV, S3 und andere Cloud-Speicherprotokolle, einschließlich Amazon S3, Backblaze B2, Microsoft Azure und OneDrive. Sie zeichnet sich durch einen clientseitigen Verschlüsselungstresor aus, der Dateien und Ordner lokal verschlüsselt, bevor sie an Remote-Server übertragen werden. Das System unterstützt Remote-Dateiverwaltung und protokollübergreifende Dateitransfers, einschließlich der Möglichkeit, Remote-Server- oder Cloud-Verzeichnisse direkt in den lokalen Betriebssystem-Dateiexplorer einzubinden. Zusätzliche Funktionen umfassen ein Command-Line-Interface für die Ausführung von Dateitransferaufgaben.

img2dataset ist eine leistungsstarke Pipeline für Bilddatensätze und ein Vorverarbeitungstool, das entwickelt wurde, um Millionen von Bildern von URLs für das Training von Machine Learning herunterzuladen und zu verarbeiten. Es fungiert als verteilter Bild-Downloader und Cloud-Speicher-Daten-Exporter, der große visuelle Datensätze von Webquellen direkt in strukturierte Formate überführt. Das System priorisiert die Datenerfassung mit hohem Durchsatz durch die Verteilung von Workloads auf mehrere CPU-Kerne und Maschinen. Es integriert sich direkt in Remote-Cloud-Speicher-Buckets und verwendet ein manifestbasiertes Tracking-System, um unterbrochene Downloads fortzusetzen, ohne bereits vorhandene Daten erneut zu verarbeiten. Das Tool bietet eine vollständige Vorverarbeitungssuite für die Vorbereitung von Machine-Learning-Datensätzen, einschließlich Bildskalierung, Zuschneiden und Eigenschaftsfilterung basierend auf Größe oder Seitenverhältnis. Es verifiziert zudem die Bildintegrität mittels Hash-Vergleich und stellt die Einhaltung von Robot-Direktiven während des Scraping-Workflows sicher. Das Projekt ist in Python implementiert.

JimsGarage is a collection of shell scripts and automation tools designed to help individuals deploy and manage a wide range of self-hosted services on their own hardware. It provides a structured approach to setting up containerized applications, from media servers and document management systems to VPNs and monitoring stacks, all through automated Docker-based configurations. The project distinguishes itself by offering a comprehensive library of deployment recipes that cover the full lifecycle of a home server environment. This includes not just the services themselves, but also the suppor

Dieses Projekt ist ein Telegram-Cloud-Mirror-Bot zum Herunterladen von Dateien aus verschiedenen Internetquellen und zum Spiegeln auf Telegram oder Cloud-Speicher. Er fungiert als spezialisierter Dienst für Remote-Media-Downloads, Torrent- und Usenet-Leeching sowie automatisiertes Content-Mirroring. Der Bot zeichnet sich durch eine tiefe Integration in das Rclone-Ökosystem zur Verwaltung, zum Klonen und zum Migrieren von Dateien über mehrere Cloud-Provider hinweg aus. Er enthält einen RSS-Content-Automator, um Downloads basierend auf benutzerdefinierten Filtern auszulösen, und nutzt Service-Account-Rotation, um API-Quotas bei der Verwaltung von Cloud-Ressourcen zu umgehen. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Medienverarbeitung für Archiv-Extraktion und Formatkonvertierung sowie Web-Media-Capture von unterstützten Plattformen. Es bietet zudem Torrent-Discovery via externe APIs, rekursive Cloud-Content-Suche und eine Aufgabenwarteschlange zur Verwaltung hochvolumiger Transfer-Jobs. Die administrative Kontrolle erfolgt über Chat-basierte Zugriffskontrolle und eine Datenbank zur Persistierung von Benutzerkonfigurationen und Aufgabenhistorie.

CML ist ein Pipeline-Automatisierungstool zum Trainieren und Evaluieren von Machine-Learning-Modellen und fungiert als CI/CD-System für Machine Learning. Es dient als Cloud-Compute-Orchestrator und Git-basierter Workflow-Manager, der Machine-Learning-Trainingszyklen durch Branch-Management, automatisierte Commits und integriertes Reporting automatisiert. Das Projekt zeichnet sich dadurch aus, dass es ephemere Cloud-Instanzen oder Kubernetes-Nodes bereitstellt, um spezialisierte Hardware für rechenintensive Aufgaben zur Verfügung zu stellen. Es verwaltet zudem Remote-Compute-Runner, was die Anbindung selbstgehosteter GPU-Cluster oder On-Premise-Maschinen zur Ausführung containerisierter Machine-Learning-Workflows ermöglicht. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich ML-Experiment-Tracking, bei dem Leistungsmetriken und Visualisierungen direkt in Pull Requests der Versionsverwaltung gepostet werden. Es handhabt die ML-Pipeline-Automatisierung vom initialen Datenimport und der Versionierung bis hin zur Generierung formatierter Workflow-Berichte und externer Visualisierungslinks. Das Tool bietet zusätzlichen Nutzen für das Infrastruktur-Management durch SSH-basiertes Remote-Debugging und die Möglichkeit, unterbrochene Jobs fortzusetzen.