Awesome GitHub RepositoriesCloud-Native Storage Layers

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

CVAT is an open-source, web-based platform designed for annotating images, videos, and 3D point clouds to create high-quality training datasets for machine learning. It functions as a containerized server that orchestrates the entire lifecycle of computer vision data, from initial task creation and manual labeling to quality assurance and final dataset export. The platform distinguishes itself through deep integration with machine learning models, allowing users to deploy custom AI models as serverless functions for automated object detection, tracking, and skeleton annotation. It supports co

JuiceFS is a distributed file system designed to mount object storage as a local, POSIX-compliant drive. It functions as a cloud-native persistent storage layer that decouples file metadata from raw data, storing metadata in a transactional database while keeping data blocks in object storage. This architecture enables multiple hosts across different regions to access the same storage simultaneously while maintaining strong consistency. The system distinguishes itself by performing data processing, including compression and encryption, directly on the client side before transmission. By split

SkyPilot is a multi-cloud AI orchestrator and distributed task scheduler designed to launch and manage AI workloads across various cloud providers, Kubernetes, and Slurm clusters. It functions as an infrastructure-as-code framework that uses declarative files to define resource requirements and setup commands for consistent execution across different environments. The project differentiates itself through automated cost optimization, selecting the most affordable GPU or TPU hardware and managing spot instances to reduce expenses. It also provides a remote development environment that bridges

KoboldCPP is a local large language model inference engine and GGUF model runner designed to execute quantized models on personal hardware. It functions as a multimodal AI server and API gateway, providing OpenAI-compatible endpoints that allow third-party clients to interact with locally hosted models. The project distinguishes itself as an AI storytelling backend, featuring dedicated tools for long-form narrative management through persistent memory, world lore tracking, and character state management. It further extends its capabilities as a multimodal server capable of processing text, im

all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

ZeroByte is a backup management platform built around the Restic backup engine, providing encrypted, deduplicated, and compressed snapshots across multiple storage backends. It offers a web interface for scheduling, monitoring, and managing backup operations, with support for cron-based job scheduling and configurable retention policies that automatically prune older snapshots. The platform distinguishes itself through comprehensive multi-protocol volume mounting, allowing backup ingestion from NFS, SMB, WebDAV, SFTP, and rclone-backed sources alongside local directories. It includes a snapsh

SSHFS-Win is a Windows implementation of SSHFS that mounts remote directories over SSH as local Windows drives, enabling seamless file access as if they were local network drives. It provides both command-line and graphical interfaces for creating, managing, and disconnecting SSHFS mounts, supporting password or SSH key authentication with optional credential storage in the Windows Credential Manager. The project extends beyond basic SSH mounting to support a wide range of remote file access scenarios, including mounting cloud storage services like Azure Blob or Amazon S3, distributed POSIX f

Este proyecto es un optimizador de rendimiento y evaluador de recursos para AWS Lambda. Analiza el equilibrio entre la velocidad de ejecución y el costo probando varias configuraciones de memoria para identificar los ajustes más rentables y minimizar el gasto operativo. La herramienta utiliza un orquestador de AWS Step Functions para automatizar la ejecución y la recopilación de datos de múltiples pruebas de funciones en diferentes niveles de potencia. Simula cargas de trabajo de producción inyectando datos estáticos o remotos personalizados y utilizando una distribución de carga útil ponderada para imitar patrones de tráfico del mundo real. La suite cubre varias áreas de capacidad, incluyendo muestreo iterativo de memoria y modelado de costos basado en métricas para visualizar las compensaciones de rendimiento. Proporciona limpieza automatizada de recursos para versiones y alias de funciones temporales, configuración de red privada para recursos internos restringidos y carga de carga útil remota para evitar límites de tamaño de invocación estándar. El despliegue se maneja mediante construcciones de infraestructura como código (IaC) para garantizar una configuración de entorno consistente y repetibilidad.

google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only

CubeFS es un sistema de almacenamiento en la nube distribuido diseñado para gestionar almacenamiento de archivos y objetos en centros de datos y nubes híbridas. Funciona como un sistema de archivos distribuido multi-inquilino y un almacén de objetos capaz de manejar datos a escala de exabytes, utilizando una arquitectura distribuida para almacenar contenido no estructurado. El sistema se distingue por una capa de interfaz multiprotocolo que permite el acceso simultáneo a datos a través de interfaces S3, POSIX y HDFS. Emplea una arquitectura desacoplada de cómputo-almacenamiento para escalar el procesamiento y la persistencia de forma independiente e implementa políticas de aislamiento de grano fino para separar recursos y datos entre diferentes inquilinos. La fiabilidad se gestiona mediante estrategias de redundancia configurables, incluyendo replicación múltiple y codificación de borrado (erasure coding). La plataforma incluye un sistema de caché multinivel para acelerar el acceso a los datos y se integra con Kubernetes a través de un controlador de Container Storage Interface (CSI) para automatizar el aprovisionamiento de volúmenes persistentes.

Mountpoint for Amazon S3 is a FUSE-based filesystem client that mounts S3 buckets as local directories, enabling standard file operations on objects without custom code. It enforces S3 bucket permissions through AWS Identity and Access Management policies on every operation, and implements lazy object materialization to fetch content on-demand rather than downloading entire objects at mount time. The filesystem maps S3's flat key namespace into a hierarchical directory structure using forward slashes as path separators, and supports write-back object assembly that accumulates local writes into

Cyberduck es un cliente de transferencia de archivos multiprotocolo y gestor de archivos multiplataforma para Mac y Windows. Funciona como un gestor de almacenamiento en la nube y montador de almacenamiento remoto, permitiendo a los usuarios subir, organizar y sincronizar datos entre unidades locales y endpoints remotos. La aplicación proporciona una interfaz unificada para gestionar archivos a través de FTP, SFTP, WebDAV, S3 y otros protocolos de almacenamiento en la nube, incluyendo Amazon S3, Backblaze B2, Microsoft Azure y OneDrive. Se distingue por una bóveda de cifrado del lado del cliente que cifra archivos y carpetas localmente antes de ser transmitidos a servidores remotos. El sistema admite la gestión de archivos remotos y transferencias de archivos entre protocolos, incluyendo la capacidad de montar directorios de servidores remotos o de la nube directamente en el explorador de archivos del sistema operativo local. Capacidades adicionales incluyen una interfaz de línea de comandos para ejecutar tareas de transferencia de archivos.

img2dataset es un pipeline de datasets de imágenes de alto rendimiento y herramienta de preprocesamiento diseñada para descargar y procesar millones de imágenes desde URLs para el entrenamiento de machine learning. Funciona como un descargador de imágenes distribuido y exportador de datos a almacenamiento en la nube, moviendo grandes datasets visuales desde fuentes web directamente a formatos estructurados. El sistema prioriza la adquisición de datos de alto rendimiento distribuyendo cargas de trabajo entre múltiples núcleos de CPU y máquinas. Se integra directamente con buckets de almacenamiento en la nube remotos y emplea un sistema de seguimiento basado en manifiestos para reanudar descargas interrumpidas sin reprocesar los datos existentes. La herramienta proporciona una suite de preprocesamiento completa para la preparación de datasets de machine learning, incluyendo redimensionamiento de imágenes, recorte y filtrado de propiedades basado en tamaño o relación de aspecto. También verifica la integridad de la imagen mediante comparación de hash y asegura el cumplimiento de las directivas de robots durante el flujo de trabajo de scraping. El proyecto está implementado en Python.

JimsGarage is a collection of shell scripts and automation tools designed to help individuals deploy and manage a wide range of self-hosted services on their own hardware. It provides a structured approach to setting up containerized applications, from media servers and document management systems to VPNs and monitoring stacks, all through automated Docker-based configurations. The project distinguishes itself by offering a comprehensive library of deployment recipes that cover the full lifecycle of a home server environment. This includes not just the services themselves, but also the suppor

Este proyecto es un bot de espejo en la nube de Telegram diseñado para descargar archivos de varias fuentes de internet y reflejarlos en Telegram o almacenamiento en la nube. Funciona como un servicio especializado para la descarga remota de medios, descarga de torrents y Usenet, y el reflejo automatizado de contenido. El bot se distingue por su profunda integración con el ecosistema Rclone para gestionar, clonar y migrar archivos a través de múltiples proveedores de nube. Incluye un automatizador de contenido RSS para activar descargas basadas en filtros definidos por el usuario y utiliza la rotación de cuentas de servicio para evitar cuotas de API al gestionar recursos en la nube. El sistema cubre una amplia gama de capacidades, incluyendo procesamiento de medios para la extracción de archivos y conversión de formatos, así como captura de medios web desde plataformas compatibles. También cuenta con descubrimiento de torrents mediante API externas, búsqueda recursiva de contenido en la nube y una cola de tareas para gestionar trabajos de transferencia de gran volumen. El control administrativo se proporciona mediante control de acceso basado en chat y una base de datos para persistir las configuraciones de usuario y el historial de tareas.

CML es una herramienta de automatización de pipelines para entrenar y evaluar modelos de machine learning, funcionando como un sistema CI/CD para machine learning. Sirve como orquestador de computación en la nube y gestor de flujos de trabajo basado en Git que automatiza los ciclos de entrenamiento de modelos mediante la gestión de ramas, commits automatizados e informes integrados. El proyecto se distingue por aprovisionar instancias de nube efímeras o nodos de Kubernetes para proporcionar hardware especializado para tareas de computación intensiva. También gestiona runners de computación remota, permitiendo la conexión de clusters de GPU autohospedados o máquinas on-premise para ejecutar flujos de trabajo de machine learning contenerizados. El sistema cubre una amplia gama de capacidades, incluyendo el seguimiento de experimentos de ML, donde las métricas de rendimiento y visualizaciones se publican directamente en los pull requests de control de versiones. Maneja la automatización de pipelines de ML desde la importación y versionado inicial de datos hasta la generación de informes de flujo de trabajo formateados y enlaces de visualización externos. La herramienta proporciona utilidad adicional para la gestión de infraestructura a través de depuración remota basada en SSH y la capacidad de reanudar trabajos interrumpidos.