10 repository-uri
Infrastructure for managing large-scale distributed computing networks.
Distinguishing note: Focuses on the operational infrastructure layer.
Explore 10 awesome GitHub repositories matching devops & infrastructure · Distributed Infrastructure. Refine with filters or upvote what's useful.
Umami is a self-hosted, privacy-focused web analytics platform designed to provide full control over infrastructure and user data. It captures website traffic and visitor behavior through anonymous tracking methods that avoid cookies, browser fingerprinting, and the storage of personally identifiable information. The platform distinguishes itself through a comprehensive suite of behavioral analysis tools, including session replays, heatmaps, and cohort-based retention reporting. It features a multi-tenant architecture that allows teams to manage multiple websites within a single, collaborativ
Supports distributed architecture by running the web server and database on separate machines.
NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t
Connects separate messaging environments across cloud and edge systems to create a unified communication fabric.
TiKV is a cloud-native distributed transactional key-value store and storage engine. It provides a distributed database designed for horizontal scalability and strong consistency across a cluster of physical nodes. The system uses a Raft-based consensus mechanism to maintain data availability and state synchronization. It ensures ACID compliance for distributed transactions through a two-phase commit workflow and manages data distribution via multi-Raft sharding. The engine handles massive datasets using automated range splitting and cluster load balancing to distribute data across different
Processes data directly on storage nodes using a coprocessor to reduce network traffic and lower system latency.
PeerTube is a decentralized, open-source video hosting platform that enables users to operate independent, interoperable servers. By utilizing the ActivityPub protocol, it connects these servers into a global, federated network where users can follow channels, discover content, and interact across different instances. The platform is designed to function as a self-hosted video content management system, providing a community-driven alternative to centralized media services. What distinguishes PeerTube is its hybrid approach to content delivery and infrastructure management. It integrates peer
Delegates resource-intensive tasks to external infrastructure to maintain platform performance as content volume grows.
Owncast is a self-hosted live streaming server that provides full control over broadcast infrastructure and audience data. It functions as an RTMP video streaming server, accepting incoming video feeds and distributing them to viewers through HLS-based segmented streaming. The platform includes a built-in, stateful web-based chat interface that enables real-time viewer engagement during broadcasts. The project distinguishes itself through deep integration with the decentralized Fediverse, allowing servers to automatically broadcast stream status updates and notify followers across distributed
Bypasses internal re-encoding to reduce hardware utilization or offloads segment distribution to third-party storage providers.
ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin
Offloads the training process to managed hardware to remove the requirement for local GPU resources.
Performs operations like AllReduce directly on network switches to reduce CPU involvement and speed up multi-GPU training.
Orchestrates multiple Xray-core servers as nodes to distribute proxy traffic for redundancy and scalability.
caddy-docker-proxy este un reverse proxy HTTP dinamic și un controller de ingress pentru rețeaua Docker care generează automat configurații de rutare prin citirea etichetelor din containerele Docker. Acesta servește ca instrument de service discovery care detectează adresele IP ale containerelor în timp real pentru a ruta traficul web primit către țintele backend corecte. Proiectul funcționează ca un orchestrator de proxy distribuit, capabil să împingă configurațiile generate de la un controller central către mai multe instanțe de server remote pentru a scala gestionarea cererilor. Automatizează emiterea și reînnoirea certificatelor de securitate TLS pentru domeniile proxate și coordonează certificatele partajate între replicile de server. Sistemul suportă generarea de configurații bazată pe etichete, utilizând template-uri și Docker secrets pentru a injecta metadate și setări globale în configurația serverului. Menține sincronizarea prin ascultarea evenimentelor din ciclul de viață al containerelor și utilizează un mecanism de încărcare in-process pentru a actualiza comportamentul serverului. Capabilitățile de gestionare a traficului includ definirea regulilor de rutare a cererilor, potrivirea căilor și rescrierea URI-urilor pentru a direcționa traficul către resursele containerizate.
Coordinates multiple proxy server instances from a central controller to scale request handling across a cluster.
Acest proiect este o platformă de comunicare în timp real scalabilă, concepută pentru conferințe video și audio multi-party. Funcționează ca un server media modular care orchestrează sesiuni live, gestionează săli de ședințe virtuale și se ocupă de distribuția fluxurilor media în medii de calcul distribuite. Platforma se distinge prin suportul pentru protocol bridging, permițând traducerea între WebRTC, RTSP, SIP și HLS. Încorporează transcodarea accelerată hardware pentru a menține performanța pe diverse dispozitive și utilizează o arhitectură bazată pe plugin-uri pentru a permite procesarea media personalizată, cum ar fi analiza conținutului în timp real și detectarea obiectelor. Sistemul oferă o infrastructură completă pentru gestionarea pipeline-urilor media, inclusiv înregistrarea sesiunilor, adaptarea dinamică la rețea și compunerea layout-urilor video personalizate. De asemenea, suportă integrarea telefoniei, permițând conectivitatea între sălile de conferințe digitale și sistemele telefonice tradiționale. Funcționalitățile administrative includ gestionarea serviciilor multi-tenant și controlul accesului bazat pe token-uri pentru a securiza spațiile virtuale. Software-ul este împachetat pentru deployment containerizat, facilitând execuția și orchestrarea consistentă în clusterele de dezvoltare și producție.
Manages virtual rooms and horizontal scaling of media workloads across distributed computing clusters.