10 dépôts
Infrastructure for managing large-scale distributed computing networks.
Distinguishing note: Focuses on the operational infrastructure layer.
Explore 10 awesome GitHub repositories matching devops & infrastructure · Distributed Infrastructure. Refine with filters or upvote what's useful.
Umami is a self-hosted, privacy-focused web analytics platform designed to provide full control over infrastructure and user data. It captures website traffic and visitor behavior through anonymous tracking methods that avoid cookies, browser fingerprinting, and the storage of personally identifiable information. The platform distinguishes itself through a comprehensive suite of behavioral analysis tools, including session replays, heatmaps, and cohort-based retention reporting. It features a multi-tenant architecture that allows teams to manage multiple websites within a single, collaborativ
Supports distributed architecture by running the web server and database on separate machines.
NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t
Connects separate messaging environments across cloud and edge systems to create a unified communication fabric.
TiKV is a cloud-native distributed transactional key-value store and storage engine. It provides a distributed database designed for horizontal scalability and strong consistency across a cluster of physical nodes. The system uses a Raft-based consensus mechanism to maintain data availability and state synchronization. It ensures ACID compliance for distributed transactions through a two-phase commit workflow and manages data distribution via multi-Raft sharding. The engine handles massive datasets using automated range splitting and cluster load balancing to distribute data across different
Processes data directly on storage nodes using a coprocessor to reduce network traffic and lower system latency.
PeerTube is a decentralized, open-source video hosting platform that enables users to operate independent, interoperable servers. By utilizing the ActivityPub protocol, it connects these servers into a global, federated network where users can follow channels, discover content, and interact across different instances. The platform is designed to function as a self-hosted video content management system, providing a community-driven alternative to centralized media services. What distinguishes PeerTube is its hybrid approach to content delivery and infrastructure management. It integrates peer
Delegates resource-intensive tasks to external infrastructure to maintain platform performance as content volume grows.
Owncast is a self-hosted live streaming server that provides full control over broadcast infrastructure and audience data. It functions as an RTMP video streaming server, accepting incoming video feeds and distributing them to viewers through HLS-based segmented streaming. The platform includes a built-in, stateful web-based chat interface that enables real-time viewer engagement during broadcasts. The project distinguishes itself through deep integration with the decentralized Fediverse, allowing servers to automatically broadcast stream status updates and notify followers across distributed
Bypasses internal re-encoding to reduce hardware utilization or offloads segment distribution to third-party storage providers.
ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin
Offloads the training process to managed hardware to remove the requirement for local GPU resources.
Performs operations like AllReduce directly on network switches to reduce CPU involvement and speed up multi-GPU training.
Orchestrates multiple Xray-core servers as nodes to distribute proxy traffic for redundancy and scalability.
caddy-docker-proxy est un proxy inverse HTTP dynamique et un contrôleur d'entrée réseau Docker qui génère automatiquement des configurations de routage en lisant les étiquettes (labels) des conteneurs Docker. Il sert d'outil de découverte de services qui détecte les adresses IP des conteneurs en temps réel pour router le trafic web entrant vers les cibles backend correctes. Le projet fonctionne comme un orchestrateur de proxy distribué, capable de pousser les configurations générées depuis un contrôleur central vers plusieurs instances de serveur distantes pour mettre à l'échelle la gestion des requêtes. Il automatise l'émission et le renouvellement des certificats de sécurité TLS pour les domaines proxifiés et coordonne les certificats partagés entre les répliques de serveur. Le système prend en charge la génération de configuration basée sur les étiquettes, utilisant des modèles et des secrets Docker pour injecter des métadonnées et des paramètres globaux dans la configuration du serveur. Il maintient la synchronisation en écoutant les événements du cycle de vie des conteneurs et utilise un mécanisme de chargement en cours d'exécution pour mettre à jour le comportement du serveur. Les capacités de gestion du trafic incluent la définition de règles de routage de requêtes, la correspondance de chemins et la réécriture d'URI pour diriger le trafic vers des ressources conteneurisées.
Coordinates multiple proxy server instances from a central controller to scale request handling across a cluster.
Ce projet est une plateforme de communication en temps réel scalable conçue pour la visioconférence et l'audioconférence multi-parties. Elle fonctionne comme un serveur multimédia modulaire qui orchestre les sessions en direct, gère les salles de réunion virtuelles et gère la distribution des flux multimédias à travers des environnements informatiques distribués. La plateforme se distingue par sa prise en charge du pontage de protocoles, permettant la traduction entre WebRTC, RTSP, SIP et HLS. Elle incorpore un transcodage accéléré par le matériel pour maintenir les performances sur divers appareils et utilise une architecture basée sur des plugins pour permettre un traitement multimédia personnalisé, tel que l'analyse de contenu en temps réel et la détection d'objets. Le système fournit une infrastructure complète pour gérer les pipelines multimédias, incluant l'enregistrement de session, l'adaptation réseau dynamique et la composition de mises en page vidéo personnalisées. Il prend également en charge l'intégration de la téléphonie, permettant la connectivité entre les salles de conférence numériques et les systèmes téléphoniques traditionnels. Les fonctionnalités administratives incluent la gestion de service multi-tenant et le contrôle d'accès basé sur des jetons pour sécuriser les espaces virtuels. Le logiciel est packagé pour un déploiement conteneurisé, facilitant une exécution et une orchestration cohérentes à travers les clusters de développement et de production.
Manages virtual rooms and horizontal scaling of media workloads across distributed computing clusters.