Awesome GitHub RepositoriesGPU Memory Diagnostics

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

Serf is a decentralized cluster coordination tool that manages node membership, failure detection, and event broadcasting across a distributed system without a central coordinator. Every node runs an identical agent process that independently handles membership, health monitoring, and event propagation through a peer-to-peer gossip protocol, creating a leaderless architecture where no single point of failure exists. The project implements the SWIM failure detection algorithm, where each node monitors a small random subset of peers to detect unreachable or failed nodes in real time. Custom use

Aibrix est un orchestrateur d'inférence conçu pour la mise à l'échelle, le routage et la gestion du déploiement de modèles de langage étendus à travers des clusters vLLM distribués. Il sert de passerelle centralisée pour l'équilibrage de charge et le routage du trafic vers des répliques et des versions de modèles spécifiques. Le système gère l'efficacité des ressources via un autoscaler de cluster GPU qui ajuste le nombre d'instances de calcul en fonction du volume de requêtes en temps réel. Il optimise davantage les opérations en mélangeant différents types d'accélérateurs au sein d'un même cluster et en utilisant un orchestrateur d'adaptateurs de modèles pour déployer des adaptateurs de paramètres légers sur des modèles de base partagés. Les capacités étendues incluent l'utilisation d'un gestionnaire de cache clé-valeur distribué pour partager les données de jetons à travers les moteurs d'inférence et l'implémentation de la surveillance de la santé du matériel pour détecter les défaillances des unités de traitement. Le projet fournit également un pipeline de métriques unifié pour standardiser la collecte de données de performance à travers divers environnements d'exécution.

Memberlist is a Go library used for maintaining distributed cluster membership and failure detection via a peer-to-peer gossip protocol. It functions as a cluster state synchronizer, allowing nodes to track active members and propagate metadata without a central coordinator. The library implements a secure gossip mechanism using AES-GCM encryption to protect inter-node communication and membership data. It distinguishes its failure detection through a suspicion-based model and adaptive timeout scaling, which reduces false positives caused by transient network latency. The project provides ca

Node Problem Detector is a Kubernetes-native agent that monitors node health and reports hardware failures, kernel issues, and other node-level problems to the cluster control plane. It detects problems by scanning kernel ring buffer messages for error patterns, running user-defined health check scripts, and collecting system metrics from CPU, memory, disk, and network interfaces. The agent distinguishes between permanent and temporary problems by mapping plugin failures to either persistent node conditions visible in kubectl describe node or one-time node events. It supports running multip