Awesome GitHub RepositoriesGPU Memory Diagnostics

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

Serf is a decentralized cluster coordination tool that manages node membership, failure detection, and event broadcasting across a distributed system without a central coordinator. Every node runs an identical agent process that independently handles membership, health monitoring, and event propagation through a peer-to-peer gossip protocol, creating a leaderless architecture where no single point of failure exists. The project implements the SWIM failure detection algorithm, where each node monitors a small random subset of peers to detect unreachable or failed nodes in real time. Custom use

Aibrix ist ein Inferenz-Orchestrator, der für die Skalierung, das Routing und die Verwaltung der Bereitstellung großer Sprachmodelle über verteilte vLLM-Cluster entwickelt wurde. Er dient als zentrales Gateway für Load-Balancing und das Routing von Traffic zu spezifischen Modell-Replikaten und -Versionen. Das System verwaltet Ressourceneffizienz durch einen GPU-Cluster-Autoscaler, der die Anzahl der Compute-Instanzen basierend auf dem Echtzeit-Request-Volumen anpasst. Es optimiert den Betrieb weiter durch das Mischen verschiedener Beschleunigertypen innerhalb eines Clusters und die Nutzung eines Modell-Adapter-Orchestrators, um leichtgewichtige Parameter-Adapter auf geteilten Basismodellen bereitzustellen. Zu den breiten Funktionen gehören die Verwendung eines verteilten Key-Value-Cache-Managers zum Teilen von Token-Daten über Inferenz-Engines hinweg und die Implementierung von Hardware-Health-Monitoring zur Erkennung von Ausfällen der Verarbeitungseinheiten. Das Projekt bietet zudem eine einheitliche Metrik-Pipeline, um die Sammlung von Performancedaten über diverse Laufzeitumgebungen hinweg zu standardisieren.

Memberlist ist eine Go-Bibliothek, die zur Aufrechterhaltung der verteilten Clustermitgliedschaft und zur Fehlererkennung über ein Peer-to-Peer-Gossip-Protokoll verwendet wird. Sie fungiert als Cluster-State-Synchronizer, der es Knoten ermöglicht, aktive Mitglieder zu verfolgen und Metadaten ohne zentralen Koordinator zu verbreiten. Die Bibliothek implementiert einen sicheren Gossip-Mechanismus unter Verwendung von AES-GCM-Verschlüsselung, um die Kommunikation zwischen Knoten und Mitgliedschaftsdaten zu schützen. Sie zeichnet sich bei der Fehlererkennung durch ein auf Verdacht basierendes Modell und adaptive Timeout-Skalierung aus, was Fehlalarme durch transiente Netzwerklatenz reduziert. Das Projekt bietet Funktionen für das Broadcasting benutzerdefinierter Daten, die Synchronisierung des Knotenstatus über Push-Pull-Mechanismen und das Management des Netzwerktransports über ein entkoppeltes Interface. Es enthält zudem Tools für das operative Monitoring, wie die Messung der Round-Trip-Zeit und die Ausgabe von Performance-Metriken.

Node Problem Detector is a Kubernetes-native agent that monitors node health and reports hardware failures, kernel issues, and other node-level problems to the cluster control plane. It detects problems by scanning kernel ring buffer messages for error patterns, running user-defined health check scripts, and collecting system metrics from CPU, memory, disk, and network interfaces. The agent distinguishes between permanent and temporary problems by mapping plugin failures to either persistent node conditions visible in kubectl describe node or one-time node events. It supports running multip