Awesome GitHub RepositoriesMulti-GPU Workload Distribution

This project is an object detection framework implementing the YOLOv3 architecture using Keras and TensorFlow. It functions as a deep learning vision model and computer vision toolset designed to locate and classify multiple entities within images and video streams using bounding boxes. The system includes a multi-GPU inference engine to distribute computational loads across several graphics processing units. It also provides a pipeline for creating custom object detectors by retraining pre-trained weights on annotated datasets to recognize user-defined object classes. The framework covers m

Tensorpack ist ein High-Level-TensorFlow-Framework für neuronale Netze und eine Forschungsbibliothek für den Aufbau und das Training von Deep-Learning-Modellen. Es bietet eine Sammlung reproduzierbarer Architekturen neuronaler Netze für Computer Vision, generative Aufgaben, Reinforcement Learning und Natural Language Processing. Das Projekt zeichnet sich durch eine spezialisierte Deep-Learning-Daten-Pipeline aus, die reines Python für paralleles Datenladen und Streaming verwendet. Es enthält einen Multi-GPU-Trainings-Orchestrator zur Verteilung von Workloads mittels Data-Parallel-Strategien und ein dediziertes Interpretierbarkeits-Toolkit zur Visualisierung von Modell-Saliency- und Aktivierungskarten. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Computer-Vision-Pipelines für Objekterkennung und semantische Segmentierung, Sequenzmodellierung für Sprache und Text sowie die Entwicklung von Reinforcement-Learning-Agenten. Es bietet zudem Modelloptimierungstools für Gewichtsquantisierung und Low-Bitwidth-Training sowie Utilities zur Reproduktion akademischer Forschungsarbeiten und zur Konvertierung von Legacy-Caffe-Modellgewichten.

NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha

StableSwarmUI ist eine Weboberfläche und ein Backend-Orchestrator für die Stable Diffusion-Bildgenerierung. Es fungiert als verteilter GPU-Bildgenerator und modulare KI-Bild-Pipeline und bietet einen zentralen Controller zur Verwaltung von Bildgenerierungsanfragen. Das System zeichnet sich durch die Fähigkeit aus, Generierungsaufgaben auf mehrere Grafikprozessoren aufzuteilen, um den Batch-Durchsatz zu erhöhen. Es nutzt eine Backend-agnostische Schnittstelle, um eine Verbindung zu lokalen Servern, Remote-Servern und Cloud-APIs herzustellen, und enthält einen grafbasierten visuellen Workflow-Designer für die Definition komplexer Bildverarbeitungsoperationen. Die Plattform umfasst ein dynamisches Plugin-Erweiterungssystem für das Hinzufügen benutzerdefinierter Funktionen und automatisierte Dienstprogramme für die Bereitstellung systemweiter Abhängigkeiten. Sie kombiniert modulare Generierungstools und schnelle Bearbeitungsoberflächen mit der Fähigkeit, Arbeitslasten über verteilte Hardware hinweg weiterzuleiten.

Aibrix ist ein Inferenz-Orchestrator, der für die Skalierung, das Routing und die Verwaltung der Bereitstellung großer Sprachmodelle über verteilte vLLM-Cluster entwickelt wurde. Er dient als zentrales Gateway für Load-Balancing und das Routing von Traffic zu spezifischen Modell-Replikaten und -Versionen. Das System verwaltet Ressourceneffizienz durch einen GPU-Cluster-Autoscaler, der die Anzahl der Compute-Instanzen basierend auf dem Echtzeit-Request-Volumen anpasst. Es optimiert den Betrieb weiter durch das Mischen verschiedener Beschleunigertypen innerhalb eines Clusters und die Nutzung eines Modell-Adapter-Orchestrators, um leichtgewichtige Parameter-Adapter auf geteilten Basismodellen bereitzustellen. Zu den breiten Funktionen gehören die Verwendung eines verteilten Key-Value-Cache-Managers zum Teilen von Token-Daten über Inferenz-Engines hinweg und die Implementierung von Hardware-Health-Monitoring zur Erkennung von Ausfällen der Verarbeitungseinheiten. Das Projekt bietet zudem eine einheitliche Metrik-Pipeline, um die Sammlung von Performancedaten über diverse Laufzeitumgebungen hinweg zu standardisieren.

SwarmUI is a web-based interface and orchestrator for Stable Diffusion, designed to generate images and video. It functions as a modular workflow manager and an API gateway that allows for the configuration and execution of generative AI pipelines. The system is characterized by its ability to distribute generation workloads across multiple graphics cards to increase processing speed and total throughput. It employs a decoupled client-server architecture and a backend-agnostic interface, allowing the user interface to remain separate from the model execution environment. The platform support

Discoart is a diffusion model orchestration framework and distributed GPU generation engine designed to automate and scale image generation workflows across hardware clusters. It functions as a generative AI model API, providing HTTP and gRPC endpoints to trigger and retrieve images from diffusion models as a network service. The system distinguishes itself through a comprehensive task management layer that includes timeline-based prompt and parameter scheduling. It manages the generative art lifecycle by supporting state-based session serialization for recovery, YAML-based configuration mana

QualityScaler is an AI video upscaler and local media processing tool designed to increase the resolution and visual quality of videos and images. It uses deep learning models to enhance detail and remove noise, operating as an offline application that executes all computations on local hardware. The project functions as a GPU-accelerated media processor that distributes workloads across multiple graphics cards to increase rendering speed. To prevent memory overflow during high-resolution tasks, it employs a tiled image processing method that splits large assets into smaller sections. The sy

ComfyUI-SeedVR2_VideoUpscaler is an AI video upscaling tool that uses diffusion models to increase the resolution of videos and images while maintaining visual consistency across frames. The project implements distributed video rendering by splitting datasets into chunks for parallel processing across multiple GPUs. It utilizes model compilation and specialized attention backends to reduce inference latency and increase throughput. Additional capabilities include video color correction using wavelet and LAB matching methods to preserve color fidelity. Hardware memory is managed through block

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface