Awesome GitHub RepositoriesMulti-GPU Workload Distribution

This project is an object detection framework implementing the YOLOv3 architecture using Keras and TensorFlow. It functions as a deep learning vision model and computer vision toolset designed to locate and classify multiple entities within images and video streams using bounding boxes. The system includes a multi-GPU inference engine to distribute computational loads across several graphics processing units. It also provides a pipeline for creating custom object detectors by retraining pre-trained weights on annotated datasets to recognize user-defined object classes. The framework covers m

Tensorpack هو إطار عمل شبكة عصبية TensorFlow عالي المستوى ومكتبة بحثية مصممة لبناء وتدريب نماذج التعلم العميق. يوفر مجموعة من بنيات الشبكات العصبية القابلة للتكرار للرؤية الحاسوبية، والمهام التوليدية، والتعلم التعزيزي، ومعالجة اللغات الطبيعية. يتميز المشروع بخط معالجة بيانات تعلم عميق متخصص يستخدم Python الخالص لتحميل البيانات المتوازي والبث. ويتضمن منسق تدريب متعدد وحدات GPU لتوزيع أعباء العمل عبر استراتيجيات موازية للبيانات ومجموعة أدوات قابلية تفسير مخصصة لتصور خرائط بروز وتنشيط النموذج. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك خطوط معالجة الرؤية الحاسوبية لاكتشاف الكائنات والتجزئة الدلالية، ونمذجة التسلسل للكلام والنص، وتطوير وكيل التعلم التعزيزي. كما يوفر أدوات تحسين النموذج لتكميم الأوزان والتدريب منخفض البت، إلى جانب مرافق لإعادة إنتاج الأوراق البحثية الأكاديمية وتحويل أوزان نموذج Caffe القديمة.

NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha

StableSwarmUI هي واجهة ويب ومنسق خلفي لتوليد الصور باستخدام Stable Diffusion. تعمل كمولد صور GPU موزع وخط أنابيب صور ذكاء اصطناعي معياري، مما يوفر وحدة تحكم مركزية لإدارة طلبات توليد الصور. يتميز النظام بالقدرة على تقسيم مهام التوليد عبر معالجات رسومات متعددة لزيادة إنتاجية الدفعات. يستخدم واجهة محايدة للخلفية للاتصال بالخوادم المحلية، والخوادم البعيدة، وواجهات برمجة التطبيقات السحابية، ويتضمن مصمم سير عمل مرئي قائم على الرسم البياني لتحديد عمليات معالجة الصور المعقدة. تتضمن المنصة نظام إضافات ديناميكي لإضافة ميزات مخصصة وأدوات مؤتمتة لتوفير التبعيات على مستوى النظام. يجمع بين أدوات التوليد المعيارية وواجهات التحرير السريعة مع القدرة على توجيه أعباء العمل عبر الأجهزة الموزعة.

Aibrix is an inference orchestrator designed for scaling, routing, and managing the deployment of large language models across distributed vLLM clusters. It serves as a centralized gateway for load balancing and routing traffic to specific model replicas and versions. The system manages resource efficiency through a GPU cluster autoscaler that adjusts compute instance counts based on real-time request volume. It further optimizes operations by mixing different accelerator types within a single cluster and utilizing a model adapter orchestrator to deploy lightweight parameter adapters on share

SwarmUI هو واجهة ويب ومنسق لـ Stable Diffusion، مصمم لإنشاء الصور ومقاطع الفيديو. يعمل كمدير سير عمل معياري وبوابة API تسمح بتهيئة وتنفيذ خطوط أنابيب الذكاء الاصطناعي التوليدي. يتميز النظام بقدرته على توزيع أعباء العمل التوليدية عبر بطاقات رسومية متعددة لزيادة سرعة المعالجة والإنتاجية الإجمالية. ويستخدم بنية مفصولة بين العميل والخادم وواجهة مستقلة عن الخلفية البرمجية، مما يسمح لواجهة المستخدم بالبقاء منفصلة عن بيئة تنفيذ النماذج. تدعم المنصة القابلية للتوسع من خلال بنية قائمة على الإضافات (plugins) لإضافة مكونات واجهة مستخدم جديدة ومعالجات منطقية. ويوفر تحكماً برمجياً عبر نقاط نهاية HTTP وWebSocket للتطبيقات الخارجية لتشغيل عمليات التوليد ومزامنة الحالة في الوقت الفعلي. يتضمن المشروع أدوات إدارية لمنح وإدارة وصول المستخدمين عن بُعد إلى البيئة التوليدية عبر الشبكة.

Discoart is a diffusion model orchestration framework and distributed GPU generation engine designed to automate and scale image generation workflows across hardware clusters. It functions as a generative AI model API, providing HTTP and gRPC endpoints to trigger and retrieve images from diffusion models as a network service. The system distinguishes itself through a comprehensive task management layer that includes timeline-based prompt and parameter scheduling. It manages the generative art lifecycle by supporting state-based session serialization for recovery, YAML-based configuration mana

QualityScaler is an AI video upscaler and local media processing tool designed to increase the resolution and visual quality of videos and images. It uses deep learning models to enhance detail and remove noise, operating as an offline application that executes all computations on local hardware. The project functions as a GPU-accelerated media processor that distributes workloads across multiple graphics cards to increase rendering speed. To prevent memory overflow during high-resolution tasks, it employs a tiled image processing method that splits large assets into smaller sections. The sy

ComfyUI-SeedVR2_VideoUpscaler is an AI video upscaling tool that uses diffusion models to increase the resolution of videos and images while maintaining visual consistency across frames. The project implements distributed video rendering by splitting datasets into chunks for parallel processing across multiple GPUs. It utilizes model compilation and specialized attention backends to reduce inference latency and increase throughput. Additional capabilities include video color correction using wavelet and LAB matching methods to preserve color fidelity. Hardware memory is managed through block

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface