3 Repos
Awesome GitHub RepositoriesMulti-GPU Execution Scaling
Techniques for distributing inference tasks across multiple GPUs using independent contexts and streams to increase throughput.
Distinct from Multi-GPU Distribution: Focuses on concurrent task execution across multiple GPUs rather than sharding a single large model's parameters (distribution).
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Multi-GPU Execution Scaling. Refine with filters or upvote what's useful.
Awesome Multi-GPU Execution Scaling GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- wang-xinyu/tensorrtx
wang-xinyu/tensorrtx
7,802Auf GitHub ansehentensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det
Distributes model execution across multiple devices by creating independent contexts and streams for each processor.
C++arcfacecrnndetr - tensorpack/tensorpack
tensorpack/tensorpack
6,287Auf GitHub ansehenTensorpack ist ein High-Level-TensorFlow-Framework für neuronale Netze und eine Forschungsbibliothek für den Aufbau und das Training von Deep-Learning-Modellen. Es bietet eine Sammlung reproduzierbarer Architekturen neuronaler Netze für Computer Vision, generative Aufgaben, Reinforcement Learning und Natural Language Processing. Das Projekt zeichnet sich durch eine spezialisierte Deep-Learning-Daten-Pipeline aus, die reines Python für paralleles Datenladen und Streaming verwendet. Es enthält einen Multi-GPU-Trainings-Orchestrator zur Verteilung von Workloads mittels Data-Parallel-Strategien und ein dediziertes Interpretierbarkeits-Toolkit zur Visualisierung von Modell-Saliency- und Aktivierungskarten. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Computer-Vision-Pipelines für Objekterkennung und semantische Segmentierung, Sequenzmodellierung für Sprache und Text sowie die Entwicklung von Reinforcement-Learning-Agenten. Es bietet zudem Modelloptimierungstools für Gewichtsquantisierung und Low-Bitwidth-Training sowie Utilities zur Reproduktion akademischer Forschungsarbeiten und zur Konvertierung von Legacy-Caffe-Modellgewichten.
Trains agents on complex environments using the Asynchronous Advantage Actor-Critic algorithm with multi-GPU support.
Python - nvidia/dali
NVIDIA/DALI
5,713Auf GitHub ansehenNVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha
Distributes data pipeline execution across multiple GPUs to accelerate processing throughput.
C++audio-processingdata-augmentationdata-processing
