3 مستودعات
Awesome GitHub RepositoriesMulti-GPU Execution Scaling
Techniques for distributing inference tasks across multiple GPUs using independent contexts and streams to increase throughput.
Distinct from Multi-GPU Distribution: Focuses on concurrent task execution across multiple GPUs rather than sharding a single large model's parameters (distribution).
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Multi-GPU Execution Scaling. Refine with filters or upvote what's useful.
Awesome Multi-GPU Execution Scaling GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- wang-xinyu/tensorrtx
wang-xinyu/tensorrtx
7,802عرض على GitHubtensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det
Distributes model execution across multiple devices by creating independent contexts and streams for each processor.
C++arcfacecrnndetr - tensorpack/tensorpack
tensorpack/tensorpack
6,287عرض على GitHubTensorpack هو إطار عمل شبكة عصبية TensorFlow عالي المستوى ومكتبة بحثية مصممة لبناء وتدريب نماذج التعلم العميق. يوفر مجموعة من بنيات الشبكات العصبية القابلة للتكرار للرؤية الحاسوبية، والمهام التوليدية، والتعلم التعزيزي، ومعالجة اللغات الطبيعية. يتميز المشروع بخط معالجة بيانات تعلم عميق متخصص يستخدم Python الخالص لتحميل البيانات المتوازي والبث. ويتضمن منسق تدريب متعدد وحدات GPU لتوزيع أعباء العمل عبر استراتيجيات موازية للبيانات ومجموعة أدوات قابلية تفسير مخصصة لتصور خرائط بروز وتنشيط النموذج. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك خطوط معالجة الرؤية الحاسوبية لاكتشاف الكائنات والتجزئة الدلالية، ونمذجة التسلسل للكلام والنص، وتطوير وكيل التعلم التعزيزي. كما يوفر أدوات تحسين النموذج لتكميم الأوزان والتدريب منخفض البت، إلى جانب مرافق لإعادة إنتاج الأوراق البحثية الأكاديمية وتحويل أوزان نموذج Caffe القديمة.
Trains agents on complex environments using the Asynchronous Advantage Actor-Critic algorithm with multi-GPU support.
Python - nvidia/dali
NVIDIA/DALI
5,713عرض على GitHubNVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha
Distributes data pipeline execution across multiple GPUs to accelerate processing throughput.
C++audio-processingdata-augmentationdata-processing
