Awesome GitHub RepositoriesHigh-Performance Optimizer Implementations

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

Tensorpack هو إطار عمل تدريب TensorFlow عالي الأداء ومجموعة أدوات تعلم عميق موزعة. يوفر مجموعة من الأدوات لبناء وتدريب الشبكات العصبية مع التركيز على سرعة التنفيذ ومرونة البنية. يعمل المشروع كجناح لتحسين الشبكات العصبية، حيث يطبق أنماط تنفيذ عالية الكفاءة لتقليل حمل التدريب. ويعمل كخط معالجة بيانات متوازي، باستخدام التوازي التلقائي لزيادة معدل النقل عند معالجة مجموعات البيانات الكبيرة. تغطي مجموعة الأدوات التدريب الموزع عبر وحدات GPU متعددة ومجموعات الحوسبة باستخدام استراتيجيات موازية للبيانات. تشمل قدراتها معالجة مجموعات البيانات واسعة النطاق وتحسين الأداء لزيادة معدل نقل التدريب.

TNN هو إطار عمل لاستنتاج التعلم العميق مصمم لتنفيذ الشبكات العصبية المدربة مسبقاً عبر أجهزة المحمول، وسطح المكتب، والخوادم. يعمل كبيئة تشغيل مسرعة بالأجهزة ومجموعة أدوات لضغط النماذج، ويوفر واجهة موحدة لنشر النماذج في بيئات متنوعة. يتضمن إطار العمل محول نماذج ONNX لتحويل النماذج من أطر تدريب مختلفة إلى تنسيق داخلي موحد. ويتميز بمزيج من أدوات ضغط النماذج—بما في ذلك تكميم الأوزان وتقليم الكود الساكن—ونظام إدارة ذاكرة يعيد استخدام المخازن المؤقتة بين العقد غير المعتمدة لتقليل استخدام RAM. يعمل النظام على تحسين الأداء عبر دمج العمليات (operator fusion) لتقليل الوصول إلى الذاكرة ويستخدم خلفيات خاصة بالمنصة للاستفادة من المعالجات المتخصصة ووحدات معالجة الرسومات (GPUs). كما يزيد من سرعة التنفيذ من خلال الحسابات منخفضة الدقة والضبط الخاص بالأجهزة.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

This project is a collection of technical guides and manuals for the Apache TVM compiler stack translated into Simplified Chinese. It provides translated documentation focusing on deep learning compilation and the transformation of machine learning models into optimized executable code. The documentation covers the use of hardware backend guides for deploying models across CPUs, GPUs, and specialized accelerators. It also includes references for intermediate representations and graph-level optimizations used to compile tensor programs.