huawei-noah/ghostnet
Ghostnet
يوفر GhostNet مجموعة من معماريات نماذج الذكاء الاصطناعي الفعالة وأنماط تصميم الشبكات العصبية المصممة لتقليل العبء الحسابي واستهلاك الذاكرة. يعمل المشروع كعمود فقري (backbone) لرؤية الحاسوب وكمحول رؤية (vision transformer) خفيف الوزن، مما يحسن التوازن بين دقة التنبؤ وسرعة الاستنتاج.
يركز المشروع على تقليل استهلاك الموارد للنشر على الأجهزة المحمولة وأجهزة الحافة (edge hardware). ويحقق ذلك من خلال استخدام تطبيقات محولات الرؤية خفيفة الوزن والمعماريات التي تقلل من إجمالي عدد المعلمات (parameters).
تغطي قاعدة الكود مجموعة من القدرات لتحسين الاستنتاج، بما في ذلك تقليل التكاليف الحسابية واستخدام الذاكرة. كما ينفذ أنماط تصميم هيكلية مثل كتل الالتفاف القابلة للفصل بعمق (depthwise-separable convolutional blocks)، والتفافات العمق ذات الاختناق الخطي (linear-bottleneck depthwise convolutions)، وكتل المحولات ذات الأوزان المترابطة (tied-weight transformer blocks) لتقليل زمن انتقال الاستنتاج.
Features
- Vision Backbones and Classification - Provides high-efficiency computer vision backbones for image recognition and feature extraction.
- Depthwise Separable Convolutions - Provides depthwise-separable convolutional blocks that split standard convolutions into spatial depthwise and pointwise channel mixing filters.
- Cheap-Operation-Based Convolutions - Implements convolutional layers that use linear transformations to generate redundant feature maps and reduce floating point operations.
- Inference Cost Optimizations - Employs pre-defined neural network architectures that minimize computational costs on resource-limited hardware.
- Linear Bottlenecks - Implements linear-bottleneck depthwise convolutions to generate more feature maps with fewer parameters.
- Edge AI Model Deployment - Provides lightweight neural network architectures optimized for efficient deployment on local hardware and edge devices.
- Resource-Constrained Optimizations - Structures neural network backbones to minimize memory access and compute cycles for low-power edge hardware deployment.
- Inference Latency Reduction - Provides optimized model structures that reduce memory usage and computation time to lower inference latency.
- Inference Speed Optimizers - Optimizes the execution speed and memory usage of neural network inference for faster live predictions.
- Vision Transformer Implementations - Implements Vision Transformer architectures optimized for reduced parameter counts and high inference efficiency.
- Efficient Neural Architectures - Offers a set of lightweight neural network backbones designed to reduce computational and memory overhead.
- Efficient Vision Transformers - Implements efficient vision transformers with optimized attention mechanisms to reduce resource requirements.
- Mobile AI Architectures - Develops AI backbones optimized for the strict energy and memory limits of mobile device hardware.
- MLP-Mixer Architectures - Utilizes MLP-Mixer architectures to process visual data using multi-layer perceptrons for high-performance feature extraction.
- Neural Network Design Frameworks - Provides a collection of optimized layers and structural design patterns to minimize parameter counts in neural networks.
- Weight Tying Strategies - Implements tied-weight transformer blocks that share parameters across layers to decrease total model size and memory footprint.
- Neural Network Architectures - Lightweight architecture using cheap operations for feature generation.
