Awesome GitHub RepositoriesInference Model Deployment

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Gluon-CV هي مكتبة رؤية حاسوبية لـ MXNet توفر مجموعة شاملة من معماريات الرؤية وخطوط أنابيب التدريب المنفذة مسبقاً. تعمل كمجموعة أدوات لأبحاث التعلم العميق وحديقة نماذج تحتوي على أوزان مدربة مسبقاً ومتطورة لتحليل الصور والفيديو. يتضمن المشروع مكتبة متخصصة لتقدير وضعية الإنسان ومجموعة أدوات لضغط النماذج. تسمح هذه الأدوات بتقليم وتكميم نماذج التعلم العميق لزيادة سرعة الاستدلال وتسهيل النشر على أجهزة الحافة المقيدة. تغطي المكتبة مجموعة واسعة من قدرات الرؤية، بما في ذلك تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية والمثالية. كما توفر أدوات لتحليل الفيديو، مثل التعرف على الإجراءات، وتتبع الكائنات، وتقدير العمق أحادي العين. يتم دعم التدريب من خلال خطوط أنابيب مؤتمتة وأحمال عمل موزعة على وحدات GPU متعددة لتسريع تقارب النموذج.

YOLOv6 هو إطار عمل للتعلم العميق أحادي المرحلة مصمم لاكتشاف الكائنات الصناعية. يعمل كمدرب نموذج رؤية حاسوبية لتحديد وتحديد مواقع الكائنات داخل الصور، بالإضافة إلى أداة تجزئة مثالية تحدد حدود الكائنات الدقيقة باستخدام الأقنعة. يتضمن المشروع محسناً لاستدلال الهاتف المحمول ومجموعة أدوات لتكميم النموذج. تركز هذه المكونات على تقليل حجم النموذج ودقته لتحسين سرعة التنفيذ على الرقائق القائمة على ARM وتحويل النماذج إلى تنسيقات منخفضة الدقة لتقليل حجم الملف. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تدريب النماذج المخصصة، والتجزئة المثالية في الوقت الفعلي، وتحويل وقت تشغيل النموذج للتنفيذ عبر المنصات. كما يدعم تحسين استدلال أجهزة الحافة للحفاظ على الأداء عبر أوقات تشغيل الأجهزة المختلفة.

MMdnn هو محول ونظام ترحيل لنماذج التعلم العميق، مصمم لنقل معماريات الشبكات العصبية وأوزانها بين أطر عمل مختلفة مثل TensorFlow وPyTorch وKeras. يستخدم MMdnn تمثيلاً وسيطاً موحداً لفصل هياكل الشبكة وأوزانها عن تطبيقات أطر العمل المحددة، مما يتيح تحويل النماذج المدربة مسبقاً عبر بيئات مختلفة. يتميز المشروع بقدرته على توليد كود Python أصلي لإعادة بناء النماذج من تمثيلاتها الوسيطة، مما يسمح بإعادة بناء النماذج وضبطها بدقة في البيئات المستهدفة. كما يتضمن أدوات متخصصة لنشر النماذج على الأجهزة المحمولة، حيث يحول نماذج التعلم العميق إلى صيغ متوافقة مع الهواتف مثل CoreML وTensorFlow Lite. يوفر النظام مجموعة واسعة من القدرات تشمل تصور معمارية الشبكات العصبية لفحص هياكل الرسوم والبيانات الوصفية، بالإضافة إلى تنفيذ استدلال النماذج للتحقق من أن النماذج المحولة تحافظ على سلوكها ودقتها الأصلية. كما تعالج الأدوات المساعدة استرجاع الأوزان المدربة مسبقاً من المستودعات البعيدة وتجميع نقاط فحص النماذج القابلة للنشر.

هذا المشروع هو تنفيذ PyTorch لإطار عمل اكتشاف الكائنات YOLOv4. يوفر نظاماً لتدريب ونشر الشبكات العصبية التي تحدد وتحدد مواقع كائنات متعددة داخل الصور وتدفقات الفيديو. يتضمن إطار العمل أدوات لتحويل الأوزان المدربة إلى تنسيقات عالمية ومحركات محسنة خاصة بالأجهزة، مع دعم محدد لـ ONNX وTensorRT. يتميز بمحسن استنتاج TensorRT لتقليل زمن الوصول وزيادة الإنتاجية، بالإضافة إلى بنية نموذج متوافقة مع خطوط أنابيب تحليلات البث NVIDIA DeepStream. يغطي النظام تدريب النموذج مع زيادة بيانات الفسيفساء (Mosaic) ويدعم اكتشاف الكائنات في الوقت الفعلي عبر محركات استنتاج متعددة. يوفر أدوات لتحويل النموذج إلى TensorFlow ويدعم تكوينات الدفعات الثابتة والديناميكية للنشر.

lite.ai.toolkit هي مجموعة أدوات رؤية حاسوبية بلغة C++ مصممة لنشر الذكاء الاصطناعي على الحافة. تتيح تنفيذ النماذج المدربة مسبقاً لاكتشاف الكائنات، وتصنيف الصور، والتجزئة على الأجهزة ذات الموارد المحدودة. يتميز المشروع بمحرك استنتاج متعدد الخلفيات يدعم وقت تشغيل نموذج ONNX، مما يسمح لنماذج الذكاء الاصطناعي بالعمل عبر أهداف عتادية مختلفة. ويتضمن خط أنابيب مسرع بواسطة GPU خصيصاً لأجهزة NVIDIA لتقليل زمن الانتقال وزيادة سرعة المعالجة. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تحليل الوجوه، بما في ذلك اكتشاف المشاعر، وتقدير الجنس والعمر، وتحليل وضعية الرأس. كما توفر أدوات للتعرف على الوجوه من خلال استخراج تضمينات الميزات وحساب تشابه جيب التمام (cosine similarity) للتحقق من الهويات. تشمل القدرات الإضافية عزل المقدمة (image matting)، وتلوين الصور الرمادية، ونقل الأسلوب الفني.

هذا المشروع عبارة عن تنفيذ للتعلم العميق لمعمارية RetinaNet لاكتشاف وتصنيف الكائنات داخل الصور. تم بناؤه كإطار عمل لاكتشاف الكائنات في Keras وأداة رؤية حاسوبية في TensorFlow، ويوفر تنفيذاً كاملاً للشبكة العصبية بناءً على ورقة RetinaNet. يتضمن إطار العمل مكونات متخصصة مثل شبكة هرم الميزات (Feature Pyramid Network) ودالة خسارة بؤرية (focal loss) للتعامل مع اكتشاف الكائنات. يتميز بمعمارية خلفية قابلة للتكوين وصناديق تحديد قائمة على المرساة (anchor-based) للتنبؤ بمواقع الكائنات عبر مقاييس ونسب عرض إلى ارتفاع متفاوتة. تغطي مجموعة الأدوات سير العمل من البداية إلى النهاية للرؤية الحاسوبية، بما في ذلك روتين التدريب، وتقييم الأداء، ونشر استدلال النموذج. توفر أدوات إدارة البيانات لاستيراد وتصحيح تعليقات الصور التوضيحية من تنسيقات CSV و Pascal VOC، بالإضافة إلى أدوات لتحويل النماذج المدربة إلى تنسيقات مختلفة للنشر.

MODNet is a deep learning image segmenter and portrait matting model designed to isolate human subjects from backgrounds. It generates high-quality alpha mattes for images and video using only standard RGB input, removing the requirement for manual trimap guides. The framework is optimized for real-time inference and provides utilities to export pre-trained model weights into specialized formats for deployment on target hardware. The project covers the full workflow for portrait isolation, including supervised matting model training on labeled datasets, real-time video background removal, an