Awesome GitHub RepositoriesModel Deployment Platforms

ColossalAI is a distributed deep learning framework designed for training and deploying massive artificial intelligence models across clusters of hardware accelerators. It functions as a parallel computing engine that partitions model workloads and data across multiple processors to maximize memory efficiency and throughput. The platform distinguishes itself through a comprehensive suite of parallelization strategies, including multi-dimensional tensor parallelism and pipeline-based model parallelism, which segment neural network layers and stages across devices. To support large-scale genera

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

هذا المشروع عبارة عن مورد تعليمي شامل ودليل تدريبي لبناء وتدريب ونشر نماذج تعلم الآلة باستخدام TensorFlow 2. يعمل كدليل تعليمي منظم يغطي مفاهيم التعلم العميق الأساسية، بما في ذلك معماريات الشبكات العصبية، والاشتقاق التلقائي، وعمليات الموترات (Tensors). يوفر الدليل توجيهات تقنية حول تحسين كفاءة التنفيذ من خلال إدارة ذاكرة GPU، والتدريب الموزع، وتكميم النماذج (Model Quantization). كما يتضمن أدلة مفصلة لبناء خطوط معالجة بيانات عالية الأداء وتصدير النماذج لخوادم الإنتاج، والأجهزة المحمولة، ومتصفحات الويب. تغطي المادة مجموعة واسعة من القدرات، بما في ذلك تطوير النماذج باستخدام الشبكات التلافيفية (CNN) والمتكررة (RNN)، وتنفيذ دوال خسارة وطبقات مخصصة، واستخدام النماذج المدربة مسبقاً للتعلم بنقل المعرفة (Transfer Learning). كما يتناول استراتيجيات النشر للأجهزة الطرفية (Edge Devices) واستخدام بيئات التشغيل السحابية لتسريع العتاد. تم تنفيذ المادة كمجموعة من دفاتر Jupyter Notebooks.

This project is a machine learning interoperability tool designed to translate models from various training frameworks into the standardized open neural network exchange format. It functions as a model deployment pipeline that enables consistent execution across diverse inference engines and hardware environments. The tool utilizes graph-based translation and an operator mapping layer to convert framework-specific mathematical functions into a common intermediate representation. It distinguishes itself through a pluggable converter architecture, which allows developers to register custom tran