Awesome GitHub RepositoriesModel Format Optimizers

TensorFlow.js is a JavaScript machine learning library and browser-based runtime used to build, train, and execute models. It functions as a WebGL accelerated tensor engine, providing a foundation for high-performance linear algebra operations and an automatic differentiation framework for computing gradients. The project distinguishes itself through its ability to run machine learning directly in web environments, supporting both client-side inference and browser-based training. It enables the deployment of Python-based models by converting Keras or TensorFlow models into compatible formats

هذا المشروع هو تنفيذ TensorFlow لإطار عمل ترجمة من صورة إلى صورة يعتمد على شبكات الخصومة التوليدية المشروطة. يوفر الأدوات لتدريب النماذج التي تعين صور الإدخال إلى صور الإخراج بناءً على أنماط بصرية متعلمة، بالإضافة إلى خادم لمعالجة طلبات ترجمة الصور وتقديم نقاط فحص النماذج المدربة لعملاء الويب. يتضمن إطار العمل نظاماً لتحويل أوزان النماذج المدربة إلى تنسيق محمول للاستدلال القائم على المتصفح. كما يتميز بعملية تحقق تولد تقارير مقارنة عن طريق تحليل مجموعات صور الإدخال والإخراج والمستهدفة باستخدام نقطة فحص مدربة. يغطي الكود المصدري خط الأنابيب الكامل من هندسة البيانات، بما في ذلك إعداد مجموعة بيانات الصور وخطوط الأنابيب القائمة على الأزواج، إلى التدريب الخصومي المشروط. يدعم تحويلات بصرية محددة مثل تلوين الصور ذات التدرج الرمادي وتوليد الصور الاصطناعية.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

Tengine هي مجموعة من الأدوات ومحرك تنفيذ خفيف الوزن مصمم لتشغيل نماذج التعلم العميق على أجهزة مدمجة مقيدة. يوفر بنية تحتية لتحويل نماذج الشبكات العصبية، وتكميم الأوزان، وتحسين نواة المشغل، وقياس أداء الاستنتاج عبر وحدات CPU وGPU وNPU. يتميز المشروع بمحسن نواة مشغل آلي لتوليد نوى عالية الكفاءة وأداة تكميم نموذج تقلل الدقة إلى تنسيقات عدد صحيح لتقليل استخدام الذاكرة. يتضمن أداة قياس أداء الأجهزة المخصصة لتقييم سرعة التنفيذ وكفاءة بنيات الشبكات العصبية على الأجهزة المدمجة. يغطي النظام تحويل تنسيق النموذج إلى تمثيل داخلي محايد للأجهزة، وإرسال المشغل النمطي، والتنفيذ متعدد الخلفيات. تسمح هذه القدرات بتحويل تعريفات الشبكات العصبية الخارجية إلى تنسيق وقت تشغيل متوافق للنشر المدمج.

هذا المشروع هو إطار عمل لخدمة نماذج PyTorch مصمم لنشر وتوسيع نطاق نماذج تعلم الآلة في الإنتاج عبر نقاط نهاية شبكة قابلة للتوسع. يعمل كخادم استنتاج عالي الأداء، ومحسن، ومدير دورة حياة النموذج الذي يتعامل مع تحميل النموذج، وتجميع الطلبات، وتسريع الأجهزة. يتميز النظام بقدرات تنسيق وتحسين متقدمة، مثل ربط نماذج متعددة في سير عمل تسلسلي باستخدام رسوم بيانية للتنفيذ واستخدام التجميع الديناميكي لتحسين الإنتاجية وزمن الانتقال. يوفر دعماً متخصصاً للذكاء الاصطناعي التوليدي ونماذج اللغات الكبيرة من خلال التجميع المستمر وتوازي الموترات (tensor parallelism). تغطي مجالات القدرات الواسعة إدارة موارد GPU عبر أجهزة متنوعة مثل NVIDIA وAMD وApple Silicon، بالإضافة إلى إدارة شاملة لدورة حياة النموذج للتسجيل، وإصدار النسخ، وتوسيع نطاق العمال (workers). كما يدمج أدوات مراقبة لتتبع صحة النظام وأداء النموذج عبر مقاييس متوافقة مع Prometheus. يتم إدارة الخادم من خلال واجهة سطر أوامر تستخدم للتحكم في دورة الحياة وتكوين معلمات وقت التشغيل.

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu