Awesome GitHub RepositoriesConfigurable Bit-Width Quantizers

AutoGPTQ هو مجموعة أدوات لضغط النماذج وإطار عمل للتكميم بعد التدريب مصمم لتقليل بصمة الذاكرة لنماذج اللغات الكبيرة. يستخدم خوارزمية GPTQ لضغط أوزان الشبكة العصبية، مما يقلل من متطلبات الأجهزة ويقلل من استخدام ذاكرة الفيديو (VRAM). يعمل المشروع كمسرع للاستنتاج من خلال توفير نواة محسنة تزيد من سرعة توليد الرموز (Tokens). يتميز بقابلية توسيع بنية النموذج، مما يسمح بإضافة قدرات التكميم إلى هياكل النماذج الجديدة من خلال أنماط قابلة للتكوين. يغطي إطار العمل خط أنابيب تكميم شامل، بما في ذلك ضغط الأوزان على مستوى الطبقة، وتقدير النطاق القائم على المعايرة، وتعيين الذاكرة الخاص بالدقة. كما يتضمن أنظمة لتقييم أداء النموذج لقياس تأثير التكميم على الدقة عبر مهام اللغة والتلخيص.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu