Awesome GitHub RepositoriesHardware-Specific Model Optimizations

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

DiffusionBee is a Stable Diffusion desktop client for macOS that functions as an AI image generator and editor. It allows for the local generation of images from text prompts and the management of diffusion models without requiring external cloud services or technical setup. The application includes a local diffusion model manager for importing and switching between custom trained model files to achieve specific artistic styles. It also features a system for tracking generation history and uploading assets to a public gallery. The software covers several image synthesis and manipulation work

TensorRT هو محرك استنتاج للتعلم العميق ومجموعة تطوير برمجيات مصممة لتحسين ونشر الشبكات العصبية للتنفيذ عالي الأداء على وحدات معالجة الرسومات (GPUs) من NVIDIA. يعمل كإطار عمل لتسريع وحدات معالجة الرسومات يقلل من زمن الوصول ويزيد من الإنتاجية للنماذج المدربة أثناء النشر في بيئة الإنتاج. تقوم مجموعة الأدوات باستيراد النماذج من تنسيق Open Neural Network Exchange وتحويلها إلى محركات محسنة. تستخدم تحسين النماذج القائم على الرسم البياني، وتوليد نواة دمج الطبقات، والتكميم القائم على الدقة لتحويل أوزان الفاصلة العائمة إلى تنسيقات ذات دقة أقل. يوفر إطار العمل إمكانات لتسلسل المحرك الخاص بالأجهزة ويدعم توسيع قدرات الاستنتاج من خلال إضافات مخصصة لطبقات الشبكات العصبية المتخصصة.

YOLOv10 is a PyTorch computer vision library and real-time vision framework designed for locating and identifying multiple objects in images and video streams. It functions as an end-to-end object detector that optimizes for high-speed deployment and detection precision. The project is distinguished by an NMS-free detection architecture that predicts a single bounding box per object, eliminating the need for non-maximum suppression post-processing to reduce inference latency. It further optimizes for edge hardware through scalable weights and a quantization-friendly structure that facilitates

This project is an AI-powered IDE extension and LLM coding assistant that provides a conversational interface for generating, refactoring, and debugging code. It functions as an AI agent framework and a Model Context Protocol client, connecting AI models to external data sources and tools to automate complex development tasks. The system is distinguished by its use of autonomous AI agents capable of multi-step task execution, including the ability to read files, modify code, and run terminal commands iteratively. It supports recursive agent orchestration through subagent delegation and employ

AI-on-the-edge-device is an edge AI meter digitizer and computer vision image processor designed to convert images of analog and digital utility meters into numeric values. It functions as an IoT gateway that runs neural network inference locally on hardware to monitor water, power, and gas readings. The system is distinguished by its ability to handle both analog pointers and digital digits through custom-trained neural networks. It includes specialized tools for image alignment, region-of-interest extraction, and hardware-level lighting control to minimize glare on glass surfaces. To mainta

Nebullvm is an AI inference accelerator, GPU resource orchestrator, and performance optimization library for large language models. It functions as an optimization layer designed to lower operational costs by aligning model execution with underlying hardware architectures. The system maximizes cluster efficiency through real-time dynamic partitioning and elastic quotas for shared hardware resources. It employs alignment methods and techniques to reduce the hardware and data requirements necessary for tuning large language models. The project covers broad capability areas including AI infrast

This project is a vision language model framework and vision-to-text pipeline designed for deploying and optimizing models that process both images and text. It provides an on-device inference engine and a vision language model framework to run quantized models locally on mobile and desktop hardware accelerators. The framework features a model quantization toolkit to reduce weight precision for lower memory footprints and increased execution speed on specialized silicon. It also includes an efficient vision encoder utilizing a hybrid encoding system to compress image tokens, which reduces pro

This project is an end-to-end recommendation pipeline and framework designed for building generative recommendation engines. It utilizes large language models and vector search to facilitate personalized item discovery and produces item recommendations through tokenization and semantic alignment. The system integrates a generative recommendation engine with a multi-objective ranking system and a vector search retrieval pipeline. These components allow for the use of reasoning frameworks to perform inference over items and the application of re-ranking algorithms to optimize the diversity of t

Corenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene

YOLOv6 هو إطار عمل للتعلم العميق أحادي المرحلة مصمم لاكتشاف الكائنات الصناعية. يعمل كمدرب نموذج رؤية حاسوبية لتحديد وتحديد مواقع الكائنات داخل الصور، بالإضافة إلى أداة تجزئة مثالية تحدد حدود الكائنات الدقيقة باستخدام الأقنعة. يتضمن المشروع محسناً لاستدلال الهاتف المحمول ومجموعة أدوات لتكميم النموذج. تركز هذه المكونات على تقليل حجم النموذج ودقته لتحسين سرعة التنفيذ على الرقائق القائمة على ARM وتحويل النماذج إلى تنسيقات منخفضة الدقة لتقليل حجم الملف. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تدريب النماذج المخصصة، والتجزئة المثالية في الوقت الفعلي، وتحويل وقت تشغيل النموذج للتنفيذ عبر المنصات. كما يدعم تحسين استدلال أجهزة الحافة للحفاظ على الأداء عبر أوقات تشغيل الأجهزة المختلفة.

coremltools هي مجموعة أدوات تحويل ومترجم مصمم لتحويل نماذج تعلم الآلة من أطر عمل مختلفة إلى تنسيق Core ML للتنفيذ على أجهزة Apple. توفر المجموعة أدوات لترحيل الأوزان والهياكل من المكتبات الخارجية إلى تنسيق نموذج قابل للنشر. يتضمن المشروع أداة تحسين وواجهة برمجية لتحرير رسوم النماذج وتعديل البيانات الوصفية لتحسين الأداء على الأجهزة المستهدفة. كما يتميز بمجموعة اختبار للتحقق من مواصفات النموذج وتوافق العمليات لضمان التنفيذ الصحيح داخل بيئة التشغيل. تغطي مجموعة الأدوات نطاقاً واسعاً من قدرات النشر، بما في ذلك تحرير رسوم النماذج، وتكوين البيانات الوصفية، والتحقق من التوافق مع مواصفات التنسيق الرسمية.

This project is an MLOps architectural guide and framework for designing and deploying deep learning systems into production environments. It provides a structured approach to model inference deployment, ML pipeline orchestration, and the creation of production-level machine learning architectures. The project distinguishes itself through a focus on distributed deep learning and edge AI optimization. It covers methodologies for parallelizing model training across multiple GPUs to handle large datasets and applies techniques like quantization and distillation to reduce model size for embedded

Efficient-AI-Backbones هي مكتبة شبكات عصبية خفيفة الوزن وحديقة نماذج رؤية حاسوبية. توفر مجموعة من الهياكل الأساسية للتعلم العميق المحسنة المصممة لتقليل العبء الحسابي واستخدام الذاكرة لمهام الذكاء الاصطناعي. ينفذ المشروع هياكل متخصصة مثل GhostNet و MLP لتقليل متطلبات المعالجة. يتميز بتصميم هيكلي نمطي وتوزيع أوزان مدربة مسبقاً لتسريع تطوير ونشر نماذج الرؤية. تغطي المكتبة تصميم الشبكات العصبية الفعال وتحسين الذكاء الاصطناعي للأجهزة الطرفية. تشمل قدراتها تنفيذ هياكل خفيفة الوزن ونشر هياكل أساسية مدربة مسبقاً لتطبيقات الرؤية الحاسوبية.

MODNet is a deep learning image segmenter and portrait matting model designed to isolate human subjects from backgrounds. It generates high-quality alpha mattes for images and video using only standard RGB input, removing the requirement for manual trimap guides. The framework is optimized for real-time inference and provides utilities to export pre-trained model weights into specialized formats for deployment on target hardware. The project covers the full workflow for portrait isolation, including supervised matting model training on labeled datasets, real-time video background removal, an

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

هذا المشروع عبارة عن مجموعة من إضافات التحسين لـ Blender مصممة لمعالجة الشبكات (meshes)، والأنظمة الهيكلية (rigs)، والقوام (textures) للعرض في الوقت الفعلي ومنصات الصور الرمزية (avatars). يعمل كمحسن للشبكات والأنظمة الهيكلية يقوم بتبسيط النماذج ثلاثية الأبعاد ويوفر أدوات متخصصة لاستيراد وتنظيف الأصول من تنسيقات مثل MMD وMixamo وDAZ. تتميز مجموعة الأدوات بخط أنابيب مخصص لإعداد الشخصيات لـ VRChat وبيئات الواقع الافتراضي الاجتماعية الأخرى. وتتضمن مولد أطلس القوام لدمج صور متعددة في ورقة واحدة لتقليل استدعاءات الرسم (draw calls)، بالإضافة إلى خدمات ترجمة قائمة على القاموس لتحويل أسماء الكيانات من اليابانية إلى الإنجليزية. تغطي الإضافة مجموعة واسعة من القدرات التقنية، بما في ذلك تقليل المضلعات (polygon decimation) الذي يحافظ على مفاتيح الشكل، وتبسيط الهيكل العظمي من خلال دمج العظام وتنظيف التسلسل الهرمي، وإعداد الرسوم المتحركة للوجه لمزامنة الشفاه وتتبع العين. كما توفر أدوات معالجة هندسية لضبط اتجاهات الأسطح (face normals) وخبز تحويلات الكائنات مباشرة في بيانات الشبكة. تم تنفيذ المشروع كإضافة لـ Blender تعتمد على Python.

This project is a containerized local AI infrastructure stack designed to deploy large language models and vector databases on private hardware. It functions as an orchestration platform that combines AI runners, knowledge graphs, and a visual workflow builder for creating agentic chatflows and automating tasks via tool integration. The platform distinguishes itself through a low-code approach to agent orchestration, utilizing a visual interface to design complex sequences and connect agents to external tools and search engines. It includes a dedicated local observability stack to track promp

DeepCamera is an open-source AI video surveillance and network video recorder platform powered by local vision language models and hardware-accelerated processing. It integrates live feeds from network cameras, webcams, and mobile devices to monitor physical spaces while running local edge vision inference without relying on cloud servers. The platform incorporates privacy-preserving video anonymization that converts raw video frames into abstract depth maps in real time, retaining motion tracking while protecting personal identity. Its modular architecture supports pluggable AI scripts and

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi