Awesome GitHub RepositoriesHardware-Specific Model Optimizations

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

DiffusionBee is a Stable Diffusion desktop client for macOS that functions as an AI image generator and editor. It allows for the local generation of images from text prompts and the management of diffusion models without requiring external cloud services or technical setup. The application includes a local diffusion model manager for importing and switching between custom trained model files to achieve specific artistic styles. It also features a system for tracking generation history and uploading assets to a public gallery. The software covers several image synthesis and manipulation work

TensorRT एक डीप लर्निंग इन्फरेंस इंजन और सॉफ्टवेयर डेवलपमेंट किट है जिसे NVIDIA GPUs पर उच्च-प्रदर्शन निष्पादन के लिए न्यूरल नेटवर्क को ऑप्टिमाइज़ और डिप्लॉय करने के लिए डिज़ाइन किया गया है। यह एक GPU एक्सेलेरेशन फ्रेमवर्क के रूप में कार्य करता है जो प्रोडक्शन डिप्लॉयमेंट के दौरान प्रशिक्षित मॉडलों के लिए लेटेंसी को कम करता है और थ्रूपुट को बढ़ाता है। यह टूलकिट Open Neural Network Exchange फॉर्मेट से मॉडल इम्पोर्ट करता है और उन्हें ऑप्टिमाइज़्ड इंजनों में बदल देता है। यह ग्राफ-आधारित मॉडल ऑप्टिमाइज़ेशन, लेयर-फ्यूजन कर्नल जनरेशन, और फ्लोटिंग पॉइंट वेट्स को लोअर प्रिसिजन फॉर्मेट में बदलने के लिए प्रिसिजन-आधारित क्वांटिज़ेशन का उपयोग करता है। यह फ्रेमवर्क हार्डवेयर-विशिष्ट इंजन सीरियलाइज़ेशन के लिए क्षमताएं प्रदान करता है और विशेष न्यूरल नेटवर्क लेयर्स के लिए कस्टम प्लगइन्स के माध्यम से इन्फरेंस क्षमताओं के विस्तार का समर्थन करता है।

YOLOv10 is a PyTorch computer vision library and real-time vision framework designed for locating and identifying multiple objects in images and video streams. It functions as an end-to-end object detector that optimizes for high-speed deployment and detection precision. The project is distinguished by an NMS-free detection architecture that predicts a single bounding box per object, eliminating the need for non-maximum suppression post-processing to reduce inference latency. It further optimizes for edge hardware through scalable weights and a quantization-friendly structure that facilitates

This project is an AI-powered IDE extension and LLM coding assistant that provides a conversational interface for generating, refactoring, and debugging code. It functions as an AI agent framework and a Model Context Protocol client, connecting AI models to external data sources and tools to automate complex development tasks. The system is distinguished by its use of autonomous AI agents capable of multi-step task execution, including the ability to read files, modify code, and run terminal commands iteratively. It supports recursive agent orchestration through subagent delegation and employ

AI-on-the-edge-device is an edge AI meter digitizer and computer vision image processor designed to convert images of analog and digital utility meters into numeric values. It functions as an IoT gateway that runs neural network inference locally on hardware to monitor water, power, and gas readings. The system is distinguished by its ability to handle both analog pointers and digital digits through custom-trained neural networks. It includes specialized tools for image alignment, region-of-interest extraction, and hardware-level lighting control to minimize glare on glass surfaces. To mainta

Nebullvm is an AI inference accelerator, GPU resource orchestrator, and performance optimization library for large language models. It functions as an optimization layer designed to lower operational costs by aligning model execution with underlying hardware architectures. The system maximizes cluster efficiency through real-time dynamic partitioning and elastic quotas for shared hardware resources. It employs alignment methods and techniques to reduce the hardware and data requirements necessary for tuning large language models. The project covers broad capability areas including AI infrast

This project is a vision language model framework and vision-to-text pipeline designed for deploying and optimizing models that process both images and text. It provides an on-device inference engine and a vision language model framework to run quantized models locally on mobile and desktop hardware accelerators. The framework features a model quantization toolkit to reduce weight precision for lower memory footprints and increased execution speed on specialized silicon. It also includes an efficient vision encoder utilizing a hybrid encoding system to compress image tokens, which reduces pro

यह प्रोजेक्ट एक एंड-टू-एंड रिकमेंडेशन पाइपलाइन और फ्रेमवर्क है जिसे जेनरेटिव रिकमेंडेशन इंजन बनाने के लिए डिज़ाइन किया गया है। यह व्यक्तिगत आइटम डिस्कवरी को सुविधाजनक बनाने के लिए लार्ज लैंग्वेज मॉडल और वेक्टर सर्च का उपयोग करता है, और टोकनाइज़ेशन तथा सिमेंटिक अलाइनमेंट के माध्यम से आइटम रिकमेंडेशन तैयार करता है। सिस्टम एक जेनरेटिव रिकमेंडेशन इंजन को मल्टी-ऑब्जेक्टिव रैंकिंग सिस्टम और वेक्टर सर्च रिट्रीवल पाइपलाइन के साथ एकीकृत करता है। ये घटक आइटम्स पर इन्फरेंस करने के लिए रीजनिंग फ्रेमवर्क के उपयोग और आउटपुट परिणामों की विविधता को अनुकूलित करने के लिए री-रैंकिंग एल्गोरिदम के अनुप्रयोग की अनुमति देते हैं। यह फ्रेमवर्क रिकमेंडेशन डेवलपमेंट के पूरे लाइफसाइकिल को कवर करता है, जिसमें कैंडिडेट रिट्रीवल ऑप्टिमाइज़ेशन, यूजर प्रेफरेंस मॉडलिंग, और डिप्लॉयमेंट के लिए ऑफलाइन-ऑनलाइन पाइपलाइन स्प्लिट्स का निर्माण शामिल है। इसमें विभिन्न हार्डवेयर स्केल्स पर प्रदर्शन बनाए रखने के लिए हार्डवेयर-अवेयर सीक्वेंस मॉडलिंग भी शामिल है।

Corenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene

YOLOv6 एक सिंगल-स्टेज डीप लर्निंग फ्रेमवर्क है जिसे औद्योगिक ऑब्जेक्ट डिटेक्शन के लिए डिज़ाइन किया गया है। यह इमेजेस के भीतर ऑब्जेक्ट्स की पहचान करने और उनका पता लगाने के लिए एक कंप्यूटर विज़न मॉडल ट्रेनर के रूप में कार्य करता है, साथ ही एक इंस्टेंस सेगमेंटेशन टूल के रूप में भी जो मास्क का उपयोग करके सटीक ऑब्जेक्ट बाउंड्रीज़ को रेखांकित करता है। इस प्रोजेक्ट में एक विशेष मोबाइल इन्फरेंस ऑप्टिमाइज़र और मॉडल क्वांटाइज़ेशन टूलकिट शामिल है। ये कंपोनेंट्स ARM-बेस्ड चिपसेट्स पर एग्जीक्यूशन स्पीड को बेहतर बनाने के लिए मॉडल साइज और रिज़ॉल्यूशन को कम करने और फाइल साइज को घटाने के लिए मॉडल्स को लो-प्रिसिजन फॉर्मेट्स में बदलने पर केंद्रित हैं।

coremltools is a conversion toolkit and translator designed to transform machine learning models from various frameworks into the Core ML format for execution on Apple hardware. It provides a suite of tools for migrating weights and architectures from external libraries into a deployable model format. The project includes an optimization tool and a programmatic interface for editing model graphs and modifying metadata to improve performance on target hardware. It also features a validation suite used to check model specifications and operation compatibility to ensure correct execution within

This project is an MLOps architectural guide and framework for designing and deploying deep learning systems into production environments. It provides a structured approach to model inference deployment, ML pipeline orchestration, and the creation of production-level machine learning architectures. The project distinguishes itself through a focus on distributed deep learning and edge AI optimization. It covers methodologies for parallelizing model training across multiple GPUs to handle large datasets and applies techniques like quantization and distillation to reduce model size for embedded

Efficient-AI-Backbones एक हल्का न्यूरल नेटवर्क लाइब्रेरी और कंप्यूटर विज़न मॉडल ज़ू है। यह आर्टिफिशियल इंटेलिजेंस कार्यों के लिए कम्प्यूटेशनल ओवरहेड और मेमोरी उपयोग को कम करने के लिए डिज़ाइन किए गए अनुकूलित डीप लर्निंग बैकबोन का संग्रह प्रदान करता है। यह प्रोजेक्ट प्रोसेसिंग आवश्यकताओं को कम करने के लिए GhostNet और MLP जैसे विशेष आर्किटेक्चर लागू करता है। इसमें मॉड्यूलर बैकबोन डिज़ाइन और विज़न मॉडल के विकास और तैनाती में तेज़ी लाने के लिए प्री-ट्रेंड वेट्स का वितरण शामिल है। यह लाइब्रेरी कुशल न्यूरल नेटवर्क डिज़ाइन और एज डिवाइस AI ऑप्टिमाइज़ेशन को कवर करती है। इसकी क्षमताओं में हल्के आर्किटेक्चर को लागू करना और कंप्यूटर विज़न अनुप्रयोगों के लिए प्री-ट्रेंड बैकबोन को तैनात करना शामिल है।

MODNet एक डीप लर्निंग इमेज सेगमेंटर और पोर्ट्रेट मैटिंग मॉडल है जिसे पृष्ठभूमि से मानव विषयों को अलग करने के लिए डिज़ाइन किया गया है। यह केवल मानक RGB इनपुट का उपयोग करके छवियों और वीडियो के लिए उच्च-गुणवत्ता वाले अल्फा मैट्स उत्पन्न करता है, जिससे मैनुअल ट्रिमैप गाइड की आवश्यकता समाप्त हो जाती है। यह फ्रेमवर्क रीयल-टाइम अनुमान के लिए अनुकूलित है और लक्षित हार्डवेयर पर तैनाती के लिए प्री-ट्रेंड मॉडल वेट को विशेष प्रारूपों में निर्यात करने के लिए उपयोगिताएं प्रदान करता है। यह प्रोजेक्ट पोर्ट्रेट आइसोलेशन के लिए पूर्ण वर्कफ़्लो को कवर करता है, जिसमें लेबल किए गए डेटासेट पर सुपरवाइज्ड मैटिंग मॉडल प्रशिक्षण, रीयल-टाइम वीडियो पृष्ठभूमि हटाना और एज हार्डवेयर तैनाती शामिल है।

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

यह प्रोजेक्ट Blender के लिए ऑप्टिमाइज़ेशन प्लगइन्स का एक सूट है जिसे रियल-टाइम रेंडरिंग और अवतार प्लेटफॉर्म्स के लिए मेश, रिग्स और टेक्सचर्स को प्रोसेस करने के लिए डिज़ाइन किया गया है। यह एक मेश और रिग ऑप्टिमाइज़र के रूप में कार्य करता है जो 3D मॉडल्स को सरल बनाता है और MMD, Mixamo और DAZ जैसे फॉर्मेट्स से एसेट्स को इम्पोर्ट और क्लीन करने के लिए विशेष टूल्स प्रदान करता है। यह टूलकिट VRChat और अन्य सोशल VR एनवायरनमेंट के लिए कैरेक्टर्स तैयार करने के लिए एक समर्पित पाइपलाइन पेश करता है। इसमें ड्रॉ कॉल्स को कम करने के लिए मल्टीपल इमेजेस को एक सिंगल शीट में मर्ज करने के लिए एक टेक्सचर एटलस जनरेटर, और जापानी से अंग्रेजी में एंटिटी नामों का अनुवाद करने के लिए डिक्शनरी-आधारित अनुवाद सेवाएं शामिल हैं। यह प्लगइन तकनीकी क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें शेप कीज़ को संरक्षित करने वाला पॉलीगॉन डेसिमेशन, बोन मर्जिंग और पदानुक्रम सफाई के माध्यम से स्केलेटल सरलीकरण, और लिप सिंक व आई ट्रैकिंग के लिए फेशियल एनिमेशन सेटअप शामिल है। यह फेस नॉर्मल्स को एडजस्ट करने और ऑब्जेक्ट ट्रांसफॉर्मेशन को सीधे मेश डेटा में बेक करने के लिए ज्यामिति हेरफेर टूल्स भी प्रदान करता है। यह प्रोजेक्ट Python-आधारित Blender ऐड-ऑन के रूप में कार्यान्वित है।

This project is a containerized local AI infrastructure stack designed to deploy large language models and vector databases on private hardware. It functions as an orchestration platform that combines AI runners, knowledge graphs, and a visual workflow builder for creating agentic chatflows and automating tasks via tool integration. The platform distinguishes itself through a low-code approach to agent orchestration, utilizing a visual interface to design complex sequences and connect agents to external tools and search engines. It includes a dedicated local observability stack to track promp

DeepCamera is an open-source AI video surveillance and network video recorder platform powered by local vision language models and hardware-accelerated processing. It integrates live feeds from network cameras, webcams, and mobile devices to monitor physical spaces while running local edge vision inference without relying on cloud servers. The platform incorporates privacy-preserving video anonymization that converts raw video frames into abstract depth maps in real time, retaining motion tracking while protecting personal identity. Its modular architecture supports pluggable AI scripts and

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi