Awesome GitHub RepositoriesHardware-Specific Model Optimizations

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

DiffusionBee is a Stable Diffusion desktop client for macOS that functions as an AI image generator and editor. It allows for the local generation of images from text prompts and the management of diffusion models without requiring external cloud services or technical setup. The application includes a local diffusion model manager for importing and switching between custom trained model files to achieve specific artistic styles. It also features a system for tracking generation history and uploading assets to a public gallery. The software covers several image synthesis and manipulation work

TensorRT este un motor de inferență pentru deep learning și un kit de dezvoltare software conceput pentru a optimiza și implementa rețele neuronale pentru execuție de înaltă performanță pe GPU-uri NVIDIA. Acesta funcționează ca un framework de accelerare GPU care reduce latența și crește debitul pentru modelele antrenate în timpul implementării în producție. Toolkit-ul importă modele din formatul Open Neural Network Exchange și le transformă în motoare optimizate. Utilizează optimizarea modelelor bazată pe grafuri, generarea de kernel-uri prin fuziunea straturilor și cuantizarea bazată pe precizie pentru a converti ponderile în virgulă mobilă în formate cu precizie mai mică. Framework-ul oferă capabilități pentru serializarea motoarelor specifice hardware-ului și suportă extinderea capabilităților de inferență prin plugin-uri personalizate pentru straturi specializate de rețele neuronale.

YOLOv10 is a PyTorch computer vision library and real-time vision framework designed for locating and identifying multiple objects in images and video streams. It functions as an end-to-end object detector that optimizes for high-speed deployment and detection precision. The project is distinguished by an NMS-free detection architecture that predicts a single bounding box per object, eliminating the need for non-maximum suppression post-processing to reduce inference latency. It further optimizes for edge hardware through scalable weights and a quantization-friendly structure that facilitates

This project is an AI-powered IDE extension and LLM coding assistant that provides a conversational interface for generating, refactoring, and debugging code. It functions as an AI agent framework and a Model Context Protocol client, connecting AI models to external data sources and tools to automate complex development tasks. The system is distinguished by its use of autonomous AI agents capable of multi-step task execution, including the ability to read files, modify code, and run terminal commands iteratively. It supports recursive agent orchestration through subagent delegation and employ

AI-on-the-edge-device is an edge AI meter digitizer and computer vision image processor designed to convert images of analog and digital utility meters into numeric values. It functions as an IoT gateway that runs neural network inference locally on hardware to monitor water, power, and gas readings. The system is distinguished by its ability to handle both analog pointers and digital digits through custom-trained neural networks. It includes specialized tools for image alignment, region-of-interest extraction, and hardware-level lighting control to minimize glare on glass surfaces. To mainta

Nebullvm is an AI inference accelerator, GPU resource orchestrator, and performance optimization library for large language models. It functions as an optimization layer designed to lower operational costs by aligning model execution with underlying hardware architectures. The system maximizes cluster efficiency through real-time dynamic partitioning and elastic quotas for shared hardware resources. It employs alignment methods and techniques to reduce the hardware and data requirements necessary for tuning large language models. The project covers broad capability areas including AI infrast

This project is a vision language model framework and vision-to-text pipeline designed for deploying and optimizing models that process both images and text. It provides an on-device inference engine and a vision language model framework to run quantized models locally on mobile and desktop hardware accelerators. The framework features a model quantization toolkit to reduce weight precision for lower memory footprints and increased execution speed on specialized silicon. It also includes an efficient vision encoder utilizing a hybrid encoding system to compress image tokens, which reduces pro

This project is an end-to-end recommendation pipeline and framework designed for building generative recommendation engines. It utilizes large language models and vector search to facilitate personalized item discovery and produces item recommendations through tokenization and semantic alignment. The system integrates a generative recommendation engine with a multi-objective ranking system and a vector search retrieval pipeline. These components allow for the use of reasoning frameworks to perform inference over items and the application of re-ranking algorithms to optimize the diversity of t

Corenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene

YOLOv6 este un framework de deep learning single-stage conceput pentru detectarea industrială a obiectelor. Servește drept antrenor de modele de computer vision pentru identificarea și localizarea obiectelor în imagini, precum și ca instrument de segmentare a instanțelor care delimitează limitele precise ale obiectelor folosind măști. Proiectul include un optimizator de inferență mobil specializat și un toolkit de cuantizare a modelelor. Aceste componente se concentrează pe reducerea dimensiunii modelului și a rezoluției pentru a îmbunătăți viteza de execuție pe chipset-urile bazate pe ARM și pe convertirea modelelor în formate de precizie scăzută pentru a reduce dimensiunea fișierului. Framework-ul acoperă o gamă largă de capabilități, inclusiv antrenarea modelelor personalizate, segmentarea instanțelor în timp real și conversia runtime-ului modelului pentru execuție cross-platform. De asemenea, suportă optimizarea inferenței pe dispozitive edge pentru a menține performanța pe diverse runtime-uri hardware.

coremltools este un toolkit de conversie și traducător conceput pentru a transforma modelele de machine learning din diverse framework-uri în formatul Core ML pentru execuție pe hardware Apple. Oferă o suită de instrumente pentru migrarea ponderilor și arhitecturilor din biblioteci externe într-un format de model implementabil. Proiectul include un instrument de optimizare și o interfață programatică pentru editarea grafurilor de model și modificarea metadatelor pentru a îmbunătăți performanța pe hardware-ul țintă. De asemenea, dispune de o suită de validare utilizată pentru a verifica specificațiile modelului și compatibilitatea operațiunilor pentru a asigura execuția corectă în cadrul runtime-ului. Toolkit-ul acoperă o gamă largă de capabilități de implementare, inclusiv editarea grafurilor de model, configurarea metadatelor și verificarea compatibilității cu specificațiile formale de format.

Acest proiect este un ghid arhitectural MLOps și un framework pentru proiectarea și implementarea sistemelor de deep learning în medii de producție. Oferă o abordare structurată pentru implementarea inferenței modelelor, orchestrarea pipeline-urilor ML și crearea de arhitecturi de machine learning la nivel de producție. Proiectul se distinge printr-un accent pe deep learning distribuit și optimizarea AI la margine (edge AI). Acoperă metodologii pentru paralelizarea antrenării modelelor pe mai multe GPU-uri pentru a gestiona seturi mari de date și aplică tehnici precum cuantizarea și distilarea pentru a reduce dimensiunea modelului pentru hardware-ul embedded. Suprafața de capabilități se extinde la monitorizare și observabilitate, incluzând urmărirea performanței modelului, data drift-ul și metricile experimentelor. Abordează, de asemenea, orchestrarea fluxului de lucru al datelor, versionarea seturilor de date prin object stores și gestionarea cererilor de inferență de mare volum folosind batching adaptiv și orchestrare bazată pe containere.

Efficient-AI-Backbones este o bibliotecă de rețele neuronale ușoare și un model zoo de computer vision. Oferă o colecție de backbones de deep learning optimizate, concepute pentru a minimiza overhead-ul computațional și utilizarea memoriei pentru sarcini de inteligență artificială. Proiectul implementează arhitecturi specializate precum GhostNet și MLP pentru a reduce cerințele de procesare. Dispune de un design modular de backbone și distribuția de ponderi pre-antrenate pentru a accelera dezvoltarea și deployment-ul modelelor de viziune. Biblioteca acoperă design-ul eficient al rețelelor neuronale și optimizarea AI pentru dispozitive edge. Capabilitățile sale includ implementarea arhitecturilor ușoare și deployarea de backbones pre-antrenate pentru aplicații de computer vision.

MODNet este un segmentator de imagini de deep learning și un model de matting pentru portrete conceput pentru a izola subiecții umani de fundaluri. Generează alpha matte-uri de înaltă calitate pentru imagini și video folosind doar input RGB standard, eliminând cerința pentru ghiduri trimap manuale. Framework-ul este optimizat pentru inferență în timp real și oferă utilitare pentru a exporta ponderile modelelor pre-antrenate în formate specializate pentru implementarea pe hardware-ul țintă. Proiectul acoperă fluxul de lucru complet pentru izolarea portretelor, inclusiv antrenarea modelului de matting supervizat pe seturi de date etichetate, eliminarea fundalului video în timp real și implementarea pe hardware edge.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

This project is a suite of optimization plugins for Blender designed to process meshes, rigs, and textures for real-time rendering and avatar platforms. It functions as a mesh and rig optimizer that simplifies 3D models and provides specialized tools for importing and cleaning assets from formats such as MMD, Mixamo, and DAZ. The toolkit features a dedicated pipeline for preparing characters for VRChat and other social VR environments. It includes a texture atlas generator to merge multiple images into a single sheet to reduce draw calls, as well as dictionary-based translation services to co

This project is a containerized local AI infrastructure stack designed to deploy large language models and vector databases on private hardware. It functions as an orchestration platform that combines AI runners, knowledge graphs, and a visual workflow builder for creating agentic chatflows and automating tasks via tool integration. The platform distinguishes itself through a low-code approach to agent orchestration, utilizing a visual interface to design complex sequences and connect agents to external tools and search engines. It includes a dedicated local observability stack to track promp

DeepCamera is an open-source AI video surveillance and network video recorder platform powered by local vision language models and hardware-accelerated processing. It integrates live feeds from network cameras, webcams, and mobile devices to monitor physical spaces while running local edge vision inference without relying on cloud servers. The platform incorporates privacy-preserving video anonymization that converts raw video frames into abstract depth maps in real time, retaining motion tracking while protecting personal identity. Its modular architecture supports pluggable AI scripts and

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi