Awesome GitHub RepositoriesEmbedded AI Deployment

OpenCat-Quadruped-Robot ist ein Entwicklungs-Framework und Motion-Control-API für den Bau vierbeiniger Roboter. Es bietet eine umfassende Umgebung für die Entwicklung von Quadruped-Robotern, mit Tools für Locomotion-Gait-Design, inverse Kinematik und eine geschichtete Steuerungsarchitektur, die High-Level-Intelligenz von Low-Level-Bewegungen trennt. Das Projekt zeichnet sich als Embedded-KI-Deployment-Tool aus, das es Benutzern ermöglicht, Machine-Learning-Modelle zu trainieren, zu quantisieren und auf Vision-Module für Aufgaben wie Objekterkennung und visuelles Target-Tracking bereitzustellen. Es unterstützt zudem komplexe Mensch-Roboter-Interaktion durch Offline-Sprachbefehlsverarbeitung, Imitation menschlicher Bewegungen und ein visuelles Block-Programmier-Interface für grafische Logikgenerierung. Das System deckt eine breite Funktionsfläche ab, einschließlich Echtzeit-Balance-Stabilisierung mittels IMU-Daten, autonomer Navigation mittels 3D-Kameras und verschiedener Fernsteuerungs-Interfaces via Bluetooth und WiFi. Es enthält zudem Tools für Roboter-Gait-Simulation, Reinforcement-Learning-Policy-Transfer und eine dedizierte Python-API für externe Software-Integration. Firmware-Management wird über eine Suite von Deployment-Tools abgewickelt, die USB, Bluetooth und Over-the-Air-Updates für Mainboards und Mikrocontroller-Module unterstützen.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis