Awesome GitHub RepositoriesAutomated Kernel Generators

Tengine ist eine Suite von Tools und eine leichtgewichtige Execution-Engine für die Ausführung von Deep-Learning-Modellen auf eingeschränkter Embedded-Hardware. Sie bietet eine Infrastruktur zur Konvertierung neuronaler Netzwerkmodelle, zur Quantisierung von Gewichten, zur Optimierung von Operator-Kernels und zum Benchmarking der Inferenzleistung über CPU-, GPU- und NPU-Einheiten hinweg. Das Projekt zeichnet sich durch einen automatisierten Operator-Kernel-Optimierer zur Generierung hocheffizienter Kernels und ein Modell-Quantisierungstool aus, das die Präzision auf Integer-Formate reduziert, um den Speicherverbrauch zu senken. Es enthält ein dediziertes Hardware-Benchmarking-Tool zur Bewertung der Ausführungsgeschwindigkeit und Effizienz neuronaler Netzwerkarchitekturen auf Embedded-Geräten. Das System deckt die Modellformat-Konvertierung in eine hardware-agnostische interne Repräsentation, modulares Operator-Dispatching und Multi-Backend-Ausführung ab. Diese Funktionen ermöglichen die Transformation externer neuronaler Netzwerkdefinitionen in ein kompatibles Laufzeitformat für das Embedded-Deployment.

NuttX ist ein POSIX-konformes Echtzeitbetriebssystem für Mikrocontroller, das von 8-Bit- bis 64-Bit-Architekturen reicht. Es bietet eine deterministische Ausführungsumgebung mit einem Echtzeit-Task-Scheduler und einem POSIX-Embedded-Kernel, um die Portabilität von Code über diverse Hardware-Ziele hinweg sicherzustellen. Das Projekt zeichnet sich durch eine umfassende Hardware-Abstraktionsschicht aus, die standardisierte Treiber für I2C, SPI, CAN und USB für verschiedene Halbleiter-Chipsätze bereitstellt. Es verfügt zudem über einen Embedded-Netzwerk-Stack mit Unterstützung für TCP, UDP, IPv4 und IPv6 sowie industrielle Protokolle wie Modbus und DroneCAN. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich fortschrittlichem Speichermanagement mit On-Demand-Paging, sicheren kryptografischen Operationen und einem virtuellen Dateisystem zur Verwaltung unterschiedlicher Speichertypen. Es integriert zudem High-Level-Schnittstellen für grafische Benutzeroberflächen, Audiosynthese sowie die Ausführung mehrerer Skriptsprachen und WebAssembly-Workloads. Die Umgebung wird mittels Make oder CMake für spezifische Board-Konfigurationen und Halbleiter-Chipsätze erstellt.