Awesome GitHub RepositoriesAutomated Kernel Generators

Tengine este o suită de instrumente și un motor de execuție ușor, conceput pentru rularea modelelor de deep learning pe hardware embedded cu resurse limitate. Acesta oferă o infrastructură pentru conversia modelelor de rețele neuronale, cuantizarea ponderilor, optimizarea kernel-urilor operatorilor și benchmarking-ul performanței de inferență pe unități CPU, GPU și NPU. Proiectul dispune de un optimizator automat de kernel-uri pentru operatori pentru a genera kernel-uri de înaltă eficiență și un instrument de cuantizare a modelelor care reduce precizia la formate întregi pentru a scădea utilizarea memoriei. Include un instrument dedicat de benchmarking hardware pentru a evalua viteza de execuție și eficiența arhitecturilor de rețele neuronale pe dispozitive embedded. Sistemul acoperă conversia formatelor de model într-o reprezentare internă hardware-agnostică, dispatch-ul modular al operatorilor și execuția multi-backend. Aceste capabilități permit transformarea definițiilor externe de rețele neuronale într-un format de runtime compatibil pentru deployment-ul embedded.

NuttX este un sistem de operare în timp real (RTOS) compatibil POSIX, conceput pentru microcontrolere de la arhitecturi pe 8 biți până la 64 de biți. Oferă un mediu de execuție determinist cu un scheduler de task-uri în timp real și un kernel embedded POSIX pentru a asigura execuția portabilă a codului pe diverse ținte hardware. Proiectul se distinge printr-un strat de abstractizare hardware cuprinzător care oferă drivere standardizate pentru I2C, SPI, CAN și USB pe diverse chipset-uri semiconductoare. De asemenea, dispune de un stack de rețea embedded care suportă TCP, UDP, IPv4 și IPv6, alături de protocoale industriale precum Modbus și DroneCAN. Sistemul acoperă o gamă largă de capabilități, inclusiv gestionarea avansată a memoriei cu paginare la cerere, operațiuni criptografice securizate și un sistem de fișiere virtual pentru gestionarea tipurilor de stocare disparate. De asemenea, integrează interfețe de nivel înalt pentru interfețe grafice (GUI), sinteză audio și execuția mai multor limbaje de scripting și workload-uri WebAssembly. Mediul este construit folosind Make sau CMake pentru a viza configurații specifice de plăci și chipset-uri.