Awesome GitHub RepositoriesRuntime Hardware Optimizers

simdjson is a high-performance, header-only C++ library designed for parsing, querying, and serializing JSON data with minimal memory overhead. It functions as a hardware-aware data processing engine that leverages vector instructions to achieve gigabyte-per-second parsing speeds. By detecting host processor capabilities at runtime, the library automatically selects the most efficient instruction sets to accelerate structural analysis and validation. The library distinguishes itself through a focus on extreme efficiency and resource management. It utilizes memory mapping and padded buffer ali

Burn is a deep learning framework designed for building, training, and deploying neural networks using a modular architecture. As a machine learning library built in Rust, it provides a backend-agnostic computational engine that enables the execution of models across diverse hardware, including central processors, graphics processors, and web runtimes. The framework distinguishes itself through a highly portable design that allows developers to maintain a single workflow for both training and inference across heterogeneous environments. It incorporates advanced optimization techniques such as

The Android NDK samples provide a comprehensive collection of code examples demonstrating how to integrate C and C++ native code into Android applications. This repository serves as a practical guide for developers utilizing the Android Native Development Kit to implement performance-critical application components that require direct hardware access and low-level system interaction. The project highlights the use of the Java Native Interface to bridge managed code with native modules, enabling cross-language function calls and efficient data exchange. It demonstrates how to manage native act

oneDNN este o bibliotecă pentru accelerarea deep learning-ului care oferă blocuri de construcție optimizate pentru antrenarea și inferența rețelelor neuronale. Aceasta gestionează calculul tensorial pe hardware CPU și GPU, permițând execuția de primitive de înaltă performanță pentru antrenarea modelelor și optimizarea inferenței rețelelor neuronale. Proiectul se distinge prin optimizarea kernel-ului specifică hardware-ului și utilizarea compilării „just-in-time” pentru a viza seturi de instrucțiuni specifice ale procesorului. Suportă execuția rețelelor neuronale cuantizate folosind cuantizarea statică și dinamică pentru a reduce utilizarea memoriei și a crește throughput-ul. Biblioteca acoperă o gamă largă de capabilități, inclusiv primitive de deep learning precum convoluții, înmulțirea matricelor și execuția rețelelor neuronale recurente. Implementează optimizări avansate de performanță, inclusiv fuziunea operațiunilor, optimizarea grafului de calcul și gestionarea formatului memoriei. Integrarea este oferită printr-un ABI C stabil și un wrapper C++, cu suport pentru SYCL, OpenCL și biblioteci externe de algebră liniară. Sistemul include instrumente de observabilitate pentru profilarea performanței hardware, benchmarking-ul primitivelor și log-uri detaliate de execuție.

Acest proiect este o bibliotecă de parsare JSON de înaltă performanță pentru Rust, care utilizează instrucțiuni accelerate hardware pentru a procesa structuri de date complexe. Acesta funcționează ca un instrument de serializare type-safe, mapând string-urile JSON brute în obiecte native ale limbajului, oferind în același timp flexibilitatea de a gestiona structuri de documente dinamice atunci când schemele sunt necunoscute sau se schimbă frecvent. Biblioteca se distinge prin utilizarea parsării accelerate SIMD și a identificării structurale bazate pe bitmask, care îi permit să scaneze și să tokenizeze documente prin procesarea mai multor octeți simultan. Utilizează dispatch-ul de instrucțiuni la runtime pentru a detecta capabilitățile procesorului gazdă, asigurând că setul de instrucțiuni cel mai eficient este selectat pentru mediul hardware curent. Pentru a îmbunătăți și mai mult throughput-ul, motorul utilizează o reprezentare a documentului bazată pe bandă (tape-based) și acces la date de tip zero-copy, care minimizează alocările de memorie și pointer chasing-ul în timpul traversării. Dincolo de capabilitățile sale de bază de parsare, biblioteca suportă procesarea valorilor numerice mari care depășesc capacitatea tipurilor standard de întregi sau virgulă mobilă. Se integrează cu interfețele standard de serializare pentru a asigura o gestionare consistentă a datelor și oferă căutări hash optimizate pentru gestionarea cheilor obiectelor. Proiectul este distribuit ca un crate, oferind o interfață standardizată pentru ca dezvoltatorii să încorporeze procesarea de date de mare viteză în aplicațiile lor.