Awesome GitHub RepositoriesCustom Kernel Accelerators

Unsloth is a high-performance training and inference platform designed to optimize the lifecycle of large language and multimodal models. It provides a comprehensive engine for fine-tuning, executing, and managing models locally, with a focus on reducing memory consumption and increasing compute speed on consumer-grade hardware. The platform distinguishes itself through hand-optimized kernels and automated computational graph techniques that maximize hardware throughput. It supports advanced training methodologies, including reinforcement learning for reasoning and efficient adapter-based fin

Mamba is a deep learning framework designed for building and training sequence models that process long-range data dependencies with linear-time computational efficiency. By utilizing selective state space modeling, the library enables the construction of neural network architectures that replace traditional attention mechanisms with high-performance state space operations. The framework distinguishes itself through the use of data-dependent state gating, which allows the model to dynamically filter information flow based on the input sequence. To ensure high throughput, it incorporates hardw

Open3D is a software toolkit designed for the processing, alignment, and reconstruction of three-dimensional data. It functions as a computer vision geometry engine that enables the manipulation of point clouds, meshes, and volumetric grids derived from sensor inputs. The library distinguishes itself through a high-performance computational core that executes geometric processing tasks in native code, paired with a binding layer that exposes these capabilities to high-level languages for rapid prototyping. It provides specialized algorithms for spatial registration, allowing users to merge mu

PyTorch3D is a 3D geometric deep learning library and mesh processing toolkit designed for learning from point clouds and complex 3D surface geometries. It provides a collection of reusable components and data structures for deep learning with 3D data, including a framework for training and evaluating neural radiance fields to enable photorealistic view synthesis. The project features a differentiable 3D renderer that converts meshes and point clouds into 2D images while allowing gradients to flow back into the geometry and textures. This enables 3D shape optimization, where mesh geometry, te

Cutlass is a collection of C++ templates and Python interfaces for implementing high-performance linear algebra operations on NVIDIA GPUs. It provides a kernel composition framework for designing custom GPU kernels and a mixed-precision tensor library capable of executing operations across diverse data formats, ranging from 64-bit floating point to 4-bit integers. The project features a toolkit for operator fusion that integrates activation functions and bias calculations directly into matrix multiplication kernels to reduce memory passes. It also includes a Python-based domain-specific langu

ChatRWKV is an open-source frontend and GPU-accelerated inference engine designed for interacting with RWKV recurrent neural network language models. It provides a self-hosted web chat interface and a specialized client for generating human-like text using a linear-complexity architecture. The project utilizes a GPU-accelerated backend that employs custom CUDA kernels and dynamic model format conversion to increase processing speed and reduce memory overhead. It manages conversation history through state-based context management, updating a fixed-size hidden state to maintain a constant memor

This is a cross-platform framework for building, training, and deploying custom machine learning models within the .NET ecosystem. It provides a predictive modeling engine for classification, regression, and forecasting tasks, alongside an inference runtime to generate predictions across different hardware architectures. The framework includes a gradient boosting library and supports interoperability with external models via a standardized open format. It features tools for prediction explainability, allowing the analysis of feature importance to debug model behavior and identify bias. The p

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

Flashlight este o bibliotecă C++ de machine learning și un framework de deep learning conceput pentru construirea și antrenarea rețelelor neuronale. Acesta funcționează ca o bibliotecă de manipulare a tensorilor și un motor de diferențiere automată care urmărește operațiunile pentru a calcula gradienții prin backpropagation pentru optimizarea modelului. Proiectul se distinge prin rolul său de framework de antrenare distribuită, utilizând sincronizarea gradienților all-reduce și medii distribuite pentru a scala workload-urile de machine learning pe mai multe noduri și dispozitive. Dispune de o interfață de memorie agnostică față de backend și gestionare bazată pe RAII pentru a decupla operațiunile cu tensori de hardware-ul fizic. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția de arhitecturi de rețele neuronale cu straturi convoluționale, liniare și recurente. Oferă utilitare extinse pentru algebră tensorială, gestionarea și batching-ul seturilor de date, serializare binară versionată pentru stările modelelor și instrumente de monitorizare pentru urmărirea metricilor de antrenare și a utilizării memoriei.

statsforecast este o bibliotecă de prognoză statistică a seriilor temporale de înaltă performanță, concepută pentru a genera prognoze punctuale și intervale de predicție. Funcționează ca un framework distribuit de serii temporale care utilizează un motor de prognoză bazat pe C și un selector automat de modele pentru a identifica și potrivi modelul statistic optim pentru fiecare serie unică dintr-un set de date. Sistemul include, de asemenea, un detector de anomalii pentru serii temporale pentru a identifica punctele de date neobișnuite prin compararea valorilor observate cu intervalele de prognoză probabilistice. Proiectul se distinge prin capacitatea sa de a gestiona prognoza paralelă la scară masivă pentru milioane de serii individuale. Realizează acest lucru printr-un framework de calcul distribuit, execuție paralelă multi-core și kernel-uri C compilate care accelerează logica de bază ARIMA și de netezire exponențială. Sistemul optimizează în continuare procesarea la scară largă folosind un layout de date în format lung și un pipeline de date cu evaluare leneșă (lazy-evaluation) pentru a reduce overhead-ul de memorie. Biblioteca oferă o suită cuprinzătoare de modele, inclusiv AutoARIMA, diverse metode de netezire exponențială pentru cererea intermitentă sau sezonieră, descompunerea Theta și modelarea volatilității GARCH pentru riscul financiar. Acoperă domenii mai largi de capabilități, cum ar fi prognoza multivariată cu variabile exogene, descompunerea seriilor temporale și evaluarea modelelor prin cross-validare istorică și analiză sliding window. Biblioteca se integrează cu structuri de date de înaltă performanță precum Polars și oferă utilitare pentru a servi modelele salvate ca endpoint-uri REST pentru predicții accesibile prin rețea.

Contiki is an operating system designed for resource-constrained embedded devices and the Internet of Things. It provides a lightweight, event-driven kernel that enables multitasking and low-power wireless network connectivity on hardware with extremely limited memory and processing power. The system distinguishes itself through a stackless threading model that allows for a blocking-style programming interface while maintaining a minimal memory footprint. It supports dynamic module and firmware management, enabling the loading and linking of relocatable binary code at runtime to update applic