Awesome GitHub RepositoriesGPU Acceleration Libraries

This project is a high-performance numerical computing library designed for large-scale scientific and machine learning workloads. It functions as an automatic differentiation framework and a just-in-time compilation engine, transforming high-level Python code into optimized machine instructions. By enforcing pure functional programming patterns and immutable array semantics, the library ensures that mathematical functions remain compatible with automated graph transformations and symbolic differentiation. The platform distinguishes itself through its distributed array computing capabilities,

XGBoost is a distributed machine learning library for implementing scalable gradient boosting decision trees used for regression, classification, and ranking. It functions as a predictive model framework and a cross-language toolkit, providing a core implementation with native bindings for Python, R, Java, Scala, and C++. The system is designed as a GPU-accelerated library that utilizes CUDA and NCCL to speed up the training of decision tree ensembles. It operates as a distributed framework capable of scaling training and prediction across multi-node clusters and GPU environments to process m

NVIDIA Docker is a container runtime wrapper that enables the use of host-level graphics processing units within isolated container environments. It functions as a containerized GPU orchestrator, mapping physical hardware resources into virtualized environments to support high-performance computing and machine learning workloads. The project provides a toolkit that facilitates integration between containerized applications and host-level graphics hardware. By utilizing a pre-start hook to intercept container creation, the runtime injects necessary device drivers and libraries into the isolate

This library is a JavaScript framework for general-purpose computing on graphics processing units. It enables the execution of parallel mathematical operations directly within the browser by offloading data-heavy calculations to graphics hardware. The project functions as a web-based math accelerator that converts standard JavaScript functions into shader code for execution on the graphics processor. It provides a unified interface that detects available graphics APIs and manages data transfer between system and graphics memory. To ensure compatibility across diverse environments, the library

Dask est un framework de calcul parallèle et un planificateur de tâches distribué conçu pour mettre à l'échelle les flux de travail de science des données Python, des machines uniques aux grands clusters. Il fonctionne comme un gestionnaire de ressources de cluster qui orchestre la logique computationnelle en représentant les tâches et leurs dépendances sous forme de graphes acycliques dirigés. Cette architecture permet au système d'automatiser la distribution des charges de travail sur le matériel disponible tout en gérant des exigences d'exécution complexes. Le projet se distingue par un moteur d'évaluation paresseuse qui diffère les opérations sur les données jusqu'à ce qu'elles soient explicitement demandées, permettant une optimisation globale du graphe et une allocation efficace des ressources. Il intègre le déversement de données conscient de la mémoire pour éviter les plantages du système lors du traitement de jeux de données dépassant la mémoire disponible, et il utilise la fusion de graphes de tâches pour combiner des séquences d'opérations en étapes d'exécution uniques, minimisant la surcharge de planification et la communication entre nœuds. La plateforme fournit une surface de capacités complète pour l'analyse de données à grande échelle, incluant le support pour l'apprentissage automatique distribué, l'intégration du calcul haute performance et le traitement de données parallèle. Elle offre des outils étendus pour la gestion du cycle de vie des clusters, le profilage des performances et la surveillance en temps réel de l'exécution des tâches. Les utilisateurs peuvent déployer ces environnements sur diverses infrastructures, incluant le matériel local, les fournisseurs cloud, les systèmes conteneurisés et les clusters de calcul haute performance.

Cpp-taskflow is a C++ task-parallelism framework and task graph scheduler designed to manage and execute complex dependency graphs of parallel tasks across CPU and GPU hardware. It provides a parallel algorithm library for high-performance implementations of reductions, sorts, pipelines, and iterations. The framework distinguishes itself through its ability to offload heavy computational workloads from a task graph to graphics processors for acceleration. It also includes a task profiling tool and a performance analysis interface for visualizing task execution flow and dependency structures t

CuPy est une bibliothèque de calcul de tableaux CUDA qui implémente une interface compatible avec NumPy pour exécuter des opérations sur tableaux et du calcul numérique sur des GPU NVIDIA. Elle sert de bibliothèque numérique accélérée par GPU et d'implémentation SciPy basée sur CUDA, déchargeant les calculs lourds sur le matériel graphique pour augmenter la vitesse de traitement pour les charges de travail scientifiques et d'ingénierie. La bibliothèque permet l'échange de tenseurs multi-framework, permettant aux tampons de données d'être partagés entre différents frameworks d'apprentissage profond en utilisant des mises en page mémoire standardisées pour éviter les copies mémoire. Elle prend également en charge l'intégration de noyaux GPU personnalisés, permettant aux données de tableaux d'être connectées à des API de bas niveau pour un contrôle précis sur l'exécution matérielle. Globalement, le projet couvre le traitement de tableaux haute performance et les flux de travail de calcul scientifique. Ses capacités incluent l'accélération des calculs de tableaux et la fourniture d'outils pour les calculs numériques à grande échelle.

This is a Glide image transformation library for Android that provides a collection of image processing filters and shapes. It functions as a suite of hardware-accelerated tools for image cropping, artistic filtering, and transformation pipeline management. The project distinguishes itself through an image filter pipeline that allows for sequential transformation chaining, enabling multiple visual effects and color modifications to be applied in a single pass. It utilizes GPU acceleration to implement artistic effects such as pixelation, sketching, and blur. The library covers a broad range

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

PixiEditor is a multi-functional graphics suite that serves as a pixel art editor, a node-based graphics editor, and a vector graphics tool. It functions as a shader-based painting tool and 2D animation software, providing a comprehensive environment for creating raster images and frame-by-frame motion. The project is distinguished by its use of node-based workflows for building complex image transformations, visual effects, and custom digital brush designs. It utilizes a shader-based brush engine and a node graph to define personalized painting tool behaviors and procedural animations. The

GoCV is a computer vision library and Go language binding for OpenCV. It serves as an image processing toolkit and deep learning inference engine, providing programmatic access to a wide range of algorithms for image manipulation, object detection, and video analysis. The project differentiates itself through high-performance native bindings and hardware acceleration. It utilizes a foreign function interface to map Go calls to C++ functions and includes a hardware-agnostic backend dispatch to route neural network tasks to computation engines such as CUDA and OpenVINO. The library covers a br

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Warp is a Python framework that JIT-compiles Python functions into CUDA kernels for GPU-accelerated parallel computation, with built-in automatic differentiation and multi-framework array interoperability. At its core, it provides a GPU kernel compilation system that enables writing and executing custom GPU kernels directly from Python, while supporting automatic gradient computation through those kernels for integration with machine learning pipelines. The framework also includes tile-based cooperative computing, where thread blocks partition into tiles for shared-memory and tensor-core opera

NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha

LiteRT-LM est un framework d'inférence haute performance conçu pour exécuter des grands modèles de langage localement sur du matériel mobile, desktop et IoT. Il sert de runtime de modèle sur appareil qui utilise l'accélération CPU, GPU et NPU pour fournir un traitement à faible latence. Le framework se distingue par sa capacité à traiter des entrées texte, vision et audio via un moteur d'inférence multi-modal unique. Il dispose d'un serveur HTTP local qui émule des endpoints d'API compatibles avec OpenAI et un runtime basé sur WebGPU pour exécuter des modèles directement dans un navigateur web. Pour garantir la fiabilité des sorties, il inclut un générateur de texte contraint qui impose des schémas JSON ou des règles grammaticales sur les réponses du modèle. Le projet offre de larges capacités pour la gestion de conversations stateful, le décodage spéculatif pour augmenter les vitesses de génération de jetons, et une interface d'appel d'outils qui mappe les requêtes du modèle vers des fonctions externes. Il inclut également une intégration spécialisée pour l'écosystème Apple et un plugin dédié pour exécuter des modèles dans Flutter. Les utilisateurs peuvent exécuter des modèles via une interface en ligne de commande ou les intégrer dans des applications via des API natives.

Flash Linear Attention is a training framework and inference engine for sequence models that use linear attention and state space mechanisms, designed to process long contexts with reduced memory and compute overhead. It provides hardware-optimized token mixing layers and fused CUDA kernels that minimize memory bandwidth and launch overhead across different GPU architectures, and includes a causal inference engine that generates text token-by-token using cached hidden states for efficient autoregressive decoding. The project supports building hybrid sequence models that interleave standard at

TileLang is a Python-embedded domain-specific language compiler that JIT-compiles and autotunes GPU kernels. It uses a tile-based DSL, automatic software pipelining, and parallel autotuning to generate optimized GPU kernels at runtime. It supports tensor core operations with Pythonic syntax, automatic memory management, and thread mapping. The compiler searches over tile sizes, thread counts, and scheduling policies, compiling and benchmarking candidates in parallel to find the fastest kernel. It also caches compiled binaries and tuning results to disk for reuse across sessions. TileLang inc

StableSwarmUI est une interface web et un orchestrateur backend pour la génération d'images Stable Diffusion. Il fonctionne comme un générateur d'images GPU distribué et un pipeline d'images IA modulaire, fournissant un contrôleur centralisé pour gérer les requêtes de génération d'images. Le système se distingue par sa capacité à diviser les tâches de génération sur plusieurs processeurs graphiques pour augmenter le débit par lots. Il utilise une interface agnostique au backend pour se connecter à des serveurs locaux, des serveurs distants et des API cloud, et inclut un concepteur de flux de travail visuel basé sur des graphes pour définir des opérations complexes de traitement d'image. La plateforme inclut un système d'extension de plugins dynamique pour ajouter des fonctionnalités personnalisées et des utilitaires automatisés pour le provisionnement des dépendances au niveau du système. Il combine des outils de génération modulaires et des interfaces d'édition rapides avec la capacité de router les charges de travail sur du matériel distribué.