10 रिपॉजिटरी
Awesome GitHub RepositoriesFused GPU Kernel Composition
Combines multiple sequential operations such as normalization and all-reduce into a single GPU kernel to reduce memory traffic.
Distinct from Kernel Composition Frameworks: Distinct from Kernel Composition Frameworks: focuses on the specific technique of fusing operations into a single kernel rather than the broader framework for composing kernels.
Explore 10 awesome GitHub repositories matching artificial intelligence & ml · Fused GPU Kernel Composition. Refine with filters or upvote what's useful.
Awesome Fused GPU Kernel Composition GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- facebookresearch/xformers
facebookresearch/xformers
10,506GitHub पर देखेंxformers is a collection of specialized toolsets for fused GPU operators, sparse attention mechanisms, modular transformer components, and performance benchmarking. It provides a library of optimized and interoperable building blocks used to construct and experiment with transformer architectures. The project features a fused CUDA operator library that combines common layers into single GPU operations to increase throughput. It includes a sparse attention framework and memory-efficient attention kernels that utilize tiling strategies and structured sparsity patterns to reduce computational ov
Provides a library of pre-optimized fused GPU kernels combining common layers like softmax and linear operations.
Python - nvidia/apex
NVIDIA/apex
8,972GitHub पर देखेंApex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too
Combines multiple mathematical operations into single GPU kernels to reduce memory traffic and increase throughput.
Python - fla-org/flash-linear-attention
fla-org/flash-linear-attention
5,248GitHub पर देखेंFlash Linear Attention is a training framework and inference engine for sequence models that use linear attention and state space mechanisms, designed to process long contexts with reduced memory and compute overhead. It provides hardware-optimized token mixing layers and fused CUDA kernels that minimize memory bandwidth and launch overhead across different GPU architectures, and includes a causal inference engine that generates text token-by-token using cached hidden states for efficient autoregressive decoding. The project supports building hybrid sequence models that interleave standard at
Provides fused CUDA kernels that combine multiple neural operations into single GPU kernels to reduce memory bandwidth and launch overhead.
Pythonlarge-language-modelsmachine-learning-systemsnatural-language-processing - flashinfer-ai/flashinfer
flashinfer-ai/flashinfer
4,996GitHub पर देखेंFlashInfer is a library of high-performance GPU kernels purpose-built for accelerating large language model inference. It provides optimized implementations for attention operations (including flash attention, page attention, multi-head latent attention, and cascade attention) using paged key-value caches, fused kernel composition, and just-in-time compilation. The library also includes specialized kernels for mixture-of-experts layers, block-scaled low-precision quantization (FP8, FP4), and distributed collective communication. What distinguishes FlashInfer is its fused all-reduce communicat
Ships fused GPU kernels that combine normalization, all-reduce, and quantization into single operations to reduce memory bandwidth and latency.
Pythonattentioncudadistributed-inference - facebookincubator/aitemplate
facebookincubator/AITemplate
4,720GitHub पर देखेंAITemplate एक अहेड-ऑफ़-टाइम डीप लर्निंग कंपाइलर है जो PyTorch न्यूरल नेटवर्क को स्टैंडअलोन C++ सोर्स कोड में अनुवादित करता है। यह PyTorch-टू-C++ कंपाइलर और GPU कर्नल फ़्यूज़न इंजन के रूप में कार्य करता है, जो Python इंटरप्रेटर या डीप लर्निंग फ्रेमवर्क रनटाइम की आवश्यकता के बिना इन्फ़्रेंस चलाने वाले स्व-निहित निष्पादन योग्य बाइनरीज़ का उत्पादन करता है। यह प्रोजेक्ट विशेष रूप से NVIDIA TensorCores और AMD MatrixCores के लिए अनुकूलित CUDA और HIP C++ कोड उत्पन्न करता है। यह एक ऐसे सिस्टम के माध्यम से हाफ-प्रिसिजन फ़्लोटिंग-पॉइंट ऑपरेशंस के लिए थ्रूपुट को अधिकतम करने पर केंद्रित है जो मेमोरी ओवरहेड और विलंबता को कम करने के लिए कई न्यूरल नेटवर्क ऑपरेटरों को एकल GPU कर्नल्स में जोड़ता है। टूलसेट GPU इन्फ़्रेंस त्वरण और उच्च प्रदर्शन कंप्यूटिंग को कवर करता है, जो कस्टम GPU ऑपरेटर विकास और हार्डवेयर-विशिष्ट टेम्प्लेट के लिए ग्राफ़ नोड्स की मैपिंग के लिए क्षमताएं प्रदान करता है। इसमें इन्फ़्रेंस प्रदर्शन को बेंचमार्क करने और मॉडल ऑप्टिमाइज़ेशन को विज़ुअलाइज़ करने के लिए यूटिलिटी सपोर्ट शामिल है।
Combines multiple neural network operators into single GPU kernels to minimize memory overhead and latency.
Python - tencent/tnn
Tencent/TNN
4,641GitHub पर देखेंTNN एक डीप लर्निंग इन्फरेंस फ्रेमवर्क है जिसे मोबाइल, डेस्कटॉप और सर्वर हार्डवेयर पर प्री-ट्रेंड न्यूरल नेटवर्क को निष्पादित करने के लिए डिज़ाइन किया गया है। यह एक हार्डवेयर-त्वरित रनटाइम और मॉडल कम्प्रेशन टूलकिट के रूप में कार्य करता है, जो विविध वातावरणों में मॉडल तैनात करने के लिए एक एकीकृत इंटरफ़ेस प्रदान करता है। इस फ्रेमवर्क में विभिन्न ट्रेनिंग फ्रेमवर्क से मॉडल को एक मानकीकृत आंतरिक फॉर्मेट में बदलने के लिए एक ONNX मॉडल कन्वर्टर शामिल है। यह मॉडल कम्प्रेशन टूल—जिसमें वेट क्वांटाइज़ेशन और स्टेटिक-कोड प्रूनिंग शामिल है—और एक मेमोरी मैनेजमेंट सिस्टम के संयोजन के माध्यम से खुद को अलग करता है जो RAM उपयोग को कम करने के लिए गैर-आश्रित नोड्स के बीच बफर का पुन: उपयोग करता है। यह सिस्टम मेमोरी एक्सेस को कम करने के लिए ऑपरेटर फ्यूजन के माध्यम से प्रदर्शन को अनुकूलित करता है और विशेष प्रोसेसर और GPU का लाभ उठाने के लिए प्लेटफ़ॉर्म-विशिष्ट बैकएंड का उपयोग करता है। यह लो-प्रिसिजन गणना और हार्डवेयर-विशिष्ट ट्यूनिंग के माध्यम से निष्पादन गति को और बढ़ाता है।
Combines multiple neural network layers into single kernels to minimize memory access and startup overhead.
C++ - nvlabs/tiny-cuda-nn
NVlabs/tiny-cuda-nn
4,418GitHub पर देखेंThis project is a high-performance C++ and CUDA neural network library designed for fast training and inference of small networks on NVIDIA GPUs. It serves as a specialized backend for neural radiance fields and coordinate-based networks, providing a fused GPU kernel library and a hash grid encoder for transforming raw input dimensions into high-dimensional representations. The library distinguishes itself through the use of C++ template metaprogramming and fused-kernel execution, which merge neural network layers into single GPU device functions to eliminate memory bottlenecks. It leverages
Implements fused GPU kernels that merge neural network layers into single device functions for reduced memory traffic.
C++cudadeep-learninggpu - opennmt/ctranslate2
OpenNMT/CTranslate2
4,319GitHub पर देखेंCTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di
Combines adjacent neural network layers into single fused operations to reduce memory bandwidth and kernel launch overhead.
C++avxavx2cpp - allenai/open-instruct
allenai/open-instruct
3,586GitHub पर देखेंOpen-Instruct is a distributed training and instruction tuning framework for large language models. It functions as a coordinator for supervised fine-tuning, reinforcement learning from human feedback pipelines, and tool-use training, providing specialized roles for dataset curation and model alignment. The project distinguishes itself through a high-performance training architecture that utilizes actor-based distributed coordination and hybrid sharding to manage large GPU clusters. It implements advanced alignment techniques including direct preference optimization, group relative policy opt
Implements fused GPU kernels to maximize throughput during supervised fine-tuning and reward model training.
Python - nunchaku-ai/comfyui-nunchaku
nunchaku-ai/ComfyUI-nunchaku
2,901GitHub पर देखेंComfyUI-nunchaku is a 4-bit diffusion inference engine and a set of nodes for running low-precision quantized diffusion models within ComfyUI visual workflows. It provides a backend that reduces memory overhead and increases generation speed for transformer models. The project includes specialized tools for identity-preserving generation and an image-to-image guidance toolkit that uses depth maps and reference images. It also features a multimodal visual question answering implementation and a utility for merging multiple quantized model files into single unified files. The engine covers a b
Accelerates inference by combining projections and rotations into single optimized kernels within transformer layers.
Pythoncomfyuidiffusionflux
