turboderp-org/exllamav2
Exllamav2
exllamav2 este un motor de inferență și framework de înaltă performanță pentru executarea modelelor de limbaj mari local pe GPU-uri de clasă consumer. Oferă un sistem complet pentru deployment-ul local al modelelor, incluzând un motor de inferență specializat și instrumente pentru cuantizarea modelelor.
Proiectul dispune de un framework de inferență multi-GPU care distribuie sarcinile de lucru pe mai multe plăci grafice pentru a rula modele care depășesc capacitatea de memorie a unui singur dispozitiv. Include un cuantizator de modele GPU capabil să convertească modelele în formate de precizie mixtă între 2 și 8 biți pentru a echilibra utilizarea memoriei și acuratețea.
Motorul suportă generarea de text cu throughput ridicat prin inferență paralelă bazată pe batch-uri și streaming asincron de output. Aceste capabilități sunt susținute de kernel-uri CUDA personalizate și deduplicarea cache-ului pentru a optimiza utilizarea hardware-ului și a reduce latența în timpul generării de token-uri.
Features
- Local Model Execution - Enables high-performance large language model inference on consumer-grade local hardware.
- Local Inference Engines - Provides a high-performance local inference engine optimized for consumer-grade GPUs.
- Multi-GPU Inference Runtimes - Provides a framework for distributing large language model workloads across multiple GPUs to bypass memory limits.
- Mixed-Precision Quantization - Balances model size and accuracy using mixed-precision quantization between two and eight bits.
- Mixed-Precision Quantizers - Provides a GPU model quantizer for converting models into flexible mixed-precision formats between 2 and 8 bits.
- Multi-GPU Distribution - Splits large model layers across multiple graphics cards to execute models exceeding single-device memory.
- Flexible Bitrate Quantization - Includes a utility to convert models into mixed quantization levels between 2 and 8 bits.
- Batch Generation - Provides dynamic batch text generation to maximize throughput via smart caching and deduplication.
- Text Generation Engines - Implements a high-performance text generation engine with smart caching for simultaneous prompt completions.
- Inference Kernels - Uses hand-optimized custom CUDA kernels to accelerate the mathematical operations required for fast local inference.
- Inference Batching - Executes multiple text completion prompts simultaneously using batch-based parallel inference to maximize GPU utilization.
- Multi-GPU Sharding - Manages GPU memory by splitting model workloads across multiple graphics cards.
- KV Cache Management - Increases throughput by sharing common prompt prefixes in memory via KV cache deduplication.
- High-Throughput Text Inference - Optimizes text generation for high volume and throughput using smart caching and deduplication.
- Real-Time Text Streaming - Sends generated model output incrementally via asynchronous processing for real-time user interaction.
- Asynchronous Token Streaming - Processes model tokens in the background and streams them incrementally to reduce user-perceived latency.
- Incremental Response Streaming - Implements incremental response streaming to provide immediate user feedback before the full sequence completes.
- Model Quantization - Listed in the “Model Quantization” section of the Llm Course awesome list.
