2 Repos
Awesome GitHub RepositoriesInference Batching
Techniques for processing multiple model inference requests simultaneously to increase throughput.
Distinct from Batch Request Processing: Shortlist candidates focus on general API or async request processing, not LLM inference batching.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Inference Batching. Refine with filters or upvote what's useful.
Awesome Inference Batching GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- skyzh/tiny-llm
skyzh/tiny-llm
4,304Auf GitHub ansehentiny-llm ist eine Inferenz-Engine für große Sprachmodelle und eine Transformer-Modell-Implementierung. Sie dient als Laufzeitumgebung für quantisierte Modelle und als Paged-Key-Value-Cache-Manager und bietet einen spezialisierten Inferenz-Stack, der für Apple Silicon optimiert ist. Das System zeichnet sich durch High-Throughput-Ausführungstechniken aus, einschließlich Continuous Batching und Paged Attention. Es nutzt ein Paged-Memory-System, um Fragmentierung während der Token-Generierung zu eliminieren, und verwendet On-the-Fly-Dequantisierung komprimierter Gewichte, um den Speicherbedarf während der Matrixmultiplikation zu reduzieren. Das Projekt deckt ein breites Spektrum an Modellarchitektur- und Performance-Funktionen ab, wie Mixture-of-Experts-Routing, Grouped Query Attention und Flash Attention. Es umfasst Unterstützung für fortgeschrittene Decoding-Logik, einschließlich Greedy Decoding und Sampling via Temperature, Top-K- und Top-P-Methoden. Die Implementierung ist in Python geschrieben und enthält benutzerdefinierte Low-Level-Kernel zur Beschleunigung der Tensor-Verarbeitung auf der Hardware.
Executes inference for multiple prompts in a single pass to maximize total throughput.
Pythoncourselarge-language-modelllm - open-mmlab/mmpretrain
open-mmlab/mmpretrain
3,842Auf GitHub ansehenmmpretrain is a modular PyTorch computer vision framework designed for developing, training, and benchmarking deep learning architectures. It serves as a comprehensive toolkit for vision tasks, providing a specialized platform for multimodal machine learning and self-supervised learning. The project features a computer vision model zoo containing architectural definitions and pre-trained weights for backbones such as ViT, ConvNeXt, and Swin Transformer. It distinguishes itself through a dedicated self-supervised learning toolkit that implements algorithms like MAE and DINO to train models wit
Supports processing multiple model inference requests simultaneously using batch processing to maximize hardware throughput.
Pythonbeitclipconstrastive-learning
