1 Repo
Awesome GitHub RepositoriesGenerative Text Decoding
The process of producing human-readable text sequences from prompts using prefill and decoding loops.
Distinguishing note: Existing candidates are for specific dialogue generators or TTS; this is the general LLM text generation loop.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Generative Text Decoding. Refine with filters or upvote what's useful.
Awesome Generative Text Decoding GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- skyzh/tiny-llm
skyzh/tiny-llm
4,304Auf GitHub ansehentiny-llm ist eine Inferenz-Engine für große Sprachmodelle und eine Transformer-Modell-Implementierung. Sie dient als Laufzeitumgebung für quantisierte Modelle und als Paged-Key-Value-Cache-Manager und bietet einen spezialisierten Inferenz-Stack, der für Apple Silicon optimiert ist. Das System zeichnet sich durch High-Throughput-Ausführungstechniken aus, einschließlich Continuous Batching und Paged Attention. Es nutzt ein Paged-Memory-System, um Fragmentierung während der Token-Generierung zu eliminieren, und verwendet On-the-Fly-Dequantisierung komprimierter Gewichte, um den Speicherbedarf während der Matrixmultiplikation zu reduzieren. Das Projekt deckt ein breites Spektrum an Modellarchitektur- und Performance-Funktionen ab, wie Mixture-of-Experts-Routing, Grouped Query Attention und Flash Attention. Es umfasst Unterstützung für fortgeschrittene Decoding-Logik, einschließlich Greedy Decoding und Sampling via Temperature, Top-K- und Top-P-Methoden. Die Implementierung ist in Python geschrieben und enthält benutzerdefinierte Low-Level-Kernel zur Beschleunigung der Tensor-Verarbeitung auf der Hardware.
Produces sequences of tokens from a prompt using a prefill stage and a decoding loop.
Pythoncourselarge-language-modelllm
