3 Repos
Awesome GitHub RepositoriesDeterministic Token Sampling Kernels
GPU kernels that sample token indices from logits or probability distributions deterministically.
Distinct from Adaptive Probability Sampling: No candidate covers deterministic token sampling from logits; existing candidates focus on adaptive or distribution-based sampling.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Deterministic Token Sampling Kernels. Refine with filters or upvote what's useful.
Awesome Deterministic Token Sampling Kernels GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- mistralai/mistral-src
mistralai/mistral-src
10,821Auf GitHub ansehenDieses Projekt ist eine Inference-Bibliothek und ein Framework für Large Language Models, das darauf ausgelegt ist, Modelle für Textgenerierung, Problemlösung und Coding-Assistenz auszuführen. Es enthält ein multimodales Framework für die Verarbeitung kombinierter Bild- und Texteingaben sowie eine Tool-Use-Implementierung, die die Ausführung externer Funktionen basierend auf Modell-Reasoning ermöglicht. Das System verfügt über eine verteilte GPU-Inference-Engine, die große Modell-Workloads auf mehrere Grafikprozessoren verteilt, um die Verarbeitungsgeschwindigkeit zu erhöhen und Speicheranforderungen zu erfüllen. Es bietet zudem containerisiertes Modell-Deployment durch vorverpackte Images und Abhängigkeiten für das Serving von Inference-Engines in isolierten Umgebungen. Die Bibliothek deckt eine Reihe von Funktionen ab, einschließlich multimodaler Eingabeanalyse, Integration von Function-Calling und Fill-in-the-Middle-Coding zur Vorhersage fehlender Code-Segmente. Zudem unterstützt sie interaktiven Modell-Chat via Command-Line-Interface für die Aufrechterhaltung von Konversationssitzungen.
Selects tokens from a probability distribution using temperature and top-p filtering.
Jupyter Notebook - flashinfer-ai/flashinfer
flashinfer-ai/flashinfer
4,996Auf GitHub ansehenFlashInfer is a library of high-performance GPU kernels purpose-built for accelerating large language model inference. It provides optimized implementations for attention operations (including flash attention, page attention, multi-head latent attention, and cascade attention) using paged key-value caches, fused kernel composition, and just-in-time compilation. The library also includes specialized kernels for mixture-of-experts layers, block-scaled low-precision quantization (FP8, FP4), and distributed collective communication. What distinguishes FlashInfer is its fused all-reduce communicat
Provides deterministic and batched token sampling from logits on GPU.
Pythonattentioncudadistributed-inference - yandex/yalm-100b
yandex/YaLM-100B
3,759Auf GitHub ansehenYaLM-100B is a large language model and open-weights AI model designed for generating and processing natural language text. It functions as a multilingual text generator optimized for producing and understanding human language content specifically in English and Russian. The model is built for large scale language modeling and open source AI research, providing a foundation for text-based machine learning tasks. It utilizes a decoder-only transformer architecture with a multilingual embedding space to map English and Russian text into a shared vector space. Its broader capabilities cover nat
Employs probability distribution-based sampling and greedy selection to determine the final output tokens.
Python
