Awesome GitHub RepositoriesWeight Dequantization

tiny-llm est un moteur d'inférence de grands modèles de langage et une implémentation de modèle transformer. Il sert de runtime pour modèles quantifiés et de gestionnaire de cache clé-valeur paginé, fournissant une pile d'inférence spécialisée optimisée pour Apple Silicon. Le système se distingue par des techniques d'exécution à haut débit, incluant le batching continu et l'attention paginée. Il utilise un système de mémoire paginée pour éliminer la fragmentation lors de la génération de jetons et emploie une déquantification à la volée des poids compressés pour réduire l'empreinte mémoire lors de la multiplication matricielle. Le projet couvre un large éventail de capacités d'architecture de modèle et de performance, telles que le routage par mélange d'experts (MoE), l'attention par groupes de requêtes (GQA) et l'attention flash. Il inclut la prise en charge d'une logique de décodage avancée, incluant le décodage glouton (greedy) et l'échantillonnage via des méthodes de température, top-k et top-p. L'implémentation est écrite en Python et inclut des noyaux bas niveau personnalisés pour accélérer le traitement des tenseurs sur le matériel.

ComfyUI-GGUF is a memory optimizer and model loader for ComfyUI that enables the execution of large transformer-based generative models using quantized weights. It provides a system for loading GGUF formatted weights within a node-based diffusion interface to reduce GPU memory consumption. The project includes a quantization tool for converting standard model checkpoints into compressed binary formats and a tensor fixer to restore missing keys and correct architectures in binary model files. These utilities ensure that compressed models remain functional during inference on hardware with limi