Awesome GitHub RepositoriesTensor Memory Mapping

This project provides Rust bindings for the TensorFlow C API, serving as a tensor computation interface and machine learning library. It enables the construction and execution of machine learning models and neural networks by bridging a systems language to high-performance backends. The framework supports GPU-accelerated computing to increase the speed of model training and inference by offloading mathematical operations to graphics processing units. It offers both graph-based computation for defining static network architectures and an eager execution mode for immediate operation calls durin

AutoGPTQ est un toolkit de compression de modèles et un framework de quantification post-entraînement conçu pour réduire l'empreinte mémoire des grands modèles de langage. Il utilise l'algorithme GPTQ pour compresser les poids des réseaux de neurones, abaissant les exigences matérielles et réduisant l'utilisation de la VRAM. Le projet sert d'accélérateur d'inférence en fournissant des noyaux optimisés qui augmentent la vitesse de génération de tokens. Il propose une extensibilité de l'architecture des modèles, permettant d'ajouter des capacités de quantification à de nouvelles structures de modèles via des modèles configurables. Le framework couvre un pipeline de quantification complet, incluant la compression de poids couche par couche, l'estimation d'échelle basée sur la calibration et le mappage mémoire spécifique à la précision. Il inclut également des systèmes pour l'évaluation de la performance des modèles afin de mesurer l'impact de la quantification sur la précision à travers des tâches de langage et de résumé.