Awesome GitHub RepositoriesTensor Memory Mapping

This project provides Rust bindings for the TensorFlow C API, serving as a tensor computation interface and machine learning library. It enables the construction and execution of machine learning models and neural networks by bridging a systems language to high-performance backends. The framework supports GPU-accelerated computing to increase the speed of model training and inference by offloading mathematical operations to graphics processing units. It offers both graph-based computation for defining static network architectures and an eager execution mode for immediate operation calls durin

AutoGPTQ ist ein Toolkit zur Modellkomprimierung und ein Framework zur Post-Training-Quantisierung, das entwickelt wurde, um den Speicherbedarf großer Sprachmodelle zu reduzieren. Es nutzt den GPTQ-Algorithmus zur Komprimierung neuronaler Netzwerkgewichte, wodurch Hardwareanforderungen gesenkt und die VRAM-Nutzung reduziert werden. Das Projekt dient als Inferenz-Beschleuniger durch die Bereitstellung optimierter Kernels, die die Token-Generierungsgeschwindigkeit erhöhen. Es bietet Erweiterbarkeit der Modellarchitektur, wodurch Quantisierungsfunktionen durch konfigurierbare Muster zu neuen Modellstrukturen hinzugefügt werden können. Das Framework deckt eine umfassende Quantisierungspipeline ab, einschließlich schichtweiser Gewichtskomprimierung, kalibrierungsbasierter Skalenschätzung und präzisionsspezifischem Memory-Mapping. Es enthält zudem Systeme zur Bewertung der Modellperformance, um die Auswirkungen der Quantisierung auf die Genauigkeit bei Sprach- und Zusammenfassungsaufgaben zu messen.