Awesome GitHub RepositoriesMemory-Efficient Deep Learning

ColossalAI is a distributed deep learning framework designed for training and deploying massive artificial intelligence models across clusters of hardware accelerators. It functions as a parallel computing engine that partitions model workloads and data across multiple processors to maximize memory efficiency and throughput. The platform distinguishes itself through a comprehensive suite of parallelization strategies, including multi-dimensional tensor parallelism and pipeline-based model parallelism, which segment neural network layers and stages across devices. To support large-scale genera

RWKV-LM is a framework for training and deploying recurrent language models. It utilizes a linear-time recurrent architecture that enables text generation and sequence processing with constant memory and time complexity, avoiding the quadratic scaling of traditional attention caches. The project implements a parallelizable training mechanism that allows recurrent models to be trained using global operations while maintaining cache-free inference. It includes state-tuning capabilities to optimize the initial hidden state and utilizes adaptive probability-mass sampling to control token diversit

xformers is a collection of specialized toolsets for fused GPU operators, sparse attention mechanisms, modular transformer components, and performance benchmarking. It provides a library of optimized and interoperable building blocks used to construct and experiment with transformer architectures. The project features a fused CUDA operator library that combines common layers into single GPU operations to increase throughput. It includes a sparse attention framework and memory-efficient attention kernels that utilize tiling strategies and structured sparsity patterns to reduce computational ov

TNN ist ein Deep-Learning-Inferenz-Framework, das für die Ausführung vortrainierter neuronaler Netzwerke auf Mobil-, Desktop- und Server-Hardware entwickelt wurde. Es fungiert als hardwarebeschleunigte Laufzeitumgebung und Toolkit zur Modellkomprimierung und bietet eine einheitliche Schnittstelle für die Bereitstellung von Modellen in verschiedenen Umgebungen. Das Framework enthält einen ONNX-Modellkonverter, um Modelle aus verschiedenen Trainings-Frameworks in ein standardisiertes internes Format zu transformieren. Es zeichnet sich durch eine Kombination von Modellkomprimierungstools aus – einschließlich Gewichtungsquantisierung und Static-Code-Pruning – sowie ein Speichermanagementsystem, das Puffer zwischen nicht-abhängigen Knoten wiederverwendet, um den RAM-Verbrauch zu senken. Das System optimiert die Leistung durch Operator-Fusion, um Speicherzugriffe zu minimieren, und nutzt plattformspezifische Backends, um spezialisierte Prozessoren und GPUs zu nutzen. Es steigert die Ausführungsgeschwindigkeit weiter durch Berechnungen mit niedriger Präzision und hardware-spezifische Optimierungen.

Efficient-AI-Backbones ist eine leichtgewichtige Bibliothek für neuronale Netze und ein Zoo für Computer-Vision-Modelle. Sie bietet eine Sammlung optimierter Deep-Learning-Backbones, die darauf ausgelegt sind, den Rechenaufwand und die Speichernutzung für Aufgaben der künstlichen Intelligenz zu minimieren. Das Projekt implementiert spezialisierte Architekturen wie GhostNet und MLP, um die Verarbeitungsanforderungen zu reduzieren. Es zeichnet sich durch ein modulares Backbone-Design und die Verteilung vortrainierter Gewichte aus, um die Entwicklung und Bereitstellung von Vision-Modellen zu beschleunigen. Die Bibliothek deckt effizientes Design neuronaler Netze und KI-Optimierung für Edge-Geräte ab. Ihre Fähigkeiten umfassen die Implementierung leichtgewichtiger Architekturen und die Bereitstellung vortrainierter Backbones für Computer-Vision-Anwendungen.

llm-compressor is a quantization toolkit and post-training library designed to reduce the memory footprint and size of large language models. It provides a framework for compressing models using weight and activation quantization to enable more efficient deployment. The project distinguishes itself through a distributed quantization framework that utilizes data-parallel processing and disk-based weight offloading to handle massive model checkpoints that exceed available system memory. It includes specialized compressors for diverse architectures, including Mixture-of-Experts, Vision-Language,

Dieses Framework bietet ein Toolkit für das Fine-Tuning großer Sprachmodelle durch die Kombination von verteilter Datenparallelität mit Parameter-Sharding und Quantisierungstechniken. Es wurde entwickelt, um das Training massiver neuronaler Netze über mehrere Grafikprozessoren hinweg zu skalieren und so die Ausführung von Modellen zu ermöglichen, die die Speicherkapazität einzelner Hardwareeinheiten übersteigen. Die Bibliothek zeichnet sich durch die Integration von Low-Rank-Adaption mit speichereffizientem Laden von Gewichten und quantisierungsbewusstem Parameter-Sharding aus. Durch die Initialisierung von Modellgewichten direkt auf dem Grafikprozessor und die Anwendung einer granularen, schichtweisen Umhüllung minimiert das Framework Speicherspitzen und reduziert den Kommunikationsaufwand während der verteilten Setup- und Trainingsphasen. Das System unterstützt das Training benutzerdefinierter Transformer-Architekturen durch flexible Wrapping-Richtlinien für Attention- und Multilayer-Perceptron-Schichten. Es optimiert die Ressourcennutzung weiter, indem es die numerische Präzision während der Berechnung dynamisch anpasst und so Trainingsstabilität gegen verfügbaren Hardwarespeicher abwägt. Das Projekt wird als Sammlung von Dienstprogrammen und Skripten vertrieben, die für den Einsatz in verteilten Rechenumgebungen vorgesehen sind.

Segment Anything Fast is a high-performance computer vision inference engine and image segmentation framework built for PyTorch. It provides a specialized environment for automated object isolation and mask generation, designed to process large-scale visual datasets with increased throughput. The project distinguishes itself through a suite of system-level optimization strategies that accelerate deep learning model performance. By utilizing graph-based model compilation, just-in-time kernel fusion, and hardware-aware quantization, it reduces computational latency and memory footprint. These t