AnswerDotAI/fsdp_qlora
Fsdp Qlora
Dieses Framework bietet ein Toolkit für das Fine-Tuning großer Sprachmodelle durch die Kombination von verteilter Datenparallelität mit Parameter-Sharding und Quantisierungstechniken. Es wurde entwickelt, um das Training massiver neuronaler Netze über mehrere Grafikprozessoren hinweg zu skalieren und so die Ausführung von Modellen zu ermöglichen, die die Speicherkapazität einzelner Hardwareeinheiten übersteigen.
Die Bibliothek zeichnet sich durch die Integration von Low-Rank-Adaption mit speichereffizientem Laden von Gewichten und quantisierungsbewusstem Parameter-Sharding aus. Durch die Initialisierung von Modellgewichten direkt auf dem Grafikprozessor und die Anwendung einer granularen, schichtweisen Umhüllung minimiert das Framework Speicherspitzen und reduziert den Kommunikationsaufwand während der verteilten Setup- und Trainingsphasen.
Das System unterstützt das Training benutzerdefinierter Transformer-Architekturen durch flexible Wrapping-Richtlinien für Attention- und Multilayer-Perceptron-Schichten. Es optimiert die Ressourcennutzung weiter, indem es die numerische Präzision während der Berechnung dynamisch anpasst und so Trainingsstabilität gegen verfügbaren Hardwarespeicher abwägt. Das Projekt wird als Sammlung von Dienstprogrammen und Skripten vertrieben, die für den Einsatz in verteilten Rechenumgebungen vorgesehen sind.
Features
- Quantized Fine-Tuning Frameworks - Provides a toolkit for fine-tuning large language models using memory-efficient quantization and sharded data parallelism.
- Large-Scale Model Training - Scales the training process across multiple graphics processors by sharding model parameters to handle massive architectures.
- Large Language Model Fine-Tuning Frameworks - Combines memory-efficient quantization with distributed data parallelism to train massive models while reducing hardware resource requirements.
- Fully Sharded Data Parallelism - Distributes model parameters, gradients, and optimizer states across multiple graphics processors to minimize memory consumption per device.
- QLoRA Adapters - Applies low-rank adaptation and quantization to reduce the memory footprint of large model training.
- Distributed Memory Optimizers - Partitions memory-intensive optimizer states across multiple devices to enable training of models exceeding single-GPU capacity.
- Distributed Training Frameworks - Scales model training across multiple nodes by sharding parameters, gradients, and optimizer states efficiently.
- Automatic Precision Casting - Dynamically switches between numerical precision formats during computation to balance training stability and hardware throughput.
- Distributed Mixed-Precision Training - Adjusts numerical precision levels between high-accuracy and high-speed modes to balance training stability against available hardware memory.
- Memory-Efficient Deep Learning - Reduces the hardware footprint of training large neural networks by applying quantization techniques to lower memory usage.
- Quantized Model Loading - Initializes model weights directly within graphics processor memory to prevent large memory spikes during distributed setup.
- Weight Sharding - Compresses model weights into lower precision formats before distributing them across the cluster to reduce communication overhead.
