Awesome GitHub RepositoriesQuantized Fine-Tuning Frameworks

This project is a quantized fine-tuning framework for large language models. It implements a low-rank adaptation library and a four-bit quantizer to reduce the GPU memory requirements needed to train large models. The framework utilizes four-bit quantization and low-rank adapters to enable model training on consumer-grade hardware. It further reduces the memory footprint through double quantization and a paged optimizer that offloads states to system RAM. The system supports distributed training across multiple GPUs to handle larger parameter scales and includes utilities for custom dataset

h2o-llmstudio ist ein Framework für das Training von Sprachmodellen, das eine No-Code-Grafikschnittstelle für das Fine-Tuning großer Sprachmodelle auf benutzerdefinierten Datensätzen bietet. Es fungiert als spezialisiertes Tool für die Verwaltung des Trainings-Lebenszyklus, von der Konfiguration der Hyperparameter bis zur Überwachung von Leistungsmetriken. Das Projekt zeichnet sich durch einen Multi-GPU-Trainings-Orchestrator aus, der Workloads über Datenparallelverarbeitung verteilt, sowie durch ein Low-Rank-Adaptation-Tool für speichereffizientes Fine-Tuning. Es enthält zudem ein Modell-Evaluierungs-Dashboard mit einer interaktiven Chat-Schnittstelle, um die Konversationsleistung und Antwortqualität zu verifizieren. Die Plattform deckt eine breite Funktionsfläche ab, einschließlich Datensatzvorbereitung mit Schema-Mapping, Modell-Quantisierung zur Reduzierung des Speicherbedarfs und Experiment-Management für den Vergleich von Trainingsläufen. Sie bietet zudem Dienstprogramme für den lokalen Modell-Export und die Veröffentlichung in Community-Modell-Hubs. Das System enthält eine Befehlszeilenschnittstelle zum Auslösen von Experimenten und zur Verwaltung von Ausgabedateien innerhalb automatisierter Workflows.

Dieses Framework bietet ein Toolkit für das Fine-Tuning großer Sprachmodelle durch die Kombination von verteilter Datenparallelität mit Parameter-Sharding und Quantisierungstechniken. Es wurde entwickelt, um das Training massiver neuronaler Netze über mehrere Grafikprozessoren hinweg zu skalieren und so die Ausführung von Modellen zu ermöglichen, die die Speicherkapazität einzelner Hardwareeinheiten übersteigen. Die Bibliothek zeichnet sich durch die Integration von Low-Rank-Adaption mit speichereffizientem Laden von Gewichten und quantisierungsbewusstem Parameter-Sharding aus. Durch die Initialisierung von Modellgewichten direkt auf dem Grafikprozessor und die Anwendung einer granularen, schichtweisen Umhüllung minimiert das Framework Speicherspitzen und reduziert den Kommunikationsaufwand während der verteilten Setup- und Trainingsphasen. Das System unterstützt das Training benutzerdefinierter Transformer-Architekturen durch flexible Wrapping-Richtlinien für Attention- und Multilayer-Perceptron-Schichten. Es optimiert die Ressourcennutzung weiter, indem es die numerische Präzision während der Berechnung dynamisch anpasst und so Trainingsstabilität gegen verfügbaren Hardwarespeicher abwägt. Das Projekt wird als Sammlung von Dienstprogrammen und Skripten vertrieben, die für den Einsatz in verteilten Rechenumgebungen vorgesehen sind.