Awesome GitHub RepositoriesQuantized Model Loading

BigDL ist ein PyTorch-Beschleunigungsframework und eine Engine für verteilte Inferenz, die für große Sprachmodelle (LLMs) entwickelt wurde. Es bietet ein Toolkit für den Betrieb von Modellen auf Intel-Hardware und integriert Quantisierungswerkzeuge sowie Bibliotheken für parameter-effizientes Fine-Tuning. Das Projekt zeichnet sich durch die Verwendung von Pipeline-Parallelität aus, um Modell-Workloads über mehrere Hardware-Beschleuniger zu verteilen. Es nutzt Low-Bit-Integer-Quantisierung und spekulative Dekodierung, um den Speicherbedarf zu reduzieren und die Latenz bei der Textgenerierung zu verringern. Das System deckt umfassende Funktionen zur Modelloptimierung ab, einschließlich Gewichtskomprimierung und Laden quantisierter Modelle. Es unterstützt zudem hardwarebeschleunigte Trainingsroutinen, um vortrainierte Modelle an spezifische Aufgaben anzupassen.

Dieses Framework bietet ein Toolkit für das Fine-Tuning großer Sprachmodelle durch die Kombination von verteilter Datenparallelität mit Parameter-Sharding und Quantisierungstechniken. Es wurde entwickelt, um das Training massiver neuronaler Netze über mehrere Grafikprozessoren hinweg zu skalieren und so die Ausführung von Modellen zu ermöglichen, die die Speicherkapazität einzelner Hardwareeinheiten übersteigen. Die Bibliothek zeichnet sich durch die Integration von Low-Rank-Adaption mit speichereffizientem Laden von Gewichten und quantisierungsbewusstem Parameter-Sharding aus. Durch die Initialisierung von Modellgewichten direkt auf dem Grafikprozessor und die Anwendung einer granularen, schichtweisen Umhüllung minimiert das Framework Speicherspitzen und reduziert den Kommunikationsaufwand während der verteilten Setup- und Trainingsphasen. Das System unterstützt das Training benutzerdefinierter Transformer-Architekturen durch flexible Wrapping-Richtlinien für Attention- und Multilayer-Perceptron-Schichten. Es optimiert die Ressourcennutzung weiter, indem es die numerische Präzision während der Berechnung dynamisch anpasst und so Trainingsstabilität gegen verfügbaren Hardwarespeicher abwägt. Das Projekt wird als Sammlung von Dienstprogrammen und Skripten vertrieben, die für den Einsatz in verteilten Rechenumgebungen vorgesehen sind.