Awesome GitHub RepositoriesSequence Parallelism

xtuner ist eine umfassende Trainings-Engine für Large Language Models und bietet ein Toolkit für Pre-Training, Supervised Fine-Tuning und die Optimierung von vision-sprachlichen multimodalen Modellen. Sie dient als verteilter Trainingsbeschleuniger und spezialisiertes Framework zur Skalierung von Mixture-of-Experts-Modellen sowie zur Ausrichtung von Modellverhalten durch Reinforcement Learning from Human Feedback. Das Projekt zeichnet sich durch fortgeschrittene Speicher- und Rechenoptimierungen aus, wie Sequence-Parallelism für ultra-lange Kontextfenster und Interleaved-Pipeline-Parallelism zur Reduzierung von GPU-Idle-Zeiten. Es bietet eine dedizierte Suite für Preference-Optimization und implementiert Techniken wie Group Relative Policy Optimization und Direct Preference Optimization, um Modell-Policies und Belohnungssysteme zu verfeinern. Breite Funktionsbereiche decken verteiltes Modelltraining über mehrere Knoten hinweg, multimodale Datensatzvorbereitung und die Verwaltung von Adapter-basiertem Fine-Tuning ab. Die Engine enthält zudem Tools für Modellevaluation, Weight-Merging und den Export trainierter Parameter in Inferenz-Engines. Das Training wird über standardisierte Konfigurationsdateien und verteilte Launcher verwaltet, um konsistente Ergebnisse über Rechencluster hinweg sicherzustellen.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a