Awesome GitHub RepositoriesDataset Blending

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Acest proiect este un framework de aliniere și o suită de pipeline-uri pentru antrenarea modelelor de limbaj folosind fine-tuning supervizat și optimizarea preferințelor. Oferă instrumente pentru executarea antrenării distribuite la scară largă pe mai multe GPU-uri și noduri de calcul, alături de un sistem pentru măsurarea utilității modelului și a calității dialogului prin benchmark-uri single-turn și multi-turn. Framework-ul include instrumente specializate pentru optimizarea directă a preferințelor (DPO) pentru a rafina comportamentul modelului folosind date pereche, fără a fi nevoie de un model de recompensă separat. De asemenea, suportă alinierea prin AI constituțional și antrenarea modelelor de recompensă pentru a clasifica și puncta răspunsurile pe baza criteriilor de preferință. Proiectul acoperă capabilități mai largi pentru amestecarea seturilor de date, fine-tuning eficient din punct de vedere al parametrilor prin adaptare low-rank (LoRA) și optimizarea prin eșantionare de respingere. Gestionează ciclul de viață al antrenării prin rețete bazate pe configurație și oferă sisteme pentru streaming-ul metricilor de performanță în timp real către dashboard-uri externe.

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta