Awesome GitHub RepositoriesAdapter Module Training

sd-scripts is a suite of utilities designed for fine-tuning generative models, preprocessing datasets, and converting model weights. It provides a collection of scripts for executing Stable Diffusion training through methods such as DreamBooth, textual inversion, and full fine-tuning, alongside a framework for creating and managing Low-Rank Adaptation weights. The project features specialized capabilities for model weight conversion between different architectures and precision formats. It includes tools for merging adaptation weights into base models, extracting weights from trained models,

LLaMA-Adapter este un framework de fine-tuning eficient în parametri, conceput pentru a adapta modelele de limbaj mari folosind un set minim de parametri antrenabili. Funcționează ca un instrument de tuning pentru instrucțiuni și un adaptor multimodal, permițând modelelor pre-antrenate să urmeze instrucțiunile umane și să proceseze date non-textuale. Proiectul se specializează în integrarea datelor de imagine, video, audio și senzori în modelele de limbaj pentru înțelegerea cross-modală. Permite personalizarea modelelor LLaMA prin utilizarea unor adaptoare ușoare, ceea ce permite extragerea și stocarea ponderilor învățate independent de checkpoint-ul complet al modelului. Framework-ul acoperă întregul ciclu de viață de antrenament și evaluare, inclusiv pre-antrenarea și rafinarea adaptorului. Oferă capabilități pentru integrarea datelor multimodale și evaluarea performanței modelului față de seturi de date de referință pentru a măsura acuratețea răspunsurilor.