2 repository-uri
Awesome GitHub RepositoriesLLM Development Frameworks
End-to-end frameworks for training, refining, and deploying large language models.
Distinct from Language Model Development: Candidates focus on specific loaders or niche predictive models; this covers the full development pipeline
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · LLM Development Frameworks. Refine with filters or upvote what's useful.
Awesome LLM Development Frameworks GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- lightning-ai/lit-llama
Lightning-AI/lit-llama
6,081Vezi pe GitHubLit-llama este un framework de implementare bazat pe PyTorch pentru modelul de limbaj LLaMA, oferind un sistem pentru pre-antrenare, fine-tuning și inferență de înaltă performanță. Include un pipeline de pre-antrenare pentru crearea de modele de limbaj fundamentale de la zero și instrumente pentru rularea ponderilor preantrenate pentru a genera text natural și a prezice secvențe. Proiectul oferă toolkit-uri specializate pentru fine-tuning eficient din punct de vedere al parametrilor, folosind adaptarea low-rank (LoRA) și adaptoare ușoare. Include, de asemenea, o bibliotecă de cuantizare care reduce amprenta de memorie a modelelor prin precizie pe patru și opt biți pentru a permite execuția pe hardware cu resurse limitate. Framework-ul încorporează un design simplificat de transformer și utilizează flash attention pentru a optimiza memoria și viteza. Mai mult, gestionează seturi de date la scară largă prin formate de date streaming pentru a evita încărcarea întregilor corpora în memoria sistemului.
Provides a complete PyTorch-based pipeline for building and refining LLaMA-based models from scratch to deployment.
Python - facebookresearch/lingua
facebookresearch/lingua
4,759Vezi pe GitHubLingua este un framework de cercetare pentru dezvoltarea, antrenarea și experimentarea cu arhitecturi de modele de limbaj mari (LLM) și strategii de date. Oferă un cod sursă „lean” conceput pentru a facilita iterarea noilor design-uri de modele printr-o combinație de orchestrare a antrenamentului distribuit și pipeline-uri de evaluare. Framework-ul include un orchestrator de antrenament distribuit care generează scripturi de trimitere și gestionează configurațiile pentru lansarea sarcinilor pe clustere de calcul. Utilizează un sistem de gestionare a configurației care permite suprascrierea parametrilor modelului prin clase de date și argumente în linia de comandă, fără a modifica codul sursă. Sistemul suportă, de asemenea, dezvoltarea modelelor prin pipeline-uri de evaluare bazate pe checkpoint-uri, care rulează scripturi periodice pentru a urmări performanța. Suprafața sa arhitecturală acoperă gestionarea runtime-ului distribuit, suprascrieri ierarhice de configurare și șabloane modulare pentru schimbarea componentelor modelului.
Offers a comprehensive lean framework for the end-to-end research, training, and experimentation of LLMs.
Python
