2 repository-uri
Awesome GitHub RepositoriesQuantized Model Loading
Mechanisms for importing models from compressed formats into memory to optimize resource usage during execution.
Distinct from Model Quantization: Focuses specifically on the loading phase and format compatibility, whereas Model Quantization covers the general process of reducing precision.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Quantized Model Loading. Refine with filters or upvote what's useful.
Awesome Quantized Model Loading GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- intel-analytics/bigdl
intel-analytics/BigDL
8,845Vezi pe GitHubBigDL este un framework de accelerare PyTorch și un motor de inferență distribuită conceput pentru modele de limbaj mari (LLM). Oferă un toolkit pentru rularea modelelor pe hardware Intel, integrând instrumente de cuantizare și biblioteci pentru fine-tuning eficient din punct de vedere al parametrilor. Proiectul se distinge prin utilizarea paralelismului de pipeline pentru a distribui workload-urile modelelor pe mai multe acceleratoare hardware. Utilizează cuantizarea pe numere întregi pe biți puțini (low-bit) și decodarea speculativă pentru a reduce amprenta de memorie și a scădea latența generării de text. Sistemul acoperă capabilități largi în optimizarea modelelor, inclusiv compresia ponderilor și încărcarea modelelor cuantizate. De asemenea, suportă rutine de antrenare accelerate hardware pentru a adapta modelele pre-antrenate la sarcini specifice.
Provides the ability to import models from common compressed formats for higher efficiency and lower resource overhead.
Python - answerdotai/fsdp_qlora
AnswerDotAI/fsdp_qlora
1,548Vezi pe GitHubAcest framework oferă un toolkit pentru fine-tuning-ul modelelor de limbaj mari (LLM), combinând paralelismul distribuit de date cu tehnici de sharding al parametrilor și cuantizare. Este conceput pentru a scala antrenarea rețelelor neuronale masive pe mai multe procesoare grafice, permițând execuția modelelor care depășesc capacitatea de memorie a unităților hardware individuale. Biblioteca se distinge prin integrarea adaptării low-rank cu încărcarea eficientă a ponderilor în memorie și sharding-ul parametrilor conștient de cuantizare. Prin inițializarea ponderilor modelului direct pe procesorul grafic și aplicarea unei împachetări granulare la nivel de strat, framework-ul minimizează vârfurile de memorie și reduce overhead-ul de comunicare în timpul fazelor de configurare și antrenare distribuită. Sistemul suportă antrenarea arhitecturilor transformer personalizate prin politici flexibile de împachetare pentru straturile de atenție și perceptron multistrat. Optimizează în continuare utilizarea resurselor prin ajustarea dinamică a preciziei numerice în timpul calculului, echilibrând stabilitatea antrenării cu memoria hardware disponibilă. Proiectul este distribuit ca o colecție de utilitare și scripturi destinate utilizării în medii de calcul distribuit.
Initializes model weights directly within graphics processor memory to prevent large memory spikes during distributed setup.
Jupyter Notebook
