2 repository-uri
Awesome GitHub RepositoriesModel Optimization Guides
Technical documentation and tutorials for implementing parameter-efficient fine-tuning techniques.
Distinguishing note: Focuses on educational guides for fine-tuning techniques rather than the implementation libraries themselves.
Explore 2 awesome GitHub repositories matching education & learning resources · Model Optimization Guides. Refine with filters or upvote what's useful.
Awesome Model Optimization Guides GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- datawhalechina/self-llm
datawhalechina/self-llm
30,941Vezi pe GitHubThis project is an open-source educational resource providing structured, step-by-step guides for fine-tuning large language models. It focuses on adapting pre-trained transformer-based causal models to custom datasets, enabling users to transfer specific writing styles or domain knowledge into generative AI models. The repository distinguishes itself by emphasizing parameter-efficient training techniques, specifically low-rank adaptation. By providing practical implementations for updating only a small subset of model weights, it allows for the customization of massive neural networks on con
Offers technical guidance on implementing low-rank adaptation techniques to optimize model performance with minimal overhead.
Jupyter Notebookchatglmchatglm3gemma-2b-it - afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509Vezi pe GitHubAcest proiect este un ghid de studiu cuprinzător pentru cursuri tehnice și o referință pentru învățarea arhitecturilor și metodelor de antrenare a modelelor Transformer și a modelelor de limbaj mari (LLM). Servește ca o prezentare tehnică pentru înțelegerea modului în care rețelele neuronale procesează datele și cum să aliniezi comportamentul modelului cu obiective specifice de performanță. Repository-ul oferă ghiduri specializate pe mai multe domenii cheie ale dezvoltării modelelor. Aceasta include referințe detaliate pentru arhitecturile transformer, framework-uri de implementare pentru retrieval-augmented generation și fluxuri de lucru agentice, precum și ghiduri tehnice pentru optimizarea și fine-tuning-ul modelelor. Conținutul acoperă o gamă largă de capabilități, inclusiv fine-tuning supervizat, adaptare low-rank și aliniere bazată pe preferințe. De asemenea, abordează eficiența modelului prin cuantizare, distilare și arhitecturi mixture-of-experts, alături de studiul mecanismelor de self-attention și flash attention. Resursele sunt furnizate pentru dezvoltare în C#, JavaScript și Python.
Offers technical documentation and tutorials for implementing parameter-efficient fine-tuning and model optimization techniques.
