2 repository-uri
Awesome GitHub RepositoriesEfficient LLM Development
Processes for building and optimizing small-scale language models to reduce computational and hardware requirements.
Distinct from LLM Training and Optimization: Focuses specifically on the architectural and training efficiency of small language models
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Efficient LLM Development. Refine with filters or upvote what's useful.
Awesome Efficient LLM Development GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- jzhang38/tinyllama
jzhang38/TinyLlama
8,994Vezi pe GitHubTinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona
Focuses on the development and optimization of compact models to enable high performance on constrained hardware.
Python - afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509Vezi pe GitHubAcest proiect este un ghid de studiu cuprinzător pentru cursuri tehnice și o referință pentru învățarea arhitecturilor și metodelor de antrenare a modelelor Transformer și a modelelor de limbaj mari (LLM). Servește ca o prezentare tehnică pentru înțelegerea modului în care rețelele neuronale procesează datele și cum să aliniezi comportamentul modelului cu obiective specifice de performanță. Repository-ul oferă ghiduri specializate pe mai multe domenii cheie ale dezvoltării modelelor. Aceasta include referințe detaliate pentru arhitecturile transformer, framework-uri de implementare pentru retrieval-augmented generation și fluxuri de lucru agentice, precum și ghiduri tehnice pentru optimizarea și fine-tuning-ul modelelor. Conținutul acoperă o gamă largă de capabilități, inclusiv fine-tuning supervizat, adaptare low-rank și aliniere bazată pe preferințe. De asemenea, abordează eficiența modelului prin cuantizare, distilare și arhitecturi mixture-of-experts, alături de studiul mecanismelor de self-attention și flash attention. Resursele sunt furnizate pentru dezvoltare în C#, JavaScript și Python.
Provides a technical study of quantization and distillation techniques to reduce memory usage and increase efficiency.
