1 repository
Awesome GitHub RepositoriesExternal Memory Scaling
Increasing total model parameters by storing them in external lookup tables to maintain sparsity.
Distinct from Model Sparsity: Focuses on increasing capacity via external tables, while Model Sparsity generally focuses on zeroing out existing weights.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · External Memory Scaling. Refine with filters or upvote what's useful.
Awesome External Memory Scaling GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Vezi pe GitHubEngram este un sistem dinamic de recuperare a cunoștințelor și un framework de augmentare a memoriei pentru modele de limbaj mari (LLM). Funcționează ca un strat scalabil de căutare în memorie și o componentă de arhitectură rară (sparse), concepută pentru a îmbina cunoștințele statice ale modelului cu stări externe dinamice pentru a îmbunătăți factualitatea și a reduce halucinațiile. Sistemul utilizează recuperarea condiționată a memoriei și adresarea diferențiabilă a memoriei pentru a mapa tokenurile de input către indici specifici într-un depozit de memorie asociativă la scară largă. Acest lucru permite modelului să își mărească parametrii totali disponibili prin stocarea ponderilor în tabele de căutare externe și activarea doar a segmentelor de cunoștințe relevante pentru un anumit input. Frameworkul acoperă optimizarea rarității modelului și augmentarea scalabilă, folosind recuperarea key-value și fuziunea dinamică a parametrilor pentru a îmbunătăți performanța pe sarcini specializate fără a necesita o reantrenare completă a rețelei.
Increases total available parameters by storing weights in external lookup tables instead of active layers.
Python
