1 repository
Awesome GitHub RepositoriesMemory-Based Augmentation
Enhancing model performance on specialized tasks using external memory modules without full retraining.
Distinct from Tool-Augmented Language Models: Focuses on augmentation via external memory weight stores rather than augmentation via active tools or plugins.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Memory-Based Augmentation. Refine with filters or upvote what's useful.
Awesome Memory-Based Augmentation GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Vezi pe GitHubEngram este un sistem dinamic de recuperare a cunoștințelor și un framework de augmentare a memoriei pentru modele de limbaj mari (LLM). Funcționează ca un strat scalabil de căutare în memorie și o componentă de arhitectură rară (sparse), concepută pentru a îmbina cunoștințele statice ale modelului cu stări externe dinamice pentru a îmbunătăți factualitatea și a reduce halucinațiile. Sistemul utilizează recuperarea condiționată a memoriei și adresarea diferențiabilă a memoriei pentru a mapa tokenurile de input către indici specifici într-un depozit de memorie asociativă la scară largă. Acest lucru permite modelului să își mărească parametrii totali disponibili prin stocarea ponderilor în tabele de căutare externe și activarea doar a segmentelor de cunoștințe relevante pentru un anumit input. Frameworkul acoperă optimizarea rarității modelului și augmentarea scalabilă, folosind recuperarea key-value și fuziunea dinamică a parametrilor pentru a îmbunătăți performanța pe sarcini specializate fără a necesita o reantrenare completă a rețelei.
Enhances performance on specialized tasks using external memory modules without requiring full network retraining.
Python
