1 Repo
Awesome GitHub RepositoriesExternal Memory Scaling
Increasing total model parameters by storing them in external lookup tables to maintain sparsity.
Distinct from Model Sparsity: Focuses on increasing capacity via external tables, while Model Sparsity generally focuses on zeroing out existing weights.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · External Memory Scaling. Refine with filters or upvote what's useful.
Awesome External Memory Scaling GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Auf GitHub ansehenEngram ist ein dynamisches Wissensabrufsystem und ein Framework zur Speichererweiterung für Large Language Models. Es fungiert als skalierbare Speicher-Lookup-Schicht und spärliche Architekturkomponente, die statisches Modellwissen mit dynamischen externen Zuständen verschmilzt, um die Faktentreue zu verbessern und Halluzinationen zu reduzieren. Das System nutzt konditionalen Speicherabruf und differenzierbare Speicheradressierung, um Eingabe-Token auf spezifische Indizes innerhalb eines assoziativen Speichers im großen Maßstab abzubilden. Dies ermöglicht es dem Modell, seine gesamten verfügbaren Parameter zu erhöhen, indem Gewichte in externen Lookup-Tabellen gespeichert und nur die relevanten Wissenssegmente für eine bestimmte Eingabe aktiviert werden. Das Framework deckt die Optimierung der Modell-Sparsity und skalierbare Erweiterung ab, wobei Key-Value-Retrieval und dynamische Parameterfusion genutzt werden, um die Leistung bei spezialisierten Aufgaben zu steigern, ohne das Netzwerk vollständig neu trainieren zu müssen.
Increases total available parameters by storing weights in external lookup tables instead of active layers.
Python
