1 Repo
Awesome GitHub RepositoriesMemory-Based Augmentation
Enhancing model performance on specialized tasks using external memory modules without full retraining.
Distinct from Tool-Augmented Language Models: Focuses on augmentation via external memory weight stores rather than augmentation via active tools or plugins.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Memory-Based Augmentation. Refine with filters or upvote what's useful.
Awesome Memory-Based Augmentation GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Auf GitHub ansehenEngram ist ein dynamisches Wissensabrufsystem und ein Framework zur Speichererweiterung für Large Language Models. Es fungiert als skalierbare Speicher-Lookup-Schicht und spärliche Architekturkomponente, die statisches Modellwissen mit dynamischen externen Zuständen verschmilzt, um die Faktentreue zu verbessern und Halluzinationen zu reduzieren. Das System nutzt konditionalen Speicherabruf und differenzierbare Speicheradressierung, um Eingabe-Token auf spezifische Indizes innerhalb eines assoziativen Speichers im großen Maßstab abzubilden. Dies ermöglicht es dem Modell, seine gesamten verfügbaren Parameter zu erhöhen, indem Gewichte in externen Lookup-Tabellen gespeichert und nur die relevanten Wissenssegmente für eine bestimmte Eingabe aktiviert werden. Das Framework deckt die Optimierung der Modell-Sparsity und skalierbare Erweiterung ab, wobei Key-Value-Retrieval und dynamische Parameterfusion genutzt werden, um die Leistung bei spezialisierten Aufgaben zu steigern, ohne das Netzwerk vollständig neu trainieren zu müssen.
Enhances performance on specialized tasks using external memory modules without requiring full network retraining.
Python
