1 dépôt
Awesome GitHub RepositoriesMemory-Based Augmentation
Enhancing model performance on specialized tasks using external memory modules without full retraining.
Distinct from Tool-Augmented Language Models: Focuses on augmentation via external memory weight stores rather than augmentation via active tools or plugins.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Memory-Based Augmentation. Refine with filters or upvote what's useful.
Awesome Memory-Based Augmentation GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Voir sur GitHubEngram est un système de récupération de connaissances dynamique et un framework d'augmentation de mémoire pour les grands modèles de langage (LLM). Il fonctionne comme une couche de recherche en mémoire scalable et un composant d'architecture creuse conçu pour fusionner les connaissances statiques du modèle avec des états externes dynamiques afin d'améliorer la véracité et réduire les hallucinations. Le système utilise la récupération conditionnelle en mémoire et l'adressage mémoire différentiable pour mapper les jetons d'entrée vers des indices spécifiques au sein d'un magasin de mémoire associative à grande échelle. Cela permet au modèle d'augmenter ses paramètres totaux disponibles en stockant des poids dans des tables de recherche externes et en n'activant que les segments de connaissances pertinents pour une entrée donnée. Le framework couvre l'optimisation de la sparsité des modèles et l'augmentation scalable, utilisant la récupération clé-valeur et la fusion dynamique de paramètres pour améliorer les performances sur des tâches spécialisées sans nécessiter un réentraînement complet du réseau.
Enhances performance on specialized tasks using external memory modules without requiring full network retraining.
Python
