1 repositorio
Awesome GitHub RepositoriesExternal Memory Scaling
Increasing total model parameters by storing them in external lookup tables to maintain sparsity.
Distinct from Model Sparsity: Focuses on increasing capacity via external tables, while Model Sparsity generally focuses on zeroing out existing weights.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · External Memory Scaling. Refine with filters or upvote what's useful.
Awesome External Memory Scaling GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Ver en GitHubEngram es un sistema dinámico de recuperación de conocimiento y framework de aumento de memoria para modelos de lenguaje grandes (LLM). Funciona como una capa de búsqueda de memoria escalable y un componente de arquitectura dispersa diseñado para fusionar el conocimiento estático del modelo con estados externos dinámicos para mejorar la veracidad y reducir las alucinaciones. El sistema utiliza recuperación de memoria condicional y direccionamiento de memoria diferenciable para mapear tokens de entrada a índices específicos dentro de un almacén de memoria asociativa a gran escala. Esto permite al modelo aumentar sus parámetros totales disponibles almacenando pesos en tablas de búsqueda externas y activando solo los segmentos de conocimiento relevantes para una entrada dada. El framework cubre la optimización de dispersión del modelo y el aumento escalable, utilizando recuperación clave-valor y fusión dinámica de parámetros para mejorar el rendimiento en tareas especializadas sin requerir un reentrenamiento completo de la red.
Increases total available parameters by storing weights in external lookup tables instead of active layers.
Python
