Awesome GitHub RepositoriesEmbedding Lookup Layers

Flashlight es una biblioteca de aprendizaje automático y de tensores independiente en C++ utilizada para construir y entrenar redes neuronales. Funciona como un framework integral de redes neuronales y motor de diferenciación automática, proporcionando las herramientas para construir grafos de computación y calcular gradientes mediante retropropagación. El proyecto sirve como framework de entrenamiento distribuido, utilizando operaciones all-reduce para sincronizar gradientes y parámetros a través de múltiples nodos de cómputo y dispositivos. Se distingue por una integración profunda de manipulación de tensores de alto rendimiento, interoperabilidad nativa de memoria de dispositivo y un sistema para sincronizar pesos a través de trabajadores distribuidos para acelerar el entrenamiento de modelos a gran escala. El framework cubre una amplia gama de capacidades de aprendizaje profundo, incluyendo composición modular de capas para diseñar arquitecturas complejas como bloques residuales y celdas recurrentes. Proporciona utilidades extensas de gestión de datos para ingesta y prefetching, junto con sistemas de serialización para persistir estados de modelos. Además, incluye una suite de herramientas de monitorización y observabilidad para rastrear métricas de entrenamiento y medir errores de secuencia. La biblioteca está implementada en C++.

Engram es un sistema dinámico de recuperación de conocimiento y framework de aumento de memoria para modelos de lenguaje grandes (LLM). Funciona como una capa de búsqueda de memoria escalable y un componente de arquitectura dispersa diseñado para fusionar el conocimiento estático del modelo con estados externos dinámicos para mejorar la veracidad y reducir las alucinaciones. El sistema utiliza recuperación de memoria condicional y direccionamiento de memoria diferenciable para mapear tokens de entrada a índices específicos dentro de un almacén de memoria asociativa a gran escala. Esto permite al modelo aumentar sus parámetros totales disponibles almacenando pesos en tablas de búsqueda externas y activando solo los segmentos de conocimiento relevantes para una entrada dada. El framework cubre la optimización de dispersión del modelo y el aumento escalable, utilizando recuperación clave-valor y fusión dinámica de parámetros para mejorar el rendimiento en tareas especializadas sin requerir un reentrenamiento completo de la red.

Este proyecto es una colección de ejemplos de aprendizaje automático de TensorFlow que proporciona implementaciones de referencia para varios paradigmas de redes neuronales. Cubre modelos de aprendizaje supervisado, no supervisado, por refuerzo y secuencial. El repositorio incluye implementaciones para redes neuronales convolucionales centradas en la clasificación y clasificación de imágenes, así como redes neuronales recurrentes para pronóstico de series temporales y traducción de secuencia a secuencia. Proporciona además ejemplos de agentes de aprendizaje por refuerzo entrenados mediante optimización de recompensas y técnicas de aprendizaje no supervisado como autoencoders y mapas autoorganizados para la agrupación de datos. Las capacidades adicionales cubren la regresión y clasificación supervisada, la generación de embeddings semánticos y el uso de modelos ocultos de Markov para el modelado de datos secuenciales. El proyecto también incluye utilidades para la gestión de operaciones de tensores y la visualización del rendimiento del modelo mediante paneles. El contenido se entrega como una serie de Jupyter Notebooks.

Este proyecto es un curso educativo y un conjunto de materiales de instrucción para construir modelos de lenguaje de gran tamaño (LLM) desde cero usando Python. Proporciona una guía paso a paso y tutoriales prácticos centrados en la mecánica interna de las arquitecturas transformer y los flujos de trabajo de pre-entrenamiento. El repositorio cuenta con un framework para implementar y comparar diversas familias de modelos, incluyendo Llama, GLM y RWKV. Utiliza un enfoque de ensamblaje basado en configuración para analizar las diferencias estructurales y los mecanismos internos de estas arquitecturas. El código cubre el pipeline completo de desarrollo, incluyendo preprocesamiento de texto, codificación por pares de bytes (BPE) y la implementación de atención multi-cabeza con enmascaramiento causal. También incluye utilidades de entrenamiento como recorte de gradientes, programación de tasa de aprendizaje y optimización de hiperparámetros para el pre-entrenamiento en corpus no etiquetados. El proyecto está implementado mediante Jupyter Notebooks.