Awesome GitHub RepositoriesNormalization Layers

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u

DeepSeek-LLM es un modelo de lenguaje de gran tamaño y modelo de lenguaje causal diseñado para la generación de lenguaje natural. Funciona como un sistema multilingüe capaz de predecir el siguiente token en una secuencia para realizar la finalización de texto y la generación conversacional. El modelo está especializado en razonamiento lógico, específicamente como un LLM de código y matemáticas. Esto le permite realizar una resolución de problemas compleja, que incluye la generación de código ejecutable y la resolución de ecuaciones matemáticas mediante un análisis paso a paso. Las capacidades más amplias del sistema cubren la IA conversacional, incluida la generación de finalizaciones de chat y secuencias de texto en varios idiomas. Su superficie funcional se extiende a la generación automática de código y la producción de texto coherente para diversas tareas de escritura.

x-transformers es una biblioteca de PyTorch y kit de herramientas de investigación para construir arquitecturas transformer. Proporciona un framework modular para implementar investigación experimental en transformers, incluyendo un conjunto de mecanismos de atención avanzados, herramientas de modelado de secuencias largas y un framework para vision transformers. El proyecto se distingue por su enfoque en componentes de alto rendimiento y eficiencia de memoria, como Flash Attention con kernels en mosaico (tiled kernels) y atención multi-query. También implementa métodos especializados para extender ventanas de contexto, incluyendo recurrencia de secuencias y embeddings posicionales rotatorios. La biblioteca cubre una amplia gama de capacidades arquitectónicas, incluyendo varios esquemas de normalización para estabilizar el entrenamiento, redes feedforward con puertas (gated) y topologías de capas personalizadas como las redes Macaron. Admite construcciones tanto de codificador como de decodificador, proporcionando herramientas para la generación de secuencias autorregresivas y tareas de visión-lenguaje como el subtitulado de imágenes.

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material