Awesome GitHub RepositoriesModel Sparsification

pykan is a library for implementing Kolmogorov-Arnold Networks, replacing fixed node activation functions with learnable spline functions located on the network edges. It serves as an interpretable AI framework and symbolic regression tool designed to derive transparent mathematical rules from complex data. The project focuses on converting learned numerical functions into human-readable symbolic expressions through library matching and formula conversion. It utilizes additive-compositional topologies and learnable piecewise polynomial segments to approximate non-linear mappings. The framewo

PowerInfer is an inference engine and serving framework designed to run large language models on local hardware. It combines a hybrid CPU-GPU offloader, a quantization tool, and a sparse model optimizer to enable the execution of high-parameter models on consumer-grade devices. The system distinguishes itself through neuron-activation-based offloading, using a predictor model to preload frequent neurons into VRAM while keeping rare neurons in system memory. This hybrid execution model balances workloads between the GPU and CPU based on input patterns to optimize memory access and increase tok

MergeKit is a toolkit for combining multiple pre-trained large language models into a single entity using algorithmic blending. It provides a specialized system for parameter interpolation and weight extraction to unify model capabilities. The project distinguishes itself through an evolutionary merge optimizer that tunes parameters based on quantitative evaluation metrics. It also features a mixture of experts orchestrator capable of converting dense models into sparse architectures and a tokenizer alignment tool for transplanting embeddings between different models. The toolkit covers a br

x-transformers es una biblioteca de PyTorch y kit de herramientas de investigación para construir arquitecturas transformer. Proporciona un framework modular para implementar investigación experimental en transformers, incluyendo un conjunto de mecanismos de atención avanzados, herramientas de modelado de secuencias largas y un framework para vision transformers. El proyecto se distingue por su enfoque en componentes de alto rendimiento y eficiencia de memoria, como Flash Attention con kernels en mosaico (tiled kernels) y atención multi-query. También implementa métodos especializados para extender ventanas de contexto, incluyendo recurrencia de secuencias y embeddings posicionales rotatorios. La biblioteca cubre una amplia gama de capacidades arquitectónicas, incluyendo varios esquemas de normalización para estabilizar el entrenamiento, redes feedforward con puertas (gated) y topologías de capas personalizadas como las redes Macaron. Admite construcciones tanto de codificador como de decodificador, proporcionando herramientas para la generación de secuencias autorregresivas y tareas de visión-lenguaje como el subtitulado de imágenes.

Este proyecto es una librería de PyTorch para construir y entrenar Kolmogorov-Arnold Networks. Implementa una arquitectura de red neuronal que reemplaza las funciones de activación fijas con funciones basadas en splines aprendibles en los bordes, sirviendo como una herramienta para machine learning interpretable. La implementación utiliza operaciones matriciales reformuladas para reducir la sobrecarga de memoria y aumentar la velocidad de computación. Emplea regularización L1 para dispersar los pesos de la red, lo que mejora la transparencia de la lógica interna y las decisiones del modelo. El framework cubre un rango de capacidades, incluyendo aproximación de funciones basada en cuadrículas, funciones de activación B-spline y optimización de modelos de deep learning. Estas características están construidas utilizando tensores nativos de PyTorch para soportar diferenciación automática y aceleración por hardware.

Model-Optimizer is a deep learning toolkit and framework dedicated to compressing, pruning, quantizing, and optimizing neural network architectures. It provides methodologies covering weight quantization, model distillation, and speculative decoding for efficient text generation, alongside automated neural architecture search for discovering optimal network structures. The library implements post-training quantization pipelines that convert high-precision neural network weights into lower-bit formats using calibration data. Additional optimization techniques include teacher-student knowledge

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu