Blealtan/efficient-kan
Efficient Kan
Este proyecto es una librería de PyTorch para construir y entrenar Kolmogorov-Arnold Networks. Implementa una arquitectura de red neuronal que reemplaza las funciones de activación fijas con funciones basadas en splines aprendibles en los bordes, sirviendo como una herramienta para machine learning interpretable.
La implementación utiliza operaciones matriciales reformuladas para reducir la sobrecarga de memoria y aumentar la velocidad de computación. Emplea regularización L1 para dispersar los pesos de la red, lo que mejora la transparencia de la lógica interna y las decisiones del modelo.
El framework cubre un rango de capacidades, incluyendo aproximación de funciones basada en cuadrículas, funciones de activación B-spline y optimización de modelos de deep learning. Estas características están construidas utilizando tensores nativos de PyTorch para soportar diferenciación automática y aceleración por hardware.
Features
- Neural Network Architectures - Implements a novel neural network architecture that replaces fixed activations with learnable spline functions on edges.
- B-Spline Activations - Implements learnable B-spline activation functions on network edges to allow flexible non-linear transformations.
- Kolmogorov-Arnold Networks - Provides a high-performance implementation of Kolmogorov-Arnold Networks using reformulated matrix operations.
- Model Interpretability Tools - Functions as a tool for interpretable machine learning by leveraging L1 regularization to clarify model decisions.
- Neural Network Interpretability - Enhances model transparency by using weight sparsification to make internal network logic easier to understand.
- PyTorch Implementations - Provides a complete PyTorch-native implementation of Kolmogorov-Arnold Networks for research and training.
- Spline-Based Approximations - Uses spline-based approximations to map input values to a grid of control points for function approximation.
- L1 Regularization - Applies L1 regularization to penalize absolute weight values and induce sparsity for better interpretability.
- Deep Learning Optimization - Optimizes deep learning model execution by reducing memory overhead and increasing computation speed via reformulated matrix operations.
- Model Sparsification - Includes utilities for model weight sparsification via L1 regularization to improve interpretability.
- Matrix-Reformulated Operations - Reformulates network operations as standard matrix multiplications to leverage GPU acceleration and PyTorch tensors.
