7 repositorios
Layers that execute generic linear transformations across specific tensor dimensions for MLP-style architectures.
Distinct from Linear Regression Implementations: Focuses on mixing dimensions within a tensor rather than standard linear regression models.
Explore 7 awesome GitHub repositories matching artificial intelligence & ml · Linear Mixing Layers. Refine with filters or upvote what's useful.
Einops is a tensor manipulation library that provides a framework-agnostic interface for reshaping, Einstein summation, and multi-dimensional array operations. It serves as an abstraction layer that works across NumPy, PyTorch, TensorFlow, and JAX, allowing for tensor transformations without changing the API. The library distinguishes itself through a declarative notation system that uses readable string patterns to describe tensor rearrangements and reductions. This approach includes an extended Einstein summation interface that supports multi-letter axis names and a named dimension mapping
Executes generic linear transformations across tensor dimensions to implement multi-layer perceptron style architectures.
IP-Adapter is a framework for conditioning pretrained text-to-image diffusion models to use image prompts as visual guides. It serves as a text-to-image model extension that transforms a text-based diffusion model to accept and process image inputs as primary generation sources. The system implements identity preservation to maintain consistent facial features across multiple outputs using a reference photo. It also enables style transfer workflows to produce image variations that preserve the artistic characteristics of a source image. Capabilities cover multi-modal prompting, including the
Uses lightweight trainable linear layers to transform image embeddings for compatibility with attention layers.
ComfyUIIPAdapterplus es una extensión basada en nodos para ComfyUI que implementa modelos IPAdapter para guiar la generación de imágenes utilizando imágenes de referencia. Funciona como una herramienta de prompting de imágenes y un adaptador de imágenes de Stable Diffusion, permitiendo que los archivos de referencia sirvan como prompts visuales para controlar el estilo, la composición y la identidad del sujeto. El proyecto proporciona capacidades especializadas para mantener la identidad facial y características de alta fidelidad en retratos generados. Permite la transferencia de características visuales y estilos artísticos desde imágenes de referencia, así como la extracción de diseños espaciales para guiar la disposición de objetos en nuevas generaciones. La extensión cubre áreas funcionales amplias, incluyendo condicionamiento de imágenes por IA, generación consistente de personajes y control de composición de imágenes.
Provides linear projection layers to align image encoder outputs with the dimensionality of model attention layers.
Flashlight es una biblioteca de aprendizaje automático en C++ y un framework de aprendizaje profundo diseñado para construir y entrenar redes neuronales. Funciona como una biblioteca de manipulación de tensores y un motor de diferenciación automática que rastrea operaciones para calcular gradientes mediante retropropagación (backpropagation) para la optimización de modelos. El proyecto se distingue por su rol como framework de entrenamiento distribuido, utilizando sincronización de gradientes all-reduce y entornos distribuidos para escalar cargas de trabajo de aprendizaje automático a través de múltiples nodos y dispositivos. Cuenta con una interfaz de memoria agnóstica al backend y gestión basada en RAII para desacoplar las operaciones de tensores del hardware físico. El framework cubre una amplia superficie de capacidades, incluyendo la construcción de arquitecturas de redes neuronales con capas convolucionales, lineales y recurrentes. Proporciona utilidades extensas para álgebra de tensores, gestión y batching de datasets, serialización binaria versionada para estados de modelos y herramientas de monitorización para rastrear métricas de entrenamiento y uso de memoria.
Multiplies input tensors by learnable weight matrices and adds bias terms for vector space mapping.
Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.
Implements linear transformations using weight matrices and bias terms to map data between vector spaces.
Este proyecto es un framework de aprendizaje contrastivo auto-supervisado diseñado para entrenar modelos de aprendizaje profundo para aprender representaciones visuales a partir de imágenes sin utilizar etiquetas proporcionadas por humanos. Proporciona un sistema para desarrollar modelos de representación visual preentrenados que pueden adaptarse para tareas de visión artificial posteriores. El framework incluye herramientas para la clasificación de imágenes semi-supervisada, que combina grandes conjuntos de datos sin etiquetar con pequeños conjuntos etiquetados para mejorar la precisión. También cuenta con una herramienta de evaluación de sonda lineal (linear probe) para evaluar la calidad de las características de imagen aprendidas entrenando un clasificador lineal simple sobre representaciones congeladas. El código base cubre el entrenamiento de aprendizaje profundo distribuido y la aceleración por hardware para manejar grandes tamaños de lote, junto con primitivas de optimización como la programación de tasa de aprendizaje de decaimiento de coseno y regularización de decaimiento de peso. También proporciona utilidades para la gestión de modelos, incluyendo la conversión de checkpoints preentrenados entre diferentes formatos de frameworks de aprendizaje profundo y herramientas para el despliegue de modelos. La implementación se proporciona como una colección de Jupyter Notebooks.
Constructs linear layers with optional bias and normalization to evaluate the quality of learned visual representations.
This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen
Provides linear block composers that group normalization, dropout, and linear layers for model construction.