15 repositorios
Processes for refining neural network parameters using ground-truth data sequences to improve output quality.
Distinct from Model Weight Management: Candidates refer to weights as files or inspections; this refers to the active process of training/optimizing weights.
Explore 15 awesome GitHub repositories matching artificial intelligence & ml · Supervised Model Weight Optimization. Refine with filters or upvote what's useful.
DAIN is a video frame synthesis engine and AI video upsampling tool designed to increase video playback smoothness. It functions as a computer vision model that synthesizes intermediate frames between existing images to transform low frame rate video into high frame rate content. The system utilizes depth-aware video frame interpolation to predict the motion of pixels between consecutive images. By analyzing spatial depth via depth maps, the tool generates new frames that account for occlusions and overlapping objects to create slow motion effects. The framework incorporates optical flow int
Optimizes model weights using triplet datasets and depth networks to improve frame synthesis quality.
This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Implements supervised weight optimization for translation models using label smoothing and learning rate warmup.
InternLM is a large language model and a comprehensive suite of weights designed for text generation and complex reasoning. It functions as an inference engine for serving responses, a fine-tuning framework for adjusting model weights, and a platform for building autonomous AI agents. The system is capable of processing long-context input sequences up to one million tokens for document analysis. It employs chain-of-thought reasoning to solve knowledge-intensive tasks by generating intermediate logic steps before producing a final answer. The project covers model weight optimization through s
Refines neural network parameters using supervised fine-tuning and RLHF to optimize model behavior.
This project is an object detection framework implementing the YOLOv3 architecture using Keras and TensorFlow. It functions as a deep learning vision model and computer vision toolset designed to locate and classify multiple entities within images and video streams using bounding boxes. The system includes a multi-GPU inference engine to distribute computational loads across several graphics processing units. It also provides a pipeline for creating custom object detectors by retraining pre-trained weights on annotated datasets to recognize user-defined object classes. The framework covers m
Optimizes the model through a two-stage retraining process that stabilizes early layers before full-network fine-tuning.
Este proyecto es un generador de poesía mediante deep learning diseñado para crear pareados tradicionales chinos. Utiliza una arquitectura de red neuronal secuencia a secuencia para mapear secuencias de texto de entrada a secuencias de salida coincidentes, funcionando como un modelo de generación de texto y un servicio web de inferencia. El sistema cuenta con un mecanismo de ranking de texto neuronal que evalúa las salidas candidatas basándose en la consistencia de la longitud y los patrones de caracteres para asegurar la alineación estructural. También incluye un proceso de filtrado de contenido que escanea el texto generado contra listas de palabras prohibidas para eliminar material sensible o inapropiado. La superficie de capacidades más amplia incluye un pipeline de tokenización de texto para la preparación de datos y una interfaz RESTful para servir predicciones del modelo mediante JSON. El proyecto también cubre el ciclo de vida del machine learning, abarcando la optimización de pesos del modelo, entrenamiento y evaluación del rendimiento contra datasets de validación.
Refines neural network parameters, dropout, and learning rates using ground-truth sequences to improve poetry quality.
Composer es un framework de entrenamiento distribuido para PyTorch diseñado para escalar modelos a gran escala en clústeres de GPU multi-nodo. Funciona como un entrenador de modelos de lenguaje de gran tamaño (LLM), un optimizador de modelos distribuidos y un gestor del ciclo de vida de entrenamiento. El proyecto se diferencia como una biblioteca de regularización para deep learning, proporcionando técnicas de optimización especializadas como Sharpness Aware Minimization, MixUp y CutMix para mejorar la generalización del modelo. Además, distingue su flujo de entrenamiento mediante el uso de warmup de longitud de secuencia, congelación progresiva de capas y checkpointing de estado fragmentado (sharded-state) para la recuperación de modelos a gran escala. El framework cubre una amplia superficie de capacidades, incluyendo la orquestación de entrenamiento distribuido, la gestión de hardware de precisión mixta y el streaming de datos cloud-native. También proporciona herramientas extensas de monitoreo y observabilidad para diagnósticos de memoria de GPU, detección de divergencia en el entrenamiento y seguimiento del rendimiento (throughput). El proyecto incluye un lanzador de línea de comandos para automatizar la ejecución de trabajos de entrenamiento multi-GPU entre nodos.
Normalizes convolutional weights in a model to improve training stability and convergence.
Flashlight es una biblioteca de aprendizaje automático y de tensores independiente en C++ utilizada para construir y entrenar redes neuronales. Funciona como un framework integral de redes neuronales y motor de diferenciación automática, proporcionando las herramientas para construir grafos de computación y calcular gradientes mediante retropropagación. El proyecto sirve como framework de entrenamiento distribuido, utilizando operaciones all-reduce para sincronizar gradientes y parámetros a través de múltiples nodos de cómputo y dispositivos. Se distingue por una integración profunda de manipulación de tensores de alto rendimiento, interoperabilidad nativa de memoria de dispositivo y un sistema para sincronizar pesos a través de trabajadores distribuidos para acelerar el entrenamiento de modelos a gran escala. El framework cubre una amplia gama de capacidades de aprendizaje profundo, incluyendo composición modular de capas para diseñar arquitecturas complejas como bloques residuales y celdas recurrentes. Proporciona utilidades extensas de gestión de datos para ingesta y prefetching, junto con sistemas de serialización para persistir estados de modelos. Además, incluye una suite de herramientas de monitorización y observabilidad para rastrear métricas de entrenamiento y medir errores de secuencia. La biblioteca está implementada en C++.
Provides weight normalization wrappers for linear and convolutional modules to accelerate model convergence.
Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing
Refines neural network parameters using ground-truth data sequences to improve the quality of generated captions.
Este proyecto es una implementación en PyTorch de la arquitectura EfficientDet diseñada para detección de objetos en tiempo real. Proporciona una red neuronal y motor de inferencia capaz de identificar y localizar múltiples objetos dentro de imágenes o flujos de video. La implementación incluye modelos de visión artificial preentrenados con pesos optimizados, permitiendo la inferencia inmediata y el ajuste fino (fine-tuning) sin necesidad de entrenar desde cero. El proyecto cubre el pipeline completo para la optimización de modelos de visión artificial, incluyendo entrenamiento de detección de objetos personalizado y optimización de pesos de modelos. Incorpora componentes estructurales como fusión de características bidireccional, arquitecturas neuronales de escala compuesta y propuestas de región basadas en anclas para equilibrar la velocidad de inferencia y la precisión de detección.
Refines neural network parameters using ground-truth data and loss balancing to improve custom model performance.
Este repositorio es un programa educativo integral y un framework de deep learning diseñado para enseñar aprendizaje profundo práctico usando PyTorch a través de notebooks y ejemplos de código. Sirve como una librería de alto nivel para construir, entrenar y desplegar redes neuronales, actuando como un orquestador de entrenamiento de modelos que coordina modelos de PyTorch, optimizadores y funciones de pérdida. El proyecto proporciona kits de herramientas especializados para visión artificial, procesamiento de lenguaje natural y preprocesamiento de datos tabulares. Se distingue por controles de entrenamiento avanzados como tasas de aprendizaje discriminativas, un sistema de callbacks bidireccional para personalizar la lógica de entrenamiento y una abstracción de learner de alto nivel que automatiza la colocación en dispositivos y los bucles de entrenamiento. El framework cubre una amplia superficie de capacidades, incluyendo la construcción automatizada de pipelines de datos, análisis de arquitectura de modelos y evaluación de rendimiento en tareas de clasificación, regresión y segmentación. También incluye utilidades para entrenamiento distribuido en múltiples GPUs, entrenamiento de precisión mixta para optimización de memoria y soporte especializado para datos de imágenes médicas. El proyecto se entrega como una serie de Jupyter Notebooks.
Updates model parameters using standard optimization algorithms like SGD and Adam with optional weight decay.
Chronos-forecasting is a zero-shot time series forecasting framework based on a pretrained large language model. It enables the prediction of future values across diverse datasets without requiring task-specific training or optimization. The system functions as a probabilistic forecasting tool, producing multiple future trajectories and quantile forecasts to quantify uncertainty and potential prediction errors. It incorporates exogenous covariate integration to merge external variables and historical context into the input stream for increased precision. The project includes utilities for sy
Updates model parameters using specific datasets and configurations to improve prediction accuracy.
Este proyecto es un tutorial de análisis de sentimiento en PyTorch y una implementación de aprendizaje profundo para el análisis de texto. Proporciona un pipeline de clasificación de secuencias de procesamiento de lenguaje natural diseñado para limpiar datos de texto y entrenar redes neuronales para categorizar secuencias de palabras. La implementación se centra en adaptar modelos de lenguaje preentrenados para tareas específicas de clasificación de texto utilizando datasets personalizados. Incluye un proceso para el ajuste fino (fine-tuning) de modelos de lenguaje a gran escala y la implementación de redes recurrentes y transformers para la detección de tono emocional. El proyecto cubre el espectro más amplio de la clasificación de secuencias de texto y el procesamiento de texto en PyTorch. Esto incluye flujos de trabajo para preparar datasets de texto sin procesar utilizando la librería TorchText y construir modelos de aprendizaje profundo para asignar categorías al texto.
Refines neural network parameters using supervised gradient descent based on sentiment labels.
MODNet is a deep learning image segmenter and portrait matting model designed to isolate human subjects from backgrounds. It generates high-quality alpha mattes for images and video using only standard RGB input, removing the requirement for manual trimap guides. The framework is optimized for real-time inference and provides utilities to export pre-trained model weights into specialized formats for deployment on target hardware. The project covers the full workflow for portrait isolation, including supervised matting model training on labeled datasets, real-time video background removal, an
Optimizes model weights for accurate edge detection using supervised training on labeled image pairs.
This project is a collection of structured study notes and notebooks serving as an educational resource for deep learning and neural network fundamentals. It provides a technical reference for implementing machine learning theory, covering everything from basic network design to the construction of advanced architectures. The material specifically focuses on the implementation of convolutional neural networks for computer vision and sequence models for natural language processing. It includes detailed guidance on building object detection systems, face recognition, and speech transcription mo
Provides the fundamental implementation of gradient descent for refining neural network weights and biases.
This repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu
Implements weight normalization techniques to maintain statistical distributions and prevent vanishing gradients.