Awesome GitHub RepositoriesDiffusion Model Training

Latent Diffusion is a framework for high-resolution image synthesis that performs the denoising process within a compressed latent space. It uses variational autoencoders to encode images into a lower-dimensional representation, reducing the computational cost of noise prediction compared to operating on raw pixels. The project enables text-to-image generation by integrating natural language descriptions through cross-attention conditioning. It also supports image inpainting and restoration, filling masked or missing image areas with generated content, and example-based synthesis using retrie

This is a PyTorch implementation of a text-to-image model designed for synthesizing high-fidelity images from natural language descriptions. It utilizes a diffusion image generator to transform latent embeddings into visual data through an iterative denoising process. The system employs a two-stage latent mapping process, using a CLIP-based latent prior to map text embeddings to image embeddings before decoding them into pixels. It features a cascading diffusion decoder that produces high-resolution imagery by passing low-resolution outputs through a sequence of models at increasing scales.

Magic Animate is a diffusion model video generator designed for human image animation. It transforms a static human photo into a temporally consistent video by mapping movements from a reference motion clip, acting as a tool to create realistic animations from a single image. The system ensures visual stability and minimizes flicker through temporal attention injection and motion-controlled noise scheduling. To accelerate the generation of high-resolution video, it includes a distributed GPU inference engine that splits model workloads across multiple graphics cards. The project covers a com

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

DiT es un modelo de difusión latente y framework de IA generativa basado en transformadores implementado en PyTorch. Funciona como un generador de imágenes condicionado por clases que reemplaza los backbones convolucionales tradicionales con una arquitectura de transformador para sintetizar imágenes de alta fidelidad. El proyecto utiliza procesamiento latente basado en parches y compresión de espacio latente para operar en representaciones de imágenes de baja dimensión. Incorpora guía condicional por clases y escalas de guía ajustables para controlar el contenido visual de las imágenes generadas durante el proceso de muestreo. El framework cubre el entrenamiento distribuido de modelos, el muestreo iterativo de ruido y la creación de conjuntos de datos de imágenes sintéticas. También incluye herramientas para la evaluación de la calidad del modelo para calcular puntuaciones de precisión y calidad frente a puntos de referencia estándar.

This is a PyTorch-based implementation of diffusion models for synthesizing photorealistic images and video. It provides a framework for text-to-image and text-to-video generation, as well as unconditional image synthesis. The system utilizes a cascading diffusion pipeline to produce high-resolution imagery by passing low-resolution outputs through a sequence of super-resolution models. It also includes capabilities for image inpainting, allowing the reconstruction of masked or missing regions of visual media guided by surrounding context and text prompts. The project includes tools for diff

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a cloud-based AI deployment system and latent diffusion model trainer. It provides a framework for launching image generation interfaces and training pipelines on remote GPU infrastructure, specifically serving as a text-to-image model fine-tuner. The system features a specialized training interface for fine-tuning Stable Diffusion models on custom image datasets. It allows for the creation of personalized visual outputs by training models on specific subjects or artistic styles using a small set of reference images. The software covers generative AI deployment, custom style

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

This is a classifier-guided diffusion framework for high-fidelity image generation. It implements a cascaded diffusion pipeline that chains a base diffusion model with a dedicated upsampler to progressively increase image resolution in stages, and uses classifier-guided diffusion sampling to steer the reverse diffusion process toward higher-quality outputs. The framework provides tools for training diffusion models from scratch using distributed processes with gradient accumulation, as well as training classifier models that provide gradient-based guidance during sampling. It supports both un

StableCascade is a generative AI system and latent diffusion framework designed for text-to-image synthesis and image-to-image transformations. It utilizes a multi-stage cascade architecture that encodes and decodes images via a latent space to produce high-fidelity visual imagery. The system includes a cascade diffusion pipeline for controlling image structure through inpainting, outpainting, and super-resolution. It also provides a toolkit for image-to-image generation and the creation of image variations using embeddings. The framework supports model optimization through low-rank adaptati

lora-scripts es un toolkit de ajuste fino (fine-tuning) diseñado para adaptar modelos de difusión base a estilos o sujetos específicos. Proporciona un conjunto especializado de scripts y herramientas para ejecutar trabajos de entrenamiento de adaptación de bajo rango (LoRA) y Dreambooth. El proyecto cuenta con una interfaz gráfica basada en web que gestiona el flujo de trabajo de entrenamiento, permitiendo a los usuarios configurar y ejecutar trabajos sin editar scripts manualmente. Esta interfaz mapea las entradas del usuario a hiperparámetros y proporciona un panel en tiempo real para monitorear métricas de entrenamiento y curvas de pérdida para rastrear la convergencia del modelo. El sistema incluye un gestor de etiquetado de datasets para organizar y editar etiquetas de imágenes. Para garantizar una ejecución consistente en diferentes hosts de hardware, el entorno de entrenamiento se proporciona como una configuración contenedorizada preconfigurada.

Wonder3D es un sistema basado en difusión para la reconstrucción 3D a partir de una sola imagen. Genera mallas 3D de alto detalle a partir de una única imagen de entrada produciendo mapas de normales y colores multi-vista consistentes. El pipeline funciona como un generador de mapas de normales multi-vista y un extractor de mallas texturizadas. Utiliza síntesis multi-vista de dominio cruzado para crear mapas dependientes de la vista, que luego se convierten en geometría 3D mediante fusión de radiancia y reconstrucción de superficies eficiente en memoria. El proyecto cubre la generación de mallas 3D, generación multi-vista y modelado 3D texturizado. También incluye capacidades para entrenar modelos de difusión para optimizar la consistencia de los mapas dependientes de la vista generados.

This project is a diffusion model training framework and image synthesis pipeline. It provides the tools necessary to train generative models to learn image data distributions through an iterative denoising process. The framework includes a generative model evaluation tool consisting of automated scripts used to measure the quality and accuracy of produced samples. The system covers model training pipelines and performance evaluation for generative diffusion models.

Tiny Universe is an educational monorepo that delivers multiple independent implementations of core AI subsystems as self-contained Jupyter notebooks. It provides from-scratch constructions of foundational architectures including a complete Transformer model built from the original paper specification, a denoising diffusion probabilistic model for image generation, and a ReAct-style autonomous agent framework that equips an LLM with tools for planning and multi-step task execution. The project distinguishes itself by covering the full lifecycle of modern AI systems through hands-on implementa

This is a collection of Jupyter notebooks that serve as educational guides for training, fine-tuning, and deploying machine learning models within the Hugging Face ecosystem. The notebooks cover the full lifecycle of model development, from loading and configuring pre-trained transformers to packaging trained models for real-time inference via scalable endpoints. The notebooks demonstrate a range of capabilities including diffusion model training and fine-tuning for image generation and editing, transformer model adaptation for natural language processing tasks, and parameter-efficient fine-t

This project is an educational course and collection of training materials focused on generative diffusion models. It provides a curriculum and practical guides for training, fine-tuning, and deploying models capable of synthesizing images, audio, and video. The material covers specific implementation strategies including noise-based synthesis, iterative refinement, and latent space compression. It provides instruction on guiding generative outputs through conditional synthesis and prompt adherence optimization, as well as techniques for image inpainting and text-based editing. The project i

DiffBIR es un framework de restauración de imágenes basado en difusión, diseñado para la reconstrucción de imágenes ciegas. Utiliza priors de difusión generativa para recuperar imágenes de alta calidad a partir de fuentes con degradaciones complejas o desconocidas, sin necesidad de modelos de degradación explícitos. El sistema incluye modelos especializados para la restauración de rostros, permitiendo recuperar rasgos faciales, texturas y fondos en retratos degradados. Para soportar salidas de alta resolución en hardware con memoria limitada, emplea un escalador de imágenes por mosaicos que divide las imágenes en parches más pequeños durante el muestreo. El framework abarca un pipeline de restauración multietapa y escalado de imágenes generativo. Incorpora capacidades para el entrenamiento de modelos de restauración y la aplicación de pesos especializados para optimizar la mejora en escenas específicas.

Este es un framework de aprendizaje profundo de PyTorch y una herramienta para la síntesis de movimiento humano que genera animaciones de personajes en 3D a partir de prompts de texto o descripciones de acciones. Funciona como un generador de texto a movimiento que convierte lenguaje natural y etiquetas categóricas en secuencias de movimiento esquelético en 3D temporalmente consistentes. El sistema utiliza un modelo de difusión basado en transformadores para eliminar el ruido de los datos de movimiento de forma iterativa. Incluye capacidades para la generación condicionada por acciones, levantamiento de movimiento monocular a 3D y edición de secuencias de movimiento utilizando restricciones de texto. El framework incorpora la aplicación de restricciones de movimiento geométricas para garantizar la plausibilidad física a través de pérdidas de ubicación de articulaciones y velocidad. Además, cubre todo el pipeline de animación, incluyendo el entrenamiento del modelo de movimiento, la evaluación del rendimiento frente a datasets de referencia, el renderizado de mallas 3D y el control de simulación basado en física para la interacción ambiental.

Este proyecto es un framework de deep learning para super-resolución de imágenes por IA y síntesis facial. Proporciona un escalador de imágenes de modelo de difusión y un sintetizador de imágenes faciales generativo capaz de transformar imágenes de baja resolución en salidas de alta resolución utilizando pesos de modelo preentrenados. El sistema utiliza refinamiento de difusión iterativo y muestreo guiado por baja resolución para restaurar detalles finos y nitidez. Admite tanto la generación de imágenes incondicional, donde las imágenes se crean desde cero, como la mejora de resolución guiada para la reconstrucción facial de alta fidelidad. El repositorio incluye un pipeline de entrenamiento de modelos de difusión con entrenamiento distribuido multi-GPU e inicialización de pesos preentrenados. Este entorno está respaldado por el seguimiento de experimentos de modelos, registro de métricas externas y reanudación de modelos basada en checkpoints.