Awesome GitHub RepositoriesDiffusion Model Training

Latent Diffusion is a framework for high-resolution image synthesis that performs the denoising process within a compressed latent space. It uses variational autoencoders to encode images into a lower-dimensional representation, reducing the computational cost of noise prediction compared to operating on raw pixels. The project enables text-to-image generation by integrating natural language descriptions through cross-attention conditioning. It also supports image inpainting and restoration, filling masked or missing image areas with generated content, and example-based synthesis using retrie

This is a PyTorch implementation of a text-to-image model designed for synthesizing high-fidelity images from natural language descriptions. It utilizes a diffusion image generator to transform latent embeddings into visual data through an iterative denoising process. The system employs a two-stage latent mapping process, using a CLIP-based latent prior to map text embeddings to image embeddings before decoding them into pixels. It features a cascading diffusion decoder that produces high-resolution imagery by passing low-resolution outputs through a sequence of models at increasing scales.

Magic Animate is a diffusion model video generator designed for human image animation. It transforms a static human photo into a temporally consistent video by mapping movements from a reference motion clip, acting as a tool to create realistic animations from a single image. The system ensures visual stability and minimizes flicker through temporal attention injection and motion-controlled noise scheduling. To accelerate the generation of high-resolution video, it includes a distributed GPU inference engine that splits model workloads across multiple graphics cards. The project covers a com

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

DiT ist ein latentes Diffusionsmodell und ein auf Transformern basierendes generatives KI-Framework, das in PyTorch implementiert ist. Es fungiert als klassenbedingter Bildgenerator, der traditionelle konvolutionale Backbones durch eine Transformer-Architektur ersetzt, um hochauflösende Bilder zu synthetisieren. Das Projekt nutzt patchbasierte latente Verarbeitung und latente Raumkompression, um auf niedrigdimensionalen Bildrepräsentationen zu operieren. Es integriert klassenbedingte Steuerung und anpassbare Guidance-Skalen, um den visuellen Inhalt generierter Bilder während des Sampling-Prozesses zu steuern. Das Framework deckt verteiltes Modelltraining, iteratives Noise-Sampling und die Erstellung synthetischer Bilddatensätze ab. Es enthält zudem Werkzeuge zur Bewertung der Modellqualität, um Genauigkeits- und Qualitätswerte anhand von Standard-Benchmarks zu berechnen.

This is a PyTorch-based implementation of diffusion models for synthesizing photorealistic images and video. It provides a framework for text-to-image and text-to-video generation, as well as unconditional image synthesis. The system utilizes a cascading diffusion pipeline to produce high-resolution imagery by passing low-resolution outputs through a sequence of super-resolution models. It also includes capabilities for image inpainting, allowing the reconstruction of masked or missing regions of visual media guided by surrounding context and text prompts. The project includes tools for diff

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a cloud-based AI deployment system and latent diffusion model trainer. It provides a framework for launching image generation interfaces and training pipelines on remote GPU infrastructure, specifically serving as a text-to-image model fine-tuner. The system features a specialized training interface for fine-tuning Stable Diffusion models on custom image datasets. It allows for the creation of personalized visual outputs by training models on specific subjects or artistic styles using a small set of reference images. The software covers generative AI deployment, custom style

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

This is a classifier-guided diffusion framework for high-fidelity image generation. It implements a cascaded diffusion pipeline that chains a base diffusion model with a dedicated upsampler to progressively increase image resolution in stages, and uses classifier-guided diffusion sampling to steer the reverse diffusion process toward higher-quality outputs. The framework provides tools for training diffusion models from scratch using distributed processes with gradient accumulation, as well as training classifier models that provide gradient-based guidance during sampling. It supports both un

StableCascade is a generative AI system and latent diffusion framework designed for text-to-image synthesis and image-to-image transformations. It utilizes a multi-stage cascade architecture that encodes and decodes images via a latent space to produce high-fidelity visual imagery. The system includes a cascade diffusion pipeline for controlling image structure through inpainting, outpainting, and super-resolution. It also provides a toolkit for image-to-image generation and the creation of image variations using embeddings. The framework supports model optimization through low-rank adaptati

lora-scripts ist ein Fine-Tuning-Toolkit, das für die Anpassung von Basis-Diffusionsmodellen an spezifische Stile oder Motive entwickelt wurde. Es bietet eine spezialisierte Reihe von Skripten und Tools zur Ausführung von Low-Rank-Adaptation- und Dreambooth-Trainingsjobs. Das Projekt verfügt über eine webbasierte grafische Oberfläche, die den Trainings-Workflow verwaltet und es Benutzern ermöglicht, Jobs ohne manuelle Skriptbearbeitung zu konfigurieren und auszuführen. Diese Oberfläche bildet Benutzereingaben auf Hyperparameter ab und bietet ein Echtzeit-Dashboard zur Überwachung von Trainingsmetriken und Verlustkurven, um die Modellkonvergenz zu verfolgen. Das System enthält einen Dataset-Tagging-Manager zum Organisieren und Bearbeiten von Bild-Labels. Um eine konsistente Ausführung über verschiedene Hardware-Hosts hinweg zu gewährleisten, wird die Trainingsumgebung als vorkonfiguriertes, containerisiertes Setup bereitgestellt.

Wonder3D ist ein diffusionsbasiertes System für die 3D-Rekonstruktion aus einem einzelnen Bild. Es generiert hochdetaillierte 3D-Meshes aus einem einzelnen Eingabebild, indem es konsistente Multi-View-Normal-Maps und Farbbilder erzeugt. Die Pipeline fungiert als Multi-View-Normal-Map-Generator und Extraktor für texturierte Meshes. Sie nutzt domänenübergreifende Multi-View-Synthese zur Erstellung sichtabhängiger Maps, die anschließend durch Radiance-Fusion und speichereffiziente Oberflächenrekonstruktion in 3D-Geometrie umgewandelt werden. Das Projekt deckt 3D-Mesh-Generierung, Multi-View-Generierung und texturierte 3D-Modellierung ab. Es enthält zudem Funktionen zum Training von Diffusionsmodellen, um die Konsistenz der generierten sichtabhängigen Maps zu optimieren.

This project is a diffusion model training framework and image synthesis pipeline. It provides the tools necessary to train generative models to learn image data distributions through an iterative denoising process. The framework includes a generative model evaluation tool consisting of automated scripts used to measure the quality and accuracy of produced samples. The system covers model training pipelines and performance evaluation for generative diffusion models.

Tiny Universe is an educational monorepo that delivers multiple independent implementations of core AI subsystems as self-contained Jupyter notebooks. It provides from-scratch constructions of foundational architectures including a complete Transformer model built from the original paper specification, a denoising diffusion probabilistic model for image generation, and a ReAct-style autonomous agent framework that equips an LLM with tools for planning and multi-step task execution. The project distinguishes itself by covering the full lifecycle of modern AI systems through hands-on implementa

This is a collection of Jupyter notebooks that serve as educational guides for training, fine-tuning, and deploying machine learning models within the Hugging Face ecosystem. The notebooks cover the full lifecycle of model development, from loading and configuring pre-trained transformers to packaging trained models for real-time inference via scalable endpoints. The notebooks demonstrate a range of capabilities including diffusion model training and fine-tuning for image generation and editing, transformer model adaptation for natural language processing tasks, and parameter-efficient fine-t

This project is an educational course and collection of training materials focused on generative diffusion models. It provides a curriculum and practical guides for training, fine-tuning, and deploying models capable of synthesizing images, audio, and video. The material covers specific implementation strategies including noise-based synthesis, iterative refinement, and latent space compression. It provides instruction on guiding generative outputs through conditional synthesis and prompt adherence optimization, as well as techniques for image inpainting and text-based editing. The project i

DiffBIR ist ein auf Diffusion basierendes Framework zur Bildrestaurierung für die blinde Bildrekonstruktion. Es nutzt generative Diffusions-Priors, um hochwertige Bilder aus Quellen mit unbekannten oder komplexen Degradierungen wiederherzustellen, ohne dass explizite Degradierungsmodelle erforderlich sind. Das System enthält spezialisierte Modelle für die Gesichtsrestaurierung, die die Wiederherstellung von Gesichtszügen, Texturen und Hintergründen in beschädigten Porträts ermöglichen. Um hochauflösende Ausgaben auf Hardware mit begrenztem Speicher zu unterstützen, verwendet es einen Kachel-Upscaler, der Bilder während des Samplings in kleinere Patches unterteilt. Das Framework umfasst eine mehrstufige Restaurierungspipeline und generatives Bild-Upscaling. Es bietet Funktionen für das Training von Restaurierungsmodellen und die Anwendung spezialisierter Gewichte zur Optimierung der Verbesserung für spezifische Szenen.

Dies ist ein PyTorch-Deep-Learning-Framework und Tool für menschliche Bewegungssynthese, das 3D-Charakteranimationen aus Text-Prompts oder Aktionsbeschreibungen generiert. Es fungiert als Text-to-Motion-Generator, der natürliche Sprache und kategorische Labels in zeitlich konsistente 3D-Skelettbewegungssequenzen umwandelt. Das System nutzt ein Transformer-basiertes Diffusionsmodell, um Bewegungsdaten iterativ zu entrauschen. Es enthält Funktionen für aktionskonditionierte Generierung, Monocular-to-3D-Motion-Lifting und die Bearbeitung von Bewegungssequenzen mittels Text-Constraints. Das Framework integriert die Durchsetzung geometrischer Bewegungs-Constraints, um die physikalische Plausibilität durch Gelenkpositions- und Geschwindigkeitsverluste sicherzustellen. Es deckt zudem die vollständige Animations-Pipeline ab, einschließlich Training von Bewegungsmodellen, Leistungsbewertung anhand von Benchmark-Datensätzen, 3D-Mesh-Rendering und physikbasierter Simulationssteuerung für die Interaktion mit der Umgebung.

Dieses Projekt ist ein Deep-Learning-Framework für KI-Bild-Super-Resolution und Gesichtssynthese. Es bietet einen Diffusionsmodell-Bild-Upscaler und einen generativen Gesichtsbild-Synthesizer, die in der Lage sind, niedrig aufgelöste Bilder mithilfe vortrainierter Modellgewichte in hochauflösende Ausgaben zu transformieren. Das System nutzt iterative Diffusionsverfeinerung und niedrig aufgelöstes geführtes Sampling, um feine Details und Schärfe wiederherzustellen. Es unterstützt sowohl die unkonditionierte Bildgenerierung, bei der Bilder von Grund auf neu erstellt werden, als auch die geführte Auflösungsverbesserung für die hochfrequente Gesichtsrekonstruktion. Das Repository enthält eine Diffusionsmodell-Trainingspipeline mit Multi-GPU-verteiltem Training und Initialisierung vortrainierter Gewichte. Diese Umgebung wird durch Modell-Experiment-Tracking, externes Metrik-Logging und Checkpoint-basiertes Wiederaufnehmen von Modellen unterstützt.