Awesome GitHub RepositoriesDiffusion Model Frameworks

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

This is a classifier-guided diffusion framework for high-fidelity image generation. It implements a cascaded diffusion pipeline that chains a base diffusion model with a dedicated upsampler to progressively increase image resolution in stages, and uses classifier-guided diffusion sampling to steer the reverse diffusion process toward higher-quality outputs. The framework provides tools for training diffusion models from scratch using distributed processes with gradient accumulation, as well as training classifier models that provide gradient-based guidance during sampling. It supports both un

Instruct-pix2pix is an instruction-based image model and PyTorch library designed to modify visual content by following natural language directions. It functions as a diffusion model image editor that applies human-written instructions to existing pictures rather than using traditional text-to-image prompts. The project provides a fine-tunable diffusion framework for adapting pre-trained checkpoints to specific image editing datasets. It includes a synthetic dataset generator that creates paired images and text triplets to train models on various image editing tasks. The system covers a rang

Diffusion Policy ist ein Robot-Learning-Framework, das Diffusionsmodelle verwendet, um visuelle Beobachtungen auf präzise Aktionstrajektorien abzubilden. Es fungiert als Imitation-Learning-Toolkit und Visuomotor-Policy-Learner und bietet ein System zum Training neuronaler Netze, die menschliches Verhalten durch die Generierung robotischer Bewegungen basierend auf Bild- und Sensordaten replizieren. Das Framework verwendet einen konditionalen Denoising-Prozess, um Sequenzen robotischer Bewegungen zu samplen, was es ermöglicht, multimodale Aktionsverteilungen zu handhaben, bei denen mehrere gültige Trajektorien für einen einzelnen Zustand existieren können. Es nutzt score-basiertes Aktionsmodellieren und einen Roboter-Aktionsgenerator, um präzise Verhaltensweisen für komplexe physische Aufgaben zu erzeugen. Das Projekt deckt eine umfassende Robotik-Datenpipeline ab, einschließlich der Sammlung von menschengeführten Demonstrationen und der Speicherung groß angelegter Trajektorien in komprimierten, gechunkten Formaten. Seine Steuerungsfunktionen umfassen Receding-Horizon-Control via Sliding-Window-Ausführung und asynchrone Aktionsbereitstellung an Hardware-Controller, um hochfrequente Beobachtungsschleifen aufrechtzuerhalten. Das System enthält Tools für das Experiment-Management, wie Workspace-Encapsulation und Modell-Checkpointing, sowie Policy-Evaluierung zum Testen auf physischer oder simulierter Hardware.

Dies ist ein PyTorch-Deep-Learning-Framework und Tool für menschliche Bewegungssynthese, das 3D-Charakteranimationen aus Text-Prompts oder Aktionsbeschreibungen generiert. Es fungiert als Text-to-Motion-Generator, der natürliche Sprache und kategorische Labels in zeitlich konsistente 3D-Skelettbewegungssequenzen umwandelt. Das System nutzt ein Transformer-basiertes Diffusionsmodell, um Bewegungsdaten iterativ zu entrauschen. Es enthält Funktionen für aktionskonditionierte Generierung, Monocular-to-3D-Motion-Lifting und die Bearbeitung von Bewegungssequenzen mittels Text-Constraints. Das Framework integriert die Durchsetzung geometrischer Bewegungs-Constraints, um die physikalische Plausibilität durch Gelenkpositions- und Geschwindigkeitsverluste sicherzustellen. Es deckt zudem die vollständige Animations-Pipeline ab, einschließlich Training von Bewegungsmodellen, Leistungsbewertung anhand von Benchmark-Datensätzen, 3D-Mesh-Rendering und physikbasierter Simulationssteuerung für die Interaktion mit der Umgebung.

This project is a diffusion model framework for training and sampling from denoising probabilistic models to generate images from noise. It functions as a generative image model that creates visual content by iteratively refining random noise into coherent images. The system includes a distributed GPU trainer designed to scale complex neural network architectures across multiple graphics processing units. It also provides an image dataset preprocessor to prepare, scale, and standardize raw image collections for training. The framework covers model training and image generation, utilizing noi

Discoart is a diffusion model orchestration framework and distributed GPU generation engine designed to automate and scale image generation workflows across hardware clusters. It functions as a generative AI model API, providing HTTP and gRPC endpoints to trigger and retrieve images from diffusion models as a network service. The system distinguishes itself through a comprehensive task management layer that includes timeline-based prompt and parameter scheduling. It manages the generative art lifecycle by supporting state-based session serialization for recovery, YAML-based configuration mana

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a

This repository serves as a structured educational resource for learning to build, train, and deploy neural networks using the PyTorch framework. It provides a collection of practical code examples and tutorials designed to guide practitioners through the implementation of deep learning models. The project covers a broad range of machine learning domains, including computer vision, natural language processing, generative modeling, and reinforcement learning. By utilizing modular components and automated gradient computation, the materials demonstrate how to construct complex architectures and

Multimodal is a machine learning library built on PyTorch for training large-scale models that combine text, image, audio, and video data streams. It functions as a deep learning framework dedicated to generative diffusion models, multi-task training, and vision-language tasks. The library supplies modular building blocks, discrete latent codebook quantization, shared-space embeddings, and stackable adapter layers to handle diverse conditional inputs during training and inference. The framework supports specific architectures for diffusion models, text-to-video generation, image-text retrieva