Awesome GitHub RepositoriesDiffusion Model Frameworks

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

This is a classifier-guided diffusion framework for high-fidelity image generation. It implements a cascaded diffusion pipeline that chains a base diffusion model with a dedicated upsampler to progressively increase image resolution in stages, and uses classifier-guided diffusion sampling to steer the reverse diffusion process toward higher-quality outputs. The framework provides tools for training diffusion models from scratch using distributed processes with gradient accumulation, as well as training classifier models that provide gradient-based guidance during sampling. It supports both un

Instruct-pix2pix is an instruction-based image model and PyTorch library designed to modify visual content by following natural language directions. It functions as a diffusion model image editor that applies human-written instructions to existing pictures rather than using traditional text-to-image prompts. The project provides a fine-tunable diffusion framework for adapting pre-trained checkpoints to specific image editing datasets. It includes a synthetic dataset generator that creates paired images and text triplets to train models on various image editing tasks. The system covers a rang

Diffusion Policy est un framework d'apprentissage robotique qui utilise des modèles de diffusion pour mapper des observations visuelles vers des trajectoires d'action précises. Il fonctionne comme une boîte à outils d'apprentissage par imitation et un apprenant de politique visuomotrice, fournissant un système pour entraîner des réseaux de neurones qui répliquent le comportement humain en générant des mouvements robotiques basés sur des données d'image et de capteurs. Le framework emploie un processus de débruitage conditionnel pour échantillonner des séquences de mouvements robotiques, lui permettant de gérer des distributions d'actions multimodales où plusieurs trajectoires valides peuvent exister pour un seul état. Il utilise une modélisation d'action basée sur le score et un générateur d'action robotique pour produire des comportements précis pour des tâches physiques complexes. Le projet couvre un pipeline de données robotiques complet, incluant la collecte de démonstrations menées par des humains et le stockage de trajectoires à grande échelle dans des formats compressés et segmentés. Ses capacités de contrôle incluent le contrôle à horizon glissant via une exécution en fenêtre coulissante et la livraison asynchrone d'actions aux contrôleurs matériels pour maintenir des boucles d'observation à haute fréquence. Le système inclut des outils pour la gestion d'expériences, tels que l'encapsulation d'espace de travail et la sauvegarde de checkpoints de modèles, ainsi que l'évaluation de politiques pour les tests sur matériel physique ou simulé.

Il s'agit d'un framework de deep learning PyTorch et d'un outil pour la synthèse de mouvement humain qui génère des animations de personnages 3D à partir de prompts textuels ou de descriptions d'actions. Il fonctionne comme un générateur texte-vers-mouvement qui convertit le langage naturel et les étiquettes catégorielles en séquences de mouvement squelettique 3D temporellement cohérentes. Le système utilise un modèle de diffusion basé sur des transformers pour débruiter de manière itérative les données de mouvement. Il inclut des capacités pour la génération conditionnée par l'action, le passage du mouvement monoculaire au 3D et l'édition de séquences de mouvement à l'aide de contraintes textuelles. Le framework intègre l'application de contraintes de mouvement géométriques pour assurer la plausibilité physique par le biais de pertes de position articulaire et de vitesse. Il couvre en outre l'ensemble du pipeline d'animation, y compris l'entraînement du modèle de mouvement, l'évaluation des performances par rapport à des jeux de données de référence, le rendu de maillage 3D et le contrôle de simulation basé sur la physique pour l'interaction environnementale.

This project is a diffusion model framework for training and sampling from denoising probabilistic models to generate images from noise. It functions as a generative image model that creates visual content by iteratively refining random noise into coherent images. The system includes a distributed GPU trainer designed to scale complex neural network architectures across multiple graphics processing units. It also provides an image dataset preprocessor to prepare, scale, and standardize raw image collections for training. The framework covers model training and image generation, utilizing noi

Discoart is a diffusion model orchestration framework and distributed GPU generation engine designed to automate and scale image generation workflows across hardware clusters. It functions as a generative AI model API, providing HTTP and gRPC endpoints to trigger and retrieve images from diffusion models as a network service. The system distinguishes itself through a comprehensive task management layer that includes timeline-based prompt and parameter scheduling. It manages the generative art lifecycle by supporting state-based session serialization for recovery, YAML-based configuration mana

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a

Ce dépôt sert de ressource éducative structurée pour apprendre à construire, entraîner et déployer des réseaux de neurones en utilisant le framework PyTorch. Il fournit une collection d'exemples de code pratiques et de tutoriels conçus pour guider les praticiens à travers l'implémentation de modèles de deep learning. Le projet couvre un large éventail de domaines du machine learning, y compris la vision par ordinateur, le traitement du langage naturel, la modélisation générative et l'apprentissage par renforcement. En utilisant des composants modulaires et le calcul automatique de gradient, les supports démontrent comment construire des architectures complexes et optimiser les processus d'entraînement grâce à des algorithmes spécialisés et des techniques d'augmentation de données. Le contenu est organisé en une série d'exercices pratiques qui abordent l'ensemble du cycle de vie du développement de modèles. Cela inclut la configuration des boucles d'entraînement, la gestion des paramètres du modèle et l'intégration des modèles entraînés dans des environnements de production.

Multimodal is a machine learning library built on PyTorch for training large-scale models that combine text, image, audio, and video data streams. It functions as a deep learning framework dedicated to generative diffusion models, multi-task training, and vision-language tasks. The library supplies modular building blocks, discrete latent codebook quantization, shared-space embeddings, and stackable adapter layers to handle diverse conditional inputs during training and inference. The framework supports specific architectures for diffusion models, text-to-video generation, image-text retrieva