facebookresearch/DiTArchived
DiT
DiT este un model de difuzie latentă și un framework de AI generativ bazat pe transformatoare, implementat în PyTorch. Funcționează ca un generator de imagini condiționat de clasă care înlocuiește backbone-urile convoluționale tradiționale cu o arhitectură de transformator pentru a sintetiza imagini de înaltă fidelitate.
Proiectul utilizează procesarea latentă bazată pe patch-uri și compresia spațiului latent pentru a opera pe reprezentări de imagini cu dimensiuni reduse. Încorporează ghidaj condiționat de clasă și scale de ghidaj ajustabile pentru a controla conținutul vizual al imaginilor generate în timpul procesului de eșantionare.
Framework-ul acoperă antrenarea distribuită a modelelor, eșantionarea iterativă a zgomotului și crearea de seturi de date de imagini sintetice. Include, de asemenea, instrumente pentru evaluarea calității modelului pentru a calcula scorurile de acuratețe și calitate față de benchmark-urile standard.
Features
- Diffusion Transformers - Combines transformer-based attention with diffusion-based denoising to synthesize high-fidelity images.
- Diffusion Model Training - Provides distributed training workflows for transformer-based latent diffusion models to improve scalability and speed.
- Patch-Based Processing - Splits latent image representations into small patches to be processed as tokens by the transformer architecture.
- Latent Space Compression - Utilizes low-dimensional representations to reduce computational overhead while maintaining high visual fidelity.
- Latent Diffusion Models - Performs iterative denoising within compressed latent spaces to produce high-fidelity synthetic images.
- Conditional Image Generation - Implements guidance mechanisms that use category labels to control the visual content of generated images.
- Transformer-Based Generative Backbones - Replaces traditional convolutional backbones with transformer blocks to improve scaling in image generation.
- Latent Noise Prediction - Generates images by iteratively predicting and removing noise within a compressed latent representation.
- Synthetic Content Generators - Produces synthetic visual content by adjusting sampling steps and guidance scales from pre-trained weights.
- Diffusion Model Evaluators - Provides tools to calculate accuracy and quality scores for diffusion model outputs against standard benchmarks.
- Conditional Training - Provides scripts to train models that are conditioned on specific class labels via embedding concatenation.
- Image Set Sampling - Produces batches of images by adjusting class-conditional weights and guidance scales during the sampling process.
- Large Scale Training - Provides distributed training capabilities to scale model training across multiple GPUs for large-scale image datasets.
- Synthetic Dataset Generation - Generates large batches of high-quality synthetic images to create datasets for visual benchmarking.
- Diffusion Model Research - Scalable diffusion models using transformer backbones.
- Vision Transformers - Scalable diffusion models built upon transformer architectures.
- Generation - Listed in the “Generation” section of the Awesome Diffusion Models awesome list.
