Awesome GitHub RepositoriesDiffusion Transformers

Open-Sora is a video generation framework designed to produce cinematic sequences from text prompts and images. It functions as a generative system that transforms written descriptions or reference images into video content featuring realistic textures and lighting. The project includes a dedicated prompt engineering tool that uses large language models to expand simple user inputs into detailed descriptions. It also features a motion controller for adjusting movement intensity in generated sequences and evaluating motion levels in existing video files. The framework incorporates text-to-vid

F5-TTS is a text-to-speech system that utilizes a flow matching engine and diffusion transformers to generate fluent synthetic speech. It functions as a multilingual speech synthesizer and neural training framework, providing tools for voice cloning and high-performance inference serving. The project distinguishes itself through a voice cloning toolkit capable of mimicking specific speaker characteristics and tones from reference audio clips. It supports cross-lingual generation, allowing for the synthesis of audio across various global languages or the mixing of multiple languages within a s

Open-Sora-Plan is a text-to-video framework and distributed video training system. It utilizes a diffusion transformer architecture and large language model components to transform written descriptions or image prompts into high-quality video sequences. The system features a distributed infrastructure designed for large-scale video training and inference. It employs sequence parallelism to split high-resolution or long-duration video samples across multiple GPUs and uses a sparse attention mechanism to increase processing speed. The project includes capabilities for both text-to-video and im

DiT es un modelo de difusión latente y framework de IA generativa basado en transformadores implementado en PyTorch. Funciona como un generador de imágenes condicionado por clases que reemplaza los backbones convolucionales tradicionales con una arquitectura de transformador para sintetizar imágenes de alta fidelidad. El proyecto utiliza procesamiento latente basado en parches y compresión de espacio latente para operar en representaciones de imágenes de baja dimensión. Incorpora guía condicional por clases y escalas de guía ajustables para controlar el contenido visual de las imágenes generadas durante el proceso de muestreo. El framework cubre el entrenamiento distribuido de modelos, el muestreo iterativo de ruido y la creación de conjuntos de datos de imágenes sintéticas. También incluye herramientas para la evaluación de la calidad del modelo para calcular puntuaciones de precisión y calidad frente a puntos de referencia estándar.

Sana is a framework for high-resolution image and video synthesis based on a linear diffusion transformer. It provides a toolkit for the training, fine-tuning, and execution of text-to-image and text-to-video models, as well as a video generative world model capable of simulating physical environments with precise spatial control. The project is distinguished by its use of linear complexity layers to handle high resolutions and its support for long-form, minute-length video generation in real time. It implements a two-stage inference paradigm that separates structural generation from visual t

StyleTTS2 is an adversarial text-to-speech model that uses style diffusion and large speech language models to generate natural-sounding speech from text input. It combines adversarial training with large pre-trained speech models to improve speech quality and reduce artifacts, while employing a style diffusion process that extracts prosodic and timbral features from reference audio to guide speech generation. The model supports multi-speaker voice synthesis by conditioning the diffusion process on speaker-specific embeddings derived from reference utterances, enabling voice cloning and adapt

YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open

MegaTTS3 is a bilingual speech synthesis system that generates natural-sounding speech in Chinese and English, including seamless code-switching within a single utterance. It functions as a text-to-speech engine, voice cloning system, and speech-to-text alignment tool, built around an acoustic latent compression model that encodes high-resolution audio into compact representations for efficient processing. The system distinguishes itself through accent intensity control, allowing adjustment of a speaker's accent strength in generated speech, and voice cloning from short audio samples for pers

HunyuanDiT es un modelo generativo bilingüe de texto a imagen y un generador de imágenes de transformador de difusión. Utiliza un sistema de difusión latente para sintetizar imágenes de alta resolución a partir de prompts de texto, con un enfoque específico en la comprensión y generación de contenido a partir de descripciones en chino e inglés. El proyecto presenta una arquitectura de transformador de resolución múltiple y un espacio de incrustación bilingüe para mapear diferentes scripts en un área semántica compartida. Admite el refinamiento iterativo de imágenes en múltiples turnos, lo que traduce el diálogo conversacional en prompts actualizados para modificar progresivamente el contenido visual. El sistema incluye capacidades para el subtitulado automático de imágenes, restricciones estructurales de imagen para el control del diseño y ajuste fino de los pesos del modelo para adaptar el generador a conjuntos de datos o estilos artísticos específicos. Las optimizaciones de rendimiento incluyen la destilación del modelo para la aceleración de la inferencia y el soporte para la ejecución en hardware con poca memoria de video.

Este es un framework de aprendizaje profundo de PyTorch y una herramienta para la síntesis de movimiento humano que genera animaciones de personajes en 3D a partir de prompts de texto o descripciones de acciones. Funciona como un generador de texto a movimiento que convierte lenguaje natural y etiquetas categóricas en secuencias de movimiento esquelético en 3D temporalmente consistentes. El sistema utiliza un modelo de difusión basado en transformadores para eliminar el ruido de los datos de movimiento de forma iterativa. Incluye capacidades para la generación condicionada por acciones, levantamiento de movimiento monocular a 3D y edición de secuencias de movimiento utilizando restricciones de texto. El framework incorpora la aplicación de restricciones de movimiento geométricas para garantizar la plausibilidad física a través de pérdidas de ubicación de articulaciones y velocidad. Además, cubre todo el pipeline de animación, incluyendo el entrenamiento del modelo de movimiento, la evaluación del rendimiento frente a datasets de referencia, el renderizado de mallas 3D y el control de simulación basado en física para la interacción ambiental.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal

This is a PyTorch self-supervised learning framework designed to train models that learn visual representations from video. It implements a joint-embedding predictive architecture that extracts spatio-temporal features by predicting missing regions of a signal within a latent representation space rather than reconstructing raw pixels. The project includes a latent space visualization tool that uses a conditional diffusion model to decode feature-space predictions back into pixels. This allows for the verification of learned representations by transforming abstract predictions into interpretab

Mochi is an open-source text-to-video diffusion model designed to synthesize high-fidelity video sequences from natural language prompts. It utilizes a diffusion transformer architecture to generate temporal video data. The project includes a framework for low-rank adaptation, allowing the model to be fine-tuned on custom datasets to specialize visual styles or specific subjects. It also features a distributed inference engine that spreads model workloads across multiple graphics cards to increase memory capacity and processing speed. The system covers programmable video generation through a