Awesome GitHub RepositoriesDiffusion Transformers

Open-Sora is a video generation framework designed to produce cinematic sequences from text prompts and images. It functions as a generative system that transforms written descriptions or reference images into video content featuring realistic textures and lighting. The project includes a dedicated prompt engineering tool that uses large language models to expand simple user inputs into detailed descriptions. It also features a motion controller for adjusting movement intensity in generated sequences and evaluating motion levels in existing video files. The framework incorporates text-to-vid

F5-TTS is a text-to-speech system that utilizes a flow matching engine and diffusion transformers to generate fluent synthetic speech. It functions as a multilingual speech synthesizer and neural training framework, providing tools for voice cloning and high-performance inference serving. The project distinguishes itself through a voice cloning toolkit capable of mimicking specific speaker characteristics and tones from reference audio clips. It supports cross-lingual generation, allowing for the synthesis of audio across various global languages or the mixing of multiple languages within a s

Open-Sora-Plan is a text-to-video framework and distributed video training system. It utilizes a diffusion transformer architecture and large language model components to transform written descriptions or image prompts into high-quality video sequences. The system features a distributed infrastructure designed for large-scale video training and inference. It employs sequence parallelism to split high-resolution or long-duration video samples across multiple GPUs and uses a sparse attention mechanism to increase processing speed. The project includes capabilities for both text-to-video and im

DiT este un model de difuzie latentă și un framework de AI generativ bazat pe transformatoare, implementat în PyTorch. Funcționează ca un generator de imagini condiționat de clasă care înlocuiește backbone-urile convoluționale tradiționale cu o arhitectură de transformator pentru a sintetiza imagini de înaltă fidelitate. Proiectul utilizează procesarea latentă bazată pe patch-uri și compresia spațiului latent pentru a opera pe reprezentări de imagini cu dimensiuni reduse. Încorporează ghidaj condiționat de clasă și scale de ghidaj ajustabile pentru a controla conținutul vizual al imaginilor generate în timpul procesului de eșantionare. Framework-ul acoperă antrenarea distribuită a modelelor, eșantionarea iterativă a zgomotului și crearea de seturi de date de imagini sintetice. Include, de asemenea, instrumente pentru evaluarea calității modelului pentru a calcula scorurile de acuratețe și calitate față de benchmark-urile standard.

Sana is a framework for high-resolution image and video synthesis based on a linear diffusion transformer. It provides a toolkit for the training, fine-tuning, and execution of text-to-image and text-to-video models, as well as a video generative world model capable of simulating physical environments with precise spatial control. The project is distinguished by its use of linear complexity layers to handle high resolutions and its support for long-form, minute-length video generation in real time. It implements a two-stage inference paradigm that separates structural generation from visual t

StyleTTS2 is an adversarial text-to-speech model that uses style diffusion and large speech language models to generate natural-sounding speech from text input. It combines adversarial training with large pre-trained speech models to improve speech quality and reduce artifacts, while employing a style diffusion process that extracts prosodic and timbral features from reference audio to guide speech generation. The model supports multi-speaker voice synthesis by conditioning the diffusion process on speaker-specific embeddings derived from reference utterances, enabling voice cloning and adapt

YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open

MegaTTS3 is a bilingual speech synthesis system that generates natural-sounding speech in Chinese and English, including seamless code-switching within a single utterance. It functions as a text-to-speech engine, voice cloning system, and speech-to-text alignment tool, built around an acoustic latent compression model that encodes high-resolution audio into compact representations for efficient processing. The system distinguishes itself through accent intensity control, allowing adjustment of a speaker's accent strength in generated speech, and voice cloning from short audio samples for pers

HunyuanDiT is a bilingual text-to-image generative model and diffusion transformer image generator. It uses a latent diffusion system to synthesize high-resolution images from text prompts, with a specific focus on understanding and generating content from both Chinese and English language descriptions. The project features a multi-resolution transformer architecture and a bilingual embedding space to map different scripts into a shared semantic area. It supports iterative multi-turn image refinement, which translates conversational dialogue into updated prompts to progressively modify visual

Acesta este un framework de deep learning PyTorch și un instrument pentru sinteza mișcării umane care generează animații de personaje 3D din prompt-uri text sau descrieri de acțiuni. Funcționează ca un generator text-to-motion care convertește limbajul natural și etichetele categorice în secvențe de mișcare scheletică 3D consistente temporal. Sistemul utilizează un model de difuzie bazat pe transformer pentru a denoise iterativ datele de mișcare. Include capabilități pentru generarea condiționată de acțiuni, lifting-ul mișcării de la monocular la 3D și editarea secvențelor de mișcare folosind constrângeri textuale. Framework-ul încorporează aplicarea constrângerilor geometrice de mișcare pentru a asigura plauzibilitatea fizică prin pierderi (losses) de poziție a articulațiilor și viteză. Acoperă, de asemenea, întregul pipeline de animație, inclusiv antrenarea modelului de mișcare, evaluarea performanței față de seturi de date de benchmark, randarea mesh-urilor 3D și controlul simulării bazate pe fizică pentru interacțiunea cu mediul.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal

Acesta este un framework de învățare auto-supervizată PyTorch conceput pentru a antrena modele care învață reprezentări vizuale din video. Acesta implementează o arhitectură predictivă cu joint-embedding care extrage caracteristici spatio-temporale prin prezicerea regiunilor lipsă ale unui semnal într-un spațiu de reprezentare latentă, în loc de reconstrucția pixelilor bruti. Proiectul include un instrument de vizualizare a spațiului latent care utilizează un model de difuzie condiționată pentru a decoda predicțiile din spațiul caracteristicilor înapoi în pixeli. Acest lucru permite verificarea reprezentărilor învățate prin transformarea predicțiilor abstracte în imagini interpretabile. Framework-ul oferă o suită de antrenare distribuită pentru executarea pre-antrenării și evaluării la scară largă pe clustere multi-GPU. Acoperă întregul pipeline pentru învățarea reprezentării video, incluzând eșantionarea datelor spatio-temporale, extragerea caracteristicilor bazată pe transformer și evaluarea encoderelor înghețate prin linear probing și benchmark-uri de clasificare.

Mochi is an open-source text-to-video diffusion model designed to synthesize high-fidelity video sequences from natural language prompts. It utilizes a diffusion transformer architecture to generate temporal video data. The project includes a framework for low-rank adaptation, allowing the model to be fine-tuned on custom datasets to specialize visual styles or specific subjects. It also features a distributed inference engine that spreads model workloads across multiple graphics cards to increase memory capacity and processing speed. The system covers programmable video generation through a