Awesome GitHub RepositoriesDiffusion Transformers

Open-Sora is a video generation framework designed to produce cinematic sequences from text prompts and images. It functions as a generative system that transforms written descriptions or reference images into video content featuring realistic textures and lighting. The project includes a dedicated prompt engineering tool that uses large language models to expand simple user inputs into detailed descriptions. It also features a motion controller for adjusting movement intensity in generated sequences and evaluating motion levels in existing video files. The framework incorporates text-to-vid

F5-TTS is a text-to-speech system that utilizes a flow matching engine and diffusion transformers to generate fluent synthetic speech. It functions as a multilingual speech synthesizer and neural training framework, providing tools for voice cloning and high-performance inference serving. The project distinguishes itself through a voice cloning toolkit capable of mimicking specific speaker characteristics and tones from reference audio clips. It supports cross-lingual generation, allowing for the synthesis of audio across various global languages or the mixing of multiple languages within a s

Open-Sora-Plan is a text-to-video framework and distributed video training system. It utilizes a diffusion transformer architecture and large language model components to transform written descriptions or image prompts into high-quality video sequences. The system features a distributed infrastructure designed for large-scale video training and inference. It employs sequence parallelism to split high-resolution or long-duration video samples across multiple GPUs and uses a sparse attention mechanism to increase processing speed. The project includes capabilities for both text-to-video and im

DiT ist ein latentes Diffusionsmodell und ein auf Transformern basierendes generatives KI-Framework, das in PyTorch implementiert ist. Es fungiert als klassenbedingter Bildgenerator, der traditionelle konvolutionale Backbones durch eine Transformer-Architektur ersetzt, um hochauflösende Bilder zu synthetisieren. Das Projekt nutzt patchbasierte latente Verarbeitung und latente Raumkompression, um auf niedrigdimensionalen Bildrepräsentationen zu operieren. Es integriert klassenbedingte Steuerung und anpassbare Guidance-Skalen, um den visuellen Inhalt generierter Bilder während des Sampling-Prozesses zu steuern. Das Framework deckt verteiltes Modelltraining, iteratives Noise-Sampling und die Erstellung synthetischer Bilddatensätze ab. Es enthält zudem Werkzeuge zur Bewertung der Modellqualität, um Genauigkeits- und Qualitätswerte anhand von Standard-Benchmarks zu berechnen.

Sana is a framework for high-resolution image and video synthesis based on a linear diffusion transformer. It provides a toolkit for the training, fine-tuning, and execution of text-to-image and text-to-video models, as well as a video generative world model capable of simulating physical environments with precise spatial control. The project is distinguished by its use of linear complexity layers to handle high resolutions and its support for long-form, minute-length video generation in real time. It implements a two-stage inference paradigm that separates structural generation from visual t

StyleTTS2 is an adversarial text-to-speech model that uses style diffusion and large speech language models to generate natural-sounding speech from text input. It combines adversarial training with large pre-trained speech models to improve speech quality and reduce artifacts, while employing a style diffusion process that extracts prosodic and timbral features from reference audio to guide speech generation. The model supports multi-speaker voice synthesis by conditioning the diffusion process on speaker-specific embeddings derived from reference utterances, enabling voice cloning and adapt

YuE: Open Full-song Music Generation Foundation Model, something similar to Suno.ai but open

MegaTTS3 is a bilingual speech synthesis system that generates natural-sounding speech in Chinese and English, including seamless code-switching within a single utterance. It functions as a text-to-speech engine, voice cloning system, and speech-to-text alignment tool, built around an acoustic latent compression model that encodes high-resolution audio into compact representations for efficient processing. The system distinguishes itself through accent intensity control, allowing adjustment of a speaker's accent strength in generated speech, and voice cloning from short audio samples for pers

HunyuanDiT ist ein zweisprachiges Text-zu-Bild-Generativmodell und ein Diffusions-Transformer-Bildgenerator. Es verwendet ein latentes Diffusionssystem, um hochauflösende Bilder aus Text-Prompts zu synthetisieren, mit einem besonderen Fokus auf das Verständnis und die Generierung von Inhalten aus chinesischen und englischen Beschreibungen. Das Projekt zeichnet sich durch eine Multi-Resolution-Transformer-Architektur und einen zweisprachigen Embedding-Raum aus, um verschiedene Schriften in einen gemeinsamen semantischen Bereich abzubilden. Es unterstützt iterative, mehrstufige Bildverfeinerungen, bei denen Konversationsdialoge in aktualisierte Prompts übersetzt werden, um visuelle Inhalte schrittweise zu modifizieren. Das System umfasst Funktionen für automatisierte Bildbeschriftungen, strukturelle Bildvorgaben zur Layout-Kontrolle sowie das Fine-Tuning von Modellgewichten, um den Generator an spezifische Datensätze oder künstlerische Stile anzupassen. Performance-Optimierungen beinhalten Model-Distillation zur Beschleunigung der Inferenz sowie Unterstützung für die Ausführung auf Hardware mit geringem Videospeicher.

Dies ist ein PyTorch-Deep-Learning-Framework und Tool für menschliche Bewegungssynthese, das 3D-Charakteranimationen aus Text-Prompts oder Aktionsbeschreibungen generiert. Es fungiert als Text-to-Motion-Generator, der natürliche Sprache und kategorische Labels in zeitlich konsistente 3D-Skelettbewegungssequenzen umwandelt. Das System nutzt ein Transformer-basiertes Diffusionsmodell, um Bewegungsdaten iterativ zu entrauschen. Es enthält Funktionen für aktionskonditionierte Generierung, Monocular-to-3D-Motion-Lifting und die Bearbeitung von Bewegungssequenzen mittels Text-Constraints. Das Framework integriert die Durchsetzung geometrischer Bewegungs-Constraints, um die physikalische Plausibilität durch Gelenkpositions- und Geschwindigkeitsverluste sicherzustellen. Es deckt zudem die vollständige Animations-Pipeline ab, einschließlich Training von Bewegungsmodellen, Leistungsbewertung anhand von Benchmark-Datensätzen, 3D-Mesh-Rendering und physikbasierter Simulationssteuerung für die Interaktion mit der Umgebung.

ACE-Step is a high-fidelity audio synthesis system and diffusion model designed to generate music and vocals from text descriptions. It functions as a music generator and vocal synthesizer, using a diffusion transformer decoder to produce audio across various languages and genres. The project provides tools for text-guided audio editing, including the ability to extend the duration of tracks, regenerate specific song segments, and perform latent-space audio inpainting to modify lyrics or styles. It also includes a framework for audio style fine-tuning using low-rank adaptation to adapt vocal

Dies ist ein PyTorch-Framework für selbstüberwachtes Lernen, das darauf ausgelegt ist, Modelle zu trainieren, die visuelle Repräsentationen aus Videos lernen. Es implementiert eine Joint-Embedding-Predictive-Architektur, die räumlich-zeitliche Merkmale extrahiert, indem sie fehlende Regionen eines Signals innerhalb eines latenten Repräsentationsraums vorhersagt, anstatt rohe Pixel zu rekonstruieren. Das Projekt enthält ein Tool zur Visualisierung des latenten Raums, das ein konditionales Diffusionsmodell verwendet, um Vorhersagen im Merkmalsraum zurück in Pixel zu dekodieren. Dies ermöglicht die Verifizierung gelernter Repräsentationen durch die Transformation abstrakter Vorhersagen in interpretierbare Bilder. Das Framework bietet eine Suite für verteiltes Training zur Ausführung von Large-Scale-Pretraining und Evaluierung über Multi-GPU-Cluster hinweg. Es deckt die End-to-End-Pipeline für das Lernen von Videorepräsentationen ab, einschließlich räumlich-zeitlicher Datensampling, Transformer-basierter Merkmalsextraktion und der Evaluierung eingefrorener Encoder durch Linear Probing und Klassifizierungs-Benchmarks.

Mochi is an open-source text-to-video diffusion model designed to synthesize high-fidelity video sequences from natural language prompts. It utilizes a diffusion transformer architecture to generate temporal video data. The project includes a framework for low-rank adaptation, allowing the model to be fine-tuned on custom datasets to specialize visual styles or specific subjects. It also features a distributed inference engine that spreads model workloads across multiple graphics cards to increase memory capacity and processing speed. The system covers programmable video generation through a