Awesome GitHub RepositoriesDiffusion Conditioning Architectures

ControlNet is a framework for structural image generation that extends pre-trained diffusion models with neural network architectures designed for precise spatial control. By injecting structural guidance directly into the latent-space denoising process, the system enables users to enforce geometric or semantic constraints on generated outputs while maintaining style consistency. The framework distinguishes itself through a weight-locked copying mechanism that preserves the integrity of the original model while introducing new control signals. It supports multi-condition synthesis, allowing f

This is a framework for training and sampling diffusion models to generate high-fidelity images, video, and 4D assets. It provides a modular environment for managing generative AI training pipelines, including the handling of datasets, noise sampling, and loss weighting to stabilize the creation of synthetic content. The project features a modular model configuration system that uses YAML-based assembly to define network submodules and conditioners. It also includes a dedicated toolset for AI image watermarking, allowing for the embedding and detection of invisible markers to verify the origi

MiniCPM-o is a multimodal large language model designed to function as a real-time conversational assistant on edge devices. By mapping text, image, video, and audio inputs into a unified latent space, the system enables simultaneous cross-modal reasoning and full-duplex interaction. It is built as an edge-side inference engine, utilizing quantized model weights to maintain high-performance processing on consumer hardware. The system distinguishes itself through its integrated speech synthesis and voice cloning capabilities, which allow for the generation of expressive, personalized vocal out

Audiocraft is a deep learning audio library and machine learning framework designed for training, fine-tuning, and evaluating generative models for music and sound effects. It functions as a text-to-music generative model and a neural audio codec, providing the tools necessary to compress audio signals into discrete representations and synthesize high-fidelity waveforms from textual descriptions. The framework is distinguished by its ability to combine multiple conditioning signals, allowing for the generation of audio based on text prompts, melodic excerpts, or style-based audio clips. It al

Tortoise-tts is a neural text-to-speech engine and voice cloning toolkit designed for high-quality audio generation. It functions as a zero-shot synthesis system, meaning it can generate speech for unseen speakers without requiring additional training or fine-tuning for each new voice. The system specializes in replicating human vocal characteristics using small sets of reference audio clips. It allows for the extraction of voice latents to mimic specific speakers, the generation of random synthetic identities, and the blending of multiple voice profiles to create hybrid vocal identities. Th

AnimateAnyone is an appearance-preserving video synthesizer designed for character animation from a single static image. It functions as a diffusion image-to-video generator that transforms a source image into a high-fidelity video sequence while maintaining consistent character identity, clothing, and visual details across all frames. The system enables video-driven character reenactment by transferring motions, facial expressions, and body movements from a reference video onto a static character. It employs pose-guided video generation to control movement via skeleton keypoints and pose sig

CSM is a conversational speech generation model and text-to-speech engine that converts text and audio inputs into synthetic speech. It utilizes a large language model architecture to predict and decode audio tokens for voice synthesis. The system functions as a zero-shot voice cloner, replicating specific speaker identities using short audio samples without requiring additional training. This enables precise control over speaker identity and the creation of synthetic speech that mimics a specific person. The model covers conversational speech synthesis and text-to-speech generation, transfo

Stable Diffusion WebUI Forge is a web-based interface and inference engine designed for the generation of AI media. It functions as a platform for executing diffusion-based models, providing a centralized environment to manage image preprocessors, custom generation logic, and hardware-accelerated sampling. The project distinguishes itself through a neural network patching framework that allows for the modification of model layers and the application of spatial conditioning during inference. By injecting custom logic and adapters directly into the network, users can influence output behaviors

Neutts is a neural text-to-speech engine designed for real-time streaming output on edge devices such as phones and laptops. It supports voice cloning from short audio references, enabling zero-shot reproduction of a target speaker's voice, and can be fine-tuned or retrained from scratch for custom voices and styles. The system distinguishes itself through a decoder-only architecture that halves memory and accelerates generation on constrained hardware, combined with quantized model inference for reduced memory footprint. Its streaming decoder loop interleaves synthesis with playback, deliver

LatentSync est un générateur de vidéo piloté par l'audio et un modèle de synchronisation labiale par diffusion latente conçu pour synchroniser les mouvements des lèvres d'un locuteur dans une vidéo avec une piste audio cible. Il fournit un framework d'entraînement de synchronisation labiale pour développer des réseaux de synchronisation sur des jeux de données vidéo et audio personnalisés. Le système utilise un pipeline de prétraitement vidéo pour nettoyer, segmenter et aligner les données faciales. Il inclut un outil d'évaluation de synchronisation visuelle qui calcule des scores de confiance pour mesurer la précision de l'alignement audio et visuel dans les vidéos générées. Le projet couvre des capacités pour le développement de réseaux de synchronisation personnalisés, la gestion de la configuration d'entraînement pour la mémoire matérielle et la résolution, ainsi que l'évaluation de vidéo synthétique.

Parler-TTS is a library for generating high-quality speech from text, supporting both inference and model training. It combines a transformer-based text-to-speech generator with a mel-spectrogram decoder to convert written text into natural-sounding audio. The project distinguishes itself through text-conditioned voice control, which allows speaker attributes like gender, pitch, speaking rate, and style to be adjusted via a natural-language description. It also includes speaker embedding selection for maintaining voice identity across multiple generations, and a fine-tuning recipe system that

EchoMimic V2 is an AI video generation pipeline and computer vision animation model designed to produce synthetic human animations. It functions as a generative framework that creates semi-body videos by aligning a static reference image with pose movements extracted from a driving video. The system utilizes a diffusion-based generation process combined with latent space compression and a temporal attention mechanism to ensure smooth transitions between frames. It maintains consistent person identity through reference-based encoding and guides spatial placement via pose-driven motion conditio

Diffusion Policy est un framework d'apprentissage robotique qui utilise des modèles de diffusion pour mapper des observations visuelles vers des trajectoires d'action précises. Il fonctionne comme une boîte à outils d'apprentissage par imitation et un apprenant de politique visuomotrice, fournissant un système pour entraîner des réseaux de neurones qui répliquent le comportement humain en générant des mouvements robotiques basés sur des données d'image et de capteurs. Le framework emploie un processus de débruitage conditionnel pour échantillonner des séquences de mouvements robotiques, lui permettant de gérer des distributions d'actions multimodales où plusieurs trajectoires valides peuvent exister pour un seul état. Il utilise une modélisation d'action basée sur le score et un générateur d'action robotique pour produire des comportements précis pour des tâches physiques complexes. Le projet couvre un pipeline de données robotiques complet, incluant la collecte de démonstrations menées par des humains et le stockage de trajectoires à grande échelle dans des formats compressés et segmentés. Ses capacités de contrôle incluent le contrôle à horizon glissant via une exécution en fenêtre coulissante et la livraison asynchrone d'actions aux contrôleurs matériels pour maintenir des boucles d'observation à haute fréquence. Le système inclut des outils pour la gestion d'expériences, tels que l'encapsulation d'espace de travail et la sauvegarde de checkpoints de modèles, ainsi que l'évaluation de politiques pour les tests sur matériel physique ou simulé.

Champ est un système de vision génératif et un générateur image-à-vidéo contrôlable conçu pour l'animation d'images humaines. Il utilise un synthétiseur vidéo basé sur la diffusion et un guidage paramétrique 3D pour transformer une image de référence unique en une séquence cohérente de mouvement basée sur des données de pilotage externes. Le framework se distingue par un système de transfert de pose humaine qui emploie l'extraction paramétrique du corps 3D et l'alignement dans l'espace de coordonnées. Cela permet au modèle de mapper le mouvement d'une vidéo de pilotage vers une personne de référence en s'ajustant aux échelles corporelles et aux perspectives de caméra en utilisant des cartes de profondeur et de conditionnement sémantique. Le système couvre un large éventail de capacités incluant l'affinement des données de mouvement, le transfert de mouvement paramétrique et un pipeline d'entraînement de modèle de vision à deux étapes. Ces processus assurent la cohérence structurelle et la stabilité temporelle à travers les animations humaines générées.

EchoMimic est un framework d'animation de portrait piloté par l'audio et un générateur de vidéo par diffusion latente. Il transforme des images de référence statiques en vidéos de têtes parlantes dynamiques en synchronisant les mouvements faciaux avec des pistes audio et des pilotes de mouvement. Le système fonctionne comme un moteur de synthèse de mouvement hybride qui combine des entrées audio et des données de pose. Il utilise un contrôleur de mouvement de points de repère faciaux pour éditer les marqueurs de positionnement, permettant une synchronisation précise et un transfert de pose vidéo-à-vidéo. Le pipeline couvre l'animation image-à-vidéo par diffusion latente et le conditionnement par points de repère faciaux. Cela permet une animation de portrait pilotée par l'audio, la pose, ou une combinaison des deux sources de guidage.

ComfyUI-LTXVideo is a generative framework and ComfyUI custom node extension for synthesizing high-fidelity video. It utilizes a latent diffusion and transformer-based system to create cinematic clips from text, image, and audio inputs, providing a modular interface for precise control over subject behavior and temporal consistency. The tool distinguishes itself with production-grade capabilities, including the generation of High Dynamic Range video in linear formats such as ARRI LogC3. It supports multimodal synchronization for audio-driven animation and lip-syncing, and allows for the creat