Awesome GitHub RepositoriesReference-Conditioned Generation

Open-Higgsfield-AI is a generative AI content studio and visual workflow orchestrator. It provides a unified interface for creating photorealistic images and videos, utilizing a node-based editor to chain multiple image, video, and audio models into automated content pipelines. The system functions as an AI video animation tool and local GPU inference engine, allowing users to run generative models on local hardware or remote servers. It includes specialized capabilities for audio-driven lip synchronization and cinematic camera controls to adjust virtual lens and focal settings. The platform

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

IC-Light is a diffusion-based image editor and generative tool designed for controlling the illumination of foreground subjects. It functions as an image relighting system that uses latent diffusion models to modify lighting effects on isolated subjects. The project provides two primary methods for lighting control: text-based relighting, which uses descriptive prompts and lighting directions, and background-based relighting, which conditions the foreground lighting to match the visual properties of a provided background image. Beyond illumination, the system includes a surface normal estima

EMO est un modèle d'animation de portrait par IA et de diffusion audio-vers-vidéo conçu pour générer des vidéos expressives de têtes parlantes. Il transforme une image de portrait statique unique et une piste audio en une vidéo synchronisée d'une personne qui parle. Le système se concentre sur la synthèse d'humains numériques, produisant des mouvements faciaux haute fidélité et des indices émotionnels. Il synchronise les mouvements des lèvres et les gestes faciaux avec les enregistrements vocaux pour créer des animations de portrait réalistes. Le framework utilise un processus de diffusion et un mécanisme d'alignement cross-modal pour assurer la synchronisation entre les signaux audio et les points de repère visuels. Il emploie un conditionnement d'image basé sur une référence pour maintenir la cohérence de l'identité et une couche de cohérence temporelle pour assurer la fluidité du mouvement entre les images.

AniPortrait est un pipeline de synthèse vidéo IA conçu pour générer des portraits parlants photoréalistes et des animations faciales. Il fonctionne comme un générateur de têtes parlantes et un animateur piloté par l'audio qui synchronise les mouvements des lèvres, les expressions et les poses de la tête avec la parole ou des sources vidéo de référence. Le système inclut un outil de transfert d'expression faciale pour réenacter les mouvements d'une vidéo source sur une image de référence statique. Il utilise un modèle de diffusion latente avec un conditionnement d'image basé sur la référence pour maintenir l'identité visuelle et la cohérence à travers les images générées. Le pipeline couvre le mappage audio-vers-expression, le contrôle de mouvement guidé par la pose et la synthèse vidéo photoréaliste. Il incorpore un suréchantillonnage par interpolation d'images pour accélérer le processus de génération et réduire le temps de rendu total.

VisualGLM-6B est un grand modèle de langage multimodal bilingue et un modèle vision-langage conçu pour les tâches conversationnelles et la compréhension visuelle. Il fonctionne comme une IA bilingue capable de traiter et de générer des réponses en chinois et en anglais. Le système est un grand modèle de langage quantifié prenant en charge la précision 4 bits et 8 bits pour réduire l'utilisation de la mémoire et les exigences matérielles lors du déploiement local. C'est également un modèle de fine-tuning efficace en paramètres, permettant des ajustements de poids pour adapter le système à des tâches spécifiques sans réentraînement complet. Le projet couvre l'IA conversationnelle multimodale et le dialogue basé sur l'image, permettant l'analyse de contenu visuel pour effectuer des tâches de compréhension visuelle dans plusieurs langues. Ses capacités incluent la quantification de la précision du modèle et le fine-tuning spécifique au domaine pour des applications spécialisées.

ComfyUI-nunchaku is a 4-bit diffusion inference engine and a set of nodes for running low-precision quantized diffusion models within ComfyUI visual workflows. It provides a backend that reduces memory overhead and increases generation speed for transformer models. The project includes specialized tools for identity-preserving generation and an image-to-image guidance toolkit that uses depth maps and reference images. It also features a multimodal visual question answering implementation and a utility for merging multiple quantized model files into single unified files. The engine covers a b

HunyuanImage-3.0 is a diffusion-based text-to-image tool and large language model image generator designed for creating high-fidelity, photorealistic visual content. It functions as an image-to-image synthesis framework and a multimodal visual reasoning engine. The system includes a prompt refinement system that automatically rewrites sparse user inputs into detailed descriptions to improve output precision. It also employs a reasoning chain architecture to analyze image inputs and prompts, decomposing complex editing tasks into structured sub-tasks. The project covers a range of synthesis c