Awesome GitHub RepositoriesReference-Conditioned Generation

Open-Higgsfield-AI is a generative AI content studio and visual workflow orchestrator. It provides a unified interface for creating photorealistic images and videos, utilizing a node-based editor to chain multiple image, video, and audio models into automated content pipelines. The system functions as an AI video animation tool and local GPU inference engine, allowing users to run generative models on local hardware or remote servers. It includes specialized capabilities for audio-driven lip synchronization and cinematic camera controls to adjust virtual lens and focal settings. The platform

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

IC-Light is a diffusion-based image editor and generative tool designed for controlling the illumination of foreground subjects. It functions as an image relighting system that uses latent diffusion models to modify lighting effects on isolated subjects. The project provides two primary methods for lighting control: text-based relighting, which uses descriptive prompts and lighting directions, and background-based relighting, which conditions the foreground lighting to match the visual properties of a provided background image. Beyond illumination, the system includes a surface normal estima

EMO es un modelo de difusión de audio a video y animador de retratos por IA diseñado para generar videos expresivos de cabezas parlantes. Transforma una imagen de retrato estática y una pista de audio en un video sincronizado de una persona hablando. El sistema se centra en la síntesis de humanos digitales, produciendo movimientos faciales de alta fidelidad y señales emocionales. Sincroniza los movimientos de los labios y los gestos faciales con las grabaciones de voz para crear animaciones de retratos realistas. El framework utiliza un proceso de difusión y un mecanismo de alineación intermodal para asegurar la sincronización entre las señales de audio y los puntos de referencia visuales. Emplea un condicionamiento de imagen basado en referencias para mantener la consistencia de la identidad y una capa de consistencia temporal para asegurar un movimiento fluido entre fotogramas.

AniPortrait es un pipeline de síntesis de video por IA diseñado para generar retratos parlantes fotorrealistas y animaciones faciales. Funciona como un generador de cabezas parlantes y animador impulsado por audio que sincroniza los movimientos de los labios, las expresiones y las poses de la cabeza con fuentes de voz o video de referencia. El sistema incluye una herramienta de transferencia de expresiones faciales para recrear movimientos de un video fuente en una imagen de referencia estática. Utiliza un modelo de difusión latente con condicionamiento de imagen basado en referencia para mantener la identidad visual y la consistencia a través de los fotogramas generados. El pipeline cubre el mapeo de audio a expresión, el control de movimiento guiado por pose y la síntesis de video fotorrealista. Incorpora un upsampling de interpolación de fotogramas para acelerar el proceso de generación y reducir el tiempo total de renderizado.

VisualGLM-6B es un modelo de lenguaje grande multimodal bilingüe y modelo de visión-lenguaje diseñado para tareas conversacionales y comprensión visual. Funciona como un modelo de IA bilingüe capaz de procesar y generar respuestas tanto en chino como en inglés. El sistema es un modelo de lenguaje grande cuantizado que admite precisión de 4 y 8 bits para reducir el uso de memoria y los requisitos de hardware durante el despliegue local. También es un modelo de ajuste fino (fine-tuning) eficiente en parámetros, lo que permite realizar ajustes de peso para adaptar el sistema a tareas específicas sin necesidad de reentrenamiento completo. El proyecto cubre IA conversacional multimodal y diálogo basado en imágenes, permitiendo el análisis de contenido visual para realizar tareas de comprensión visual en múltiples idiomas. Sus capacidades incluyen cuantización de precisión del modelo y ajuste fino específico de dominio para aplicaciones especializadas.

ComfyUI-nunchaku is a 4-bit diffusion inference engine and a set of nodes for running low-precision quantized diffusion models within ComfyUI visual workflows. It provides a backend that reduces memory overhead and increases generation speed for transformer models. The project includes specialized tools for identity-preserving generation and an image-to-image guidance toolkit that uses depth maps and reference images. It also features a multimodal visual question answering implementation and a utility for merging multiple quantized model files into single unified files. The engine covers a b

HunyuanImage-3.0 is a diffusion-based text-to-image tool and large language model image generator designed for creating high-fidelity, photorealistic visual content. It functions as an image-to-image synthesis framework and a multimodal visual reasoning engine. The system includes a prompt refinement system that automatically rewrites sparse user inputs into detailed descriptions to improve output precision. It also employs a reasoning chain architecture to analyze image inputs and prompts, decomposing complex editing tasks into structured sub-tasks. The project covers a range of synthesis c