Awesome GitHub RepositoriesReference-Conditioned Generation

Open-Higgsfield-AI is a generative AI content studio and visual workflow orchestrator. It provides a unified interface for creating photorealistic images and videos, utilizing a node-based editor to chain multiple image, video, and audio models into automated content pipelines. The system functions as an AI video animation tool and local GPU inference engine, allowing users to run generative models on local hardware or remote servers. It includes specialized capabilities for audio-driven lip synchronization and cinematic camera controls to adjust virtual lens and focal settings. The platform

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

IC-Light is a diffusion-based image editor and generative tool designed for controlling the illumination of foreground subjects. It functions as an image relighting system that uses latent diffusion models to modify lighting effects on isolated subjects. The project provides two primary methods for lighting control: text-based relighting, which uses descriptive prompts and lighting directions, and background-based relighting, which conditions the foreground lighting to match the visual properties of a provided background image. Beyond illumination, the system includes a surface normal estima

EMO este un model de animație a portretelor AI și de difuzie audio-video conceput pentru a genera videoclipuri expresive cu capete vorbitoare. Acesta transformă o singură imagine statică de portret și o pistă audio într-un videoclip sincronizat al unei persoane care vorbește. Sistemul se concentrează pe sinteza digitală a oamenilor, producând mișcări faciale de înaltă fidelitate și indicii emoționale. Sincronizează mișcările buzelor și gesturile faciale cu înregistrările vocale pentru a crea animații realiste ale portretelor. Framework-ul utilizează un proces de difuzie și un mecanism de aliniere cross-modal pentru a asigura sincronizarea între semnalele audio și punctele de reper vizuale. Utilizează condiționarea imaginii bazată pe referință pentru a menține consistența identității și un strat de consistență temporală pentru a asigura o mișcare fluidă între cadre.

AniPortrait este un pipeline de sinteză video AI conceput pentru a genera portrete vorbitoare fotorealiste și animații faciale. Funcționează ca un generator de talking head și animator bazat pe audio care sincronizează mișcările buzelor, expresiile și pozițiile capului cu surse de vorbire sau video de referință. Sistemul include un instrument de transfer al expresiilor faciale pentru reenactment-ul mișcărilor dintr-un video sursă pe o imagine de referință statică. Utilizează un model de difuzie latentă cu condiționare a imaginii bazată pe referință pentru a menține identitatea vizuală și consistența pe cadrele generate. Pipeline-ul acoperă maparea audio-la-expresie, controlul mișcării ghidat de poziție și sinteza video fotorealistă. Încorporează upsampling prin interpolarea cadrelor pentru a accelera procesul de generare și a reduce timpul total de randare.

VisualGLM-6B este un model de limbaj multimodal bilingv și model viziune-limbaj conceput pentru sarcini conversaționale și înțelegere vizuală. Funcționează ca un model AI bilingv capabil să proceseze și să genereze răspunsuri atât în chineză, cât și în engleză. Sistemul este un model de limbaj mare cuantizat care suportă precizie pe 4 și 8 biți pentru a reduce utilizarea memoriei și cerințele hardware în timpul implementării locale. Este, de asemenea, un model de fine-tuning eficient din punct de vedere al parametrilor, permițând ajustări ale ponderilor pentru a adapta sistemul la sarcini specifice fără a fi nevoie de o reantrenare completă. Proiectul acoperă AI conversațional multimodal și dialog bazat pe imagini, permițând analiza conținutului vizual pentru a efectua sarcini de înțelegere vizuală în mai multe limbi. Capabilitățile sale includ cuantizarea preciziei modelului și fine-tuning specific domeniului pentru aplicații specializate.

ComfyUI-nunchaku is a 4-bit diffusion inference engine and a set of nodes for running low-precision quantized diffusion models within ComfyUI visual workflows. It provides a backend that reduces memory overhead and increases generation speed for transformer models. The project includes specialized tools for identity-preserving generation and an image-to-image guidance toolkit that uses depth maps and reference images. It also features a multimodal visual question answering implementation and a utility for merging multiple quantized model files into single unified files. The engine covers a b

HunyuanImage-3.0 is a diffusion-based text-to-image tool and large language model image generator designed for creating high-fidelity, photorealistic visual content. It functions as an image-to-image synthesis framework and a multimodal visual reasoning engine. The system includes a prompt refinement system that automatically rewrites sparse user inputs into detailed descriptions to improve output precision. It also employs a reasoning chain architecture to analyze image inputs and prompts, decomposing complex editing tasks into structured sub-tasks. The project covers a range of synthesis c