Awesome GitHub RepositoriesInstruction-Based Editors

Instruct-pix2pix is an instruction-based image model and PyTorch library designed to modify visual content by following natural language directions. It functions as a diffusion model image editor that applies human-written instructions to existing pictures rather than using traditional text-to-image prompts. The project provides a fine-tunable diffusion framework for adapting pre-trained checkpoints to specific image editing datasets. It includes a synthetic dataset generator that creates paired images and text triplets to train models on various image editing tasks. The system covers a rang

OmniGen est un modèle de génération d'images unifié et un framework de diffusion qui traite le texte, les images et les tâches de vision via un système unique. Il fonctionne comme un framework de diffusion multimodal qui traite diverses opérations de vision comme des problèmes de synthèse d'image unifiés en utilisant des poids de modèle partagés, supprimant le besoin de modules adaptateurs externes. Le système prend en charge la génération d'images basée sur le sujet pour préserver l'identité des objets à partir de photos de référence et permet la synthèse d'images multi-références. Il fonctionne également comme un éditeur d'images basé sur des instructions, modifiant le contenu visuel via des prompts en langage naturel. Le framework s'étend aux tâches de vision par ordinateur générative, où des opérations telles que la détection de contours et la reconnaissance de pose sont effectuées en les transformant en tâches de synthèse. Les performances sur des tâches spécifiques peuvent être améliorées via l'affinage des poids du modèle et l'adaptation de bas rang (LoRA).