Awesome GitHub RepositoriesInstruction-Based Editing

OmniGen2 es un modelo de generación de imágenes unificado y un modelo de lenguaje grande multimodal diseñado para manejar la generación de texto a imagen, tareas de imagen a imagen y edición de imágenes dentro de un único framework. Funciona como un motor visual de modelo de lenguaje causal capaz de generar y editar imágenes basadas en entradas combinadas de texto y visuales. El sistema cuenta con composición visual en contexto y generación impulsada por sujetos, permitiéndole extraer sujetos de imágenes de referencia y colocarlos en nuevas escenas. También admite la edición de imágenes basada en instrucciones, donde objetos o estilos específicos se modifican mediante comandos de lenguaje natural mientras se preserva el resto de la imagen. Las capacidades del modelo se extienden al análisis y razonamiento de contenido visual, permitiendo el reconocimiento de objetos a través de entradas combinadas de texto y visión. Para mejorar la calidad de salida, emplea un proceso de refinamiento visual iterativo con un mecanismo de autocorrección. El rendimiento se gestiona mediante la optimización del uso de VRAM a través de la descarga dinámica de pesos y la aceleración de la velocidad de inferencia utilizando técnicas de caché.

ml-mgie is a multimodal machine learning framework and image editor designed for instruction-based image manipulation. It utilizes multimodal large language models to translate natural language prompts into precise visual modifications, functioning as a text-to-image editing model. The system is a research implementation focused on aligning visual imagination with textual commands. It employs a training process based on image-pair datasets and descriptive instructions to learn how to execute complex visual edits. The framework covers capabilities in AI-powered visual content creation, includ