Awesome GitHub RepositoriesInverse Problems

Inpaint-Anything ist ein diffusionsbasierter Bildeditor und Inpainting-Tool, das entwickelt wurde, um Objekte in Bildern, Videos und 3D-Szenen zu entfernen oder zu ersetzen. Es fungiert als textgesteuerter Manipulator, der natürlichsprachliche Beschreibungen und maskenbasiertes Füllen verwendet, um visuelle Inhalte zu modifizieren. Das System bietet spezialisierte Funktionen für die Bearbeitung von 3D-Szenen aus mehreren Blickwinkeln und die Entfernung von Objekten aus Videos. Es verfolgt ausgewählte Objekte über mehrere Frames oder Perspektiven hinweg, um konsistente Hintergründe zu synthetisieren und die räumliche Kohärenz nach dem Entfernen eines Elements zu wahren. Das Tool deckt eine Reihe von Bildbearbeitungsaufgaben ab, darunter Hintergrundersetzung, Objektfüllung und das Entfernen spezifischer Elemente aus statischen Bildern. Diese Operationen werden durch Text-Prompts und punktbasierte Maskengenerierung gesteuert.

DiffBIR ist ein auf Diffusion basierendes Framework zur Bildrestaurierung für die blinde Bildrekonstruktion. Es nutzt generative Diffusions-Priors, um hochwertige Bilder aus Quellen mit unbekannten oder komplexen Degradierungen wiederherzustellen, ohne dass explizite Degradierungsmodelle erforderlich sind. Das System enthält spezialisierte Modelle für die Gesichtsrestaurierung, die die Wiederherstellung von Gesichtszügen, Texturen und Hintergründen in beschädigten Porträts ermöglichen. Um hochauflösende Ausgaben auf Hardware mit begrenztem Speicher zu unterstützen, verwendet es einen Kachel-Upscaler, der Bilder während des Samplings in kleinere Patches unterteilt. Das Framework umfasst eine mehrstufige Restaurierungspipeline und generatives Bild-Upscaling. Es bietet Funktionen für das Training von Restaurierungsmodellen und die Anwendung spezialisierter Gewichte zur Optimierung der Verbesserung für spezifische Szenen.

Paper | Project Page | Video | WebUI | ModelScope | ComfyUI

Zongsheng Yue, Jianyi Wang, Chen Change Loy

Yinhuai Wang, Jiwen Yu, Jian Zhang Peking University and PCL \*denotes equal contribution

Official implementation of Cold-Diffusion for different transformations in pytorch.

Ziwei Luo, Fredrik K. Gustafsson, Zheng Zhao, Jens Sjölund, Thomas B. Schön Department of Information Technology, Uppsala University

Zongsheng Yue, Chen Change Loy

CVPR 2024: Residual Denoising Diffusion Models

Yuanzhi Zhu, Kai Zhang, Jingyun Liang, Jiezhang Cao, Bihan Wen, Radu Timofte, Luc Van Gool.

This is the code repository of the following paper to train and perform inference with patch-based diffusion models for image restoration under adverse weather conditions.

ACM Multimedia 2023: DocDiff: Document Enhancement via Residual Diffusion Models. Also contains 1597 red seals in Chinese scenes, along with their corresponding binary masks.

PyTorch Implementation of introducing diffusion approach to 3D depth perception ECCV 2024

ICLR2023 Official repository of DDM2: Self-Supervised Diffusion MRI Denoising with Generative Diffusion Models

NeurIPS 2023 PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

The repository contains reproducible PyTorch source code of our paper Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models. We present the first framework to solve general inverse problems leveraging pre-trained latent diffusion models. Previously proposed…

Early Accepted at MICCAI 2023 Pytorch Code of "InverseSR: 3D Brain MRI Super-Resolution Using a Latent Diffusion Model"

Authors: Yuyang Yin, Dejia Xu, Chuangchuang Tan, Ping Liu, Yao Zhao, Yunchao Wei

This is the official impelmenation of the paper Towards Coherent Image Inpainting Using Denoising Diffusion Implicit Models.