Refusion

Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models^[1]

IR-SDE 作者在 NTIRE 2023 Shadow Removal Challenge 中提出的算法,整体比较简单,不过其中的某些超参设置,网络结构,训练策略等值得 mark 一下.

贡献

使用 IR-SDE 作为基础，改进网络结构（NAFNet）、噪声等级、去噪步、训练图像尺寸、优化器/时间表；提出一个基于隐式扩散模型的 U-Net 结构（为了适用于大尺寸图像），在解码时保留原始输入的高分辨率信息。

方法

上图中，这个结构会通过 skip-connections 保留原始输入的多尺度的细节。训练时，LQ 通过编码然后解码，使用 $L_1$ 损失训练，然后同样的在 HQ 上训练。

NAFNet 使用“SimpleGate” 替换所有非线性激活函数。

改进的训练策略：

实验

参考

1. Z. Luo, F. K. Gustafsson, Z. Zhao, J. Sjölund, and T. B. Schön, “Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models.” arXiv, Apr. 17, 2023. Accessed: Jan. 11, 2024. [Online]. Available: http://arxiv.org/abs/2304.08291 ↩