PAPER READING"2020_Wei_Unsupervised Real-world Image Super Resolution via Domain-distance Aware"

基本信息

Wei, Yunxuan, Shuhang Gu, Yawei Li, and Longcun Jin. 
“Unsupervised Real-World Image Super Resolution via Domain-Distance Aware Training.”
ArXiv:2004.01178 [Cs], April 2, 2020. http://arxiv.org/abs/2004.01178.
CVPR-2021

题目：通过 域距离感知训练 实现 无监督的 真实世界图像超分辨率
CVPR-2021 项目页已提
code: https://github.com/ShuhangGu/DASR
blog: 一作Yunxuan Wei （华南理工学生，导师金龙存 , 悉尼大学交流生）
  二作(顾舒航, 悉尼大学AP，博后 at ETH Zurich, under the supervision of Prof. Luc Van Gool. )https://sites.google.com/site/shuhanggu/

摘要：
  无监督超分。 现有方法的原理在于增强未配对数据，即首先生成 与真实世界域中LR图像$y ^ { r }$-（HR）图像$x ^ { r }$相对应的 合成低分辨率（LR）图像$y ^ { g }$；然后利用伪图像对$\{ y ^ { g } , x ^ { r } \}$ 进行监督训练。不幸的是，由于图像迁移本身是一项极具挑战性的任务，因此这些方法的SR性能受到生成的合成LR图像和真实LR图像之间的域间差距的严重限制。
在本文中，我们提出了一种无监督的用于现实世界图像SR的新颖的 域距离感知超分辨率（DASR）方法。 通过我们的域间差距感知训练和域距离加权监督策略，解决训练数据（$y ^ { g }$）和测试数据（$y ^ { r }$）之间的领间差距。 域间差距感知训练充分利用目标域（real）的实际数据；域距离加权监督则更合理使用了有标签的源域（合成）数据。 该方法在合成数据集和真实数据集上得到了验证，实验结果表明，在生成具有更真实自然纹理的SR输出时，DASR始终优于最先进的无监督SR方法。

Motivation

  然而，现有的无监督SR方法[17,7,38]在SR网络的训练过程中忽略了$y ^ { g }$和$y ^ { r }$之间的域差距。在图1中，我们给出了一个可视化的例子来显示：合成LR与真实LR图像之间存在领域间差距。尽管训练有素的下采样网络能够生成比双三次下采样的图像更好的LR图像，但合成LR与真实LR之间仍然存在域间隙。

  在本文中，我们提出了一种用于现实世界中图像超分辨率的域距离感知超分辨率（DASR）框架。 与以前的非监督方法[7,38,17,24]不同，后者依靠伪对的生成进行监督训练，我们的DASR考虑了生成的图像和真实的LR图像之间的域间隙，即$y ^ { g }$和$y ^ { r }$， 并在域自适应机制下用这两个方法解决SR问题。

METHODOLOGY

主要贡献：两种训练策略（域间差距感知训练和域距离加权监督策略）。另外，采用了更好的下采样网络结构和更好的对抗损失（小波域中）。
系统框架如图

其中，$y ^ { b }$表示bicubic下采样后的LR。
我们遵循以前的最先进的方法[17,7,38]，并提出了一个两阶段的方法。 首先，我们训练下采样网络（DSN）从HR图像 生成贴近真实LR域的LR图像：$y _ { i } ^ { g } = D S N ( x _ { i } ^ { r } )$。 然后，我们利用生成的LR-HR对$\{ y _ { i } ^ { g } , x _ { i } ^ { r } \} _ { i = 1 , \cdots , M}$用于训练超分网络（SRN）。

下采样网络（DSN）

图3（a）下采样网络（DSN）结构 （b）小波变换高频中的对抗损失

结构：DSN利用23个残差块从HR图像中提取信息，每个残差块包含两个卷积层(内核大小为3*3，通道为64)，中间有一个ReLU激活。然后，采用双线性调整算子和两个卷积层来降低特征的空间分辨率，并将特征投影回图像域。

LOSS:

$$\mathcal{L}_{\text {con }}=\mathbb{E}_{x^{r}}\left\|y_{i}^{b}-D S N\left(x_{i}^{r}\right)\right\|_{1}, \quad \mathcal{L}_{\text {per }}=\mathbb{E}_{x^{r}}\left\|\phi\left(y_{i}^{b}\right)-\phi\left(D S N\left(x_{i}^{r}\right)\right)\right\|_{1}$$

perceptual loss 中$\phi ( \cdot )$ 表示VGG 特征提取器（同ESRGAN）。

与FSSR不同(处理高频特征的对抗损失)：本文使用Haar小波变换来提取更多有用的高频分量。具体地，将由Haar小波变换分解的四个子带分别表示为LL，LH，HL和HH，我们将LH，HL和HH分量堆叠为鉴别器的输入。 与FSSR中使用的高频提取器相比[17]，我们基于小波的提取器还利用方向信息更好地表征图像细节。同时，网络因维度降低，减小了GAN训练的难度。
总loss：

$$L _ { DSN } = \alpha L _ { c o n }+ \beta L _ { p e r } + \gamma L _ { a d v } ^ { G }$$

SRN的域间差距感知训练

Loss见原文

合成数据集的实验结果与消融实验

合成数据集

采用AIM dataset：used in the AIM Challenge on Real World SR at ICCV 2019 [39].
训练集：Flickr2K dataset-2650，DIV2K-800HR
验证集：100images，paired
结果见表3，可视化见图5。

消融实验

数据图像对生成效果 更好的DSN

Gaussian Blur Frequency Separation (GBFS), Wavelet Frequency Separation (WFS) and RGB indicate the model conducts adversarial training in different spaces: GBFS uses the residual between original and Gaussian blurred images to extract high frequency component, our WFS approach adopts Wavelet transform to obtain high frequency component, RGB means we introduce GAN loss directly on RGB images.

各组件

真实世界数据集的实验

真实世界数据集

2个：RealSR [8] (@ ICCV2019)选200LR and CameraSR [9]（City100 @ CVPR2019）选100LR
训练时同合成的方法，加入了DIV2K-800HR

结果

总结

四问

1. 作者想要完成什么（已经完成了什么）？

一种无监督的用于现实世界图像SR的新颖的 域距离感知超分辨率（DASR）方法。两种训练策略消除LR图像的合成域和真实域的间距。该文在FSSR基础上实现，采用了Haar小波变换 分离出高频信息，优化了对抗损失。

2. 新方法的关键元素是什么？

两种训练策略消除LR图像的合成域和真实域的间距。该文在FSSR基础上实现，采用了Haar小波变换 分离出高频信息，优化了对抗损失

3. 对我有用吗？

本文Real world SR 中的基于域适应的方法。 启发 风格迁移用于SR问题（数据集合成、损失LOSS）

4. 想看他的哪些参考文献？

暂无

其他疑问：

1. 未明白 作者的表述pre-trained ESRGAN (P.T. ESRGAN)和supervisely trained ESRGAN (S.T. ESRGAN)
2. SRN结构, 估计得从代码上看。可能同FSSR吧
3. 补充材料未看

---