SwinIR: Swin 트랜스포머(Swin Transformer)를 이용한 이미지 복원

Abstract

이미지 복원(Image restoration)은 저품질 이미지(예: 다운스케일링, 노이즈 및 압축된 이미지)로부터 고품질 이미지를 복원하는 것을 목표로 하는 오래된 저수준 시각(low-level vision) 문제이다. 최첨단 이미지 복원 방법들은 합성곱 신경망(Convolutional Neural Networks, CNN)을 기반으로 하지만, 고수준 시각(high-level vision) 작업에서 인상적인 성능을 보여주는 트랜스포머(Transformers)를 활용한 시도는 거의 이루어지지 않았다. 본 논문에서는 Swin 트랜스포머(Swin Transformer)를 기반으로 한 이미지 복원용 강력한 베이스라인 모델인 SwinIR을 제안한다. SwinIR은 얕은 특징 추출(shallow feature extraction), 깊은 특징 추출(deep feature extraction), 그리고 고품질 이미지 재구성(high-quality image reconstruction)의 세 부분으로 구성된다. 특히, 깊은 특징 추출 모듈은 여러 개의 잔차 Swin 트랜스포머 블록(Residual Swin Transformer blocks, RSTB)으로 구성되며, 각 블록은 잔차 연결(residual connection)과 함께 여러 개의 Swin 트랜스포머 계층을 포함한다. 우리는 이미지 초해상도(image super-resolution, 고전적, 경량 및 실세계 이미지 초해상도 포함), 이미지 노이즈 제거(image denoising, 그레이스케일 및 컬러 이미지 노이즈 제거 포함), 그리고 JPEG 압축 아티팩트 감소(JPEG compression artifact reduction)라는 세 가지 대표적인 작업에 대해 실험을 수행했다. 실험 결과, SwinIR은 다양한 작업에서 최첨단 방법들보다 최대 0.14 $\sim$ 0.45dB 우수한 성능을 보였으며, 동시에 전체 파라미터 수를 최대 67%까지 줄일 수 있음을 입증했다.

1 Introduction

이미지 초해상도(Image Super-Resolution, SR), 이미지 노이즈 제거(Image Denoising), JPEG 압축 아티팩트(Artifact) 감소과 같은 이미지 복원(Image Restoration)은 저품질의 손상된 이미지로부터 고품질의 깨끗한 이미지를 재구성하는 것을 목표로 한다. 여러 혁신적인 연구 [18, 40, 90, 91]에 따라, 합성곱 신경망(Convolutional Neural Networks, CNN)이 이미지 복원의 주요 핵심 기술 [43, 51, 43, 81, 92, 95, 24, 93, 46, 89, 88]이 되었다.

대부분의 CNN(합성곱 신경망) 기반 방식은 잔차 학습(residual learning) [43, 51] 및 밀집 연결(dense connections) [97, 81]과 같은 정교한 구조 설계에 집중한다. 이러한 방식들은 전통적인 모델 기반 방식 [73, 14, 28]에 비해 성능이 크게 향상되었으나, 일반적으로 기본 합성곱 층(convolution layer)에서 기인하는 두 가지 기본적인 문제점을 안고 있다. 첫째, 이미지와 합성곱 커널(convolution kernels) 사이의 상호작용이 콘텐츠와 무관하다는 점이다. 서로 다른 이미지 영역을 복원하는 데 동일한 합성곱 커널을 사용하는 것이 최선의 선택이 아닐 수 있다. 둘째, 국소적 처리(local processing) 원칙 하에서 합성곱은 장거리 의존성(long-range dependency) 모델링에 효과적이지 않다.

CNN의 대안으로서, Transformer [76]는 문맥 간의 전역적 상호작용(global interactions)을 포착하기 위한 셀프 어텐션(self-attention) 메커니즘을 설계하며, 여러 시각 문제 [6, 74, 19, 56]에서 유망한 성능을 보여왔다. 그러나 이미지 복원 [9, 5]을 위한 비전 트랜스포머(vision Transformers)는 대개 입력 이미지를 고정된 크기(예: 48 $\times$ × 48)의 패치(patches)로 나누고 각 패치를 독립적으로 처리한다. 이러한 전략은 필연적으로 두 가지 단점을 초래한다. 첫째, 경계 픽셀(border pixels)이 이미지 복원을 위해 패치 외부의 인접 픽셀을 활용할 수 없다. 둘째, 복원된 이미지에 각 패치 주변으로 경계 아티팩트(border artifacts)가 발생할 수 있다. 이러한 문제는 패치 중첩(patch overlapping)을 통해 완화될 수 있지만, 이는 추가적인 계산 부담을 야기한다.

최근 Swin Transformer [56]는 CNN과 Transformer의 장점을 모두 통합함으로써 큰 가능성을 보여주었습니다. 한편으로, Swin Transformer는 국소적 주의 메커니즘(local attention mechanism)을 통해 대형 이미지를 처리하는 CNN의 장점을 갖추고 있습니다. 다른 한편으로는, 이동된 윈도우(shifted window) 방식을 통해 장거리 의존성(long-range dependency)을 모델링하는 Transformer의 장점을 갖추고 있습니다.

본 논문에서는 Swin Transformer를 기반으로 한 이미지 복원(image restoration) 모델인 SwinIR을 제안한다. 구체적으로, SwinIR은 얕은 특징 추출(shallow feature extraction), 깊은 특징 추출(deep feature extraction), 그리고 고품질 이미지 재구성(high-quality image reconstruction) 모듈의 세 가지 모듈로 구성된다. 얕은 특징 추출 모듈은 컨볼루션(convolution) 층을 사용하여 얕은 특징을 추출하며, 이는 저주파 정보를 보존하기 위해 재구성 모듈로 직접 전달된다. 깊은 특징 추출 모듈은 주로 잔차 Swin Transformer 블록(residual Swin Transformer blocks, RSTB)으로 구성되며, 각 블록은 국소적 주의(local attention)와 윈도우 간 상호작용(cross-window interaction)을 위해 여러 개의 Swin Transformer 층을 활용한다. 또한, 특징 강화를 위해 블록 끝에 컨볼루션 층을 추가하고, 특징 집계(feature aggregation)를 위한 지름길(shortcut)을 제공하기 위해 잔차 연결(residual connection)을 사용한다. 마지막으로, 재구성 모듈에서는 고품질 이미지 재구성을 위해 얕은 특징과 깊은 특징을 모두 융합한다.

기존의 CNN(합성곱 신경망) 기반 이미지 복원 모델과 비교하여, Transformer 기반의 SwinIR은 다음과 같은 몇 가지 장점을 갖는다. (1) 이미지 콘텐츠와 어텐션 가중치(attention weights) 사이의 콘텐츠 기반 상호작용이 가능하며, 이는 공간적으로 가변적인 합성곱(spatially varying convolution) [13, 21, 75]으로 해석될 수 있다. (2) 이동된 윈도우(shifted window) 메커니즘을 통해 장거리 의존성(long-range dependency) 모델링이 가능하다. (3) 더 적은 파라미터로 더 우수한 성능을 낸다. 예를 들어, 그림 1에서 보듯이 SwinIR은 기존의 이미지 초해상도(SR) 방법들과 비교하여 더 적은 파라미터로 더 높은 PSNR을 달성한다.

2 관련 연구

2.1 이미지 복원 (Image Restoration)

일반적으로 모델 기반(model-based)인 전통적인 이미지 복원 방식 [28, 72, 73, 62, 32]과 비교하여, 학습 기반(learning-based) 방식, 특히 CNN 기반 방식은 인상적인 성능 덕분에 더욱 대중화되었습니다. 이러한 방식은 대규모 쌍 데이터셋(paired datasets)으로부터 저화질 이미지와 고화질 이미지 사이의 매핑을 학습하는 경우가 많습니다. 이미지 초해상도(SR)를 위한 SRCNN [18], 이미지 노이즈 제거(denoising)를 위한 DnCNN [90], 그리고 JPEG 압축 아티팩트(artifact) 감소를 위한 ARCNN [17]과 같은 선구적인 연구 이후, 잔차 블록(residual block) [40, 7, 88], 덴스 블록(dense block) [81, 97, 98] 및 기타 [10, 42, 93, 78, 77, 79, 50, 48, 49, 92, 70, 36, 83, 30, 11, 16, 96, 64, 38, 26, 41, 25]와 같은 더 정교한 신경망 구조 설계를 사용하여 모델의 표현 능력을 향상시키려는 다양한 CNN 기반 모델들이 제안되었습니다. 그중 일부는 채널 어텐션(channel attention) [95, 15, 63], 논로컬 어텐션(non-local attention) [52, 61], 적응형 패치 집계(adaptive patch aggregation) [100]와 같이 CNN 프레임워크 내부의 어텐션 메커니즘(attention mechanism)을 활용하기도 했습니다.

그림 2: 이미지 복원(image restoration)을 위해 제안된 SwinIR의 구조.

2.2 비전 트랜스포머(Vision Transformer)

최근 자연어 처리 모델인 트랜스포머(Transformer) [76]가 컴퓨터 비전 분야에서 큰 인기를 얻고 있습니다. 이미지 분류(image classification) [66, 19, 84, 56, 45, 55, 75], 객체 탐지(object detection) [6, 53, 74, 56], 세그멘테이션(segmentation) [84, 99, 56, 4], 군중 계수(crowd counting) [47, 69]와 같은 시각 문제에 사용될 때, 트랜스포머는 서로 다른 영역 간의 전역적 상호작용(global interactions)을 탐색함으로써 중요한 이미지 영역에 주목하도록 학습합니다. 트랜스포머는 그 인상적인 성능 덕분에 이미지 복원(image restoration) [9, 5, 82] 분야에도 도입되었습니다. Chen 등 [9]은 표준 트랜스포머를 기반으로 다양한 복원 문제를 위한 백본(backbone) 모델인 IPT를 제안했습니다. 그러나 IPT는 우수한 성능을 내기 위해 방대한 수의 파라미터(1억 1,550만 개 이상)와 대규모 데이터셋(110만 개 이상의 이미지), 그리고 멀티태스크 학습(multi-task learning)에 의존합니다. Cao 등 [5]은 비디오 초해상도(video SR)에서 더 나은 특징 융합(feature fusion)을 위해 셀프 어텐션(self-attention) 메커니즘을 사용하는 VSR-Transformer를 제안했으나, 이미지 특징은 여전히 CNN에서 추출됩니다. 또한, IPT와 VSR-Transformer는 모두 패치 단위 어텐션(patch-wise attention)을 사용하는데, 이는 이미지 복원에 부적절할 수 있습니다. 아울러, 동시 연구인 [82]에서는 스윈 트랜스포머(Swin Transformer) [56]를 기반으로 한 U자형 구조를 제안했습니다.

3 Method

3.1 네트워크 구조 (Network Architecture)

그림 2에 나타난 바와 같이, SwinIR은 얕은 특징 추출(shallow feature extraction), 깊은 특징 추출(deep feature extraction), 그리고 고품질(high-quality, HQ) 이미지 재구성(reconstruction) 모듈의 세 가지 모듈로 구성된다. 우리는 모든 복원 작업에 동일한 특징 추출 모듈을 사용하지만, 작업에 따라 서로 다른 재구성 모듈을 사용한다.

얕은 특징 추출(Shallow feature extraction) 및 깊은 특징 추출(Deep feature extraction).

저품질(LQ, low-quality) 입력 $I_{\textit{LQ}}\in\mathbb{R}^{H\times W\times C_{in}}$ ($H$, $W$, $C_{in}$은 각각 이미지의 높이, 너비, 입력 채널 수)이 주어졌을 때, 우리는 $3\times 3$ 컨볼루션 층(convolutional layer) $H_{\textit{SF}}(\cdot)$을 사용하여 다음과 같이 얕은 특징(shallow feature) $F_{0}\in\mathbb{R}^{H\times W\times C}$을 추출한다.

$$F_{0}=H_{\textit{SF}}(I_{\textit{LQ}}),$$ (1)

여기서 $C$은 특징 채널(feature channel) 수입니다. 컨볼루션 층(convolution layer)은 초기 시각적 처리(early visual processing)에 효과적이어서, 더 안정적인 최적화와 더 나은 결과를 도출합니다 [86]. 또한, 이는 입력 이미지 공간을 고차원 특징 공간(higher dimensional feature space)으로 매핑하는 단순한 방법을 제공합니다. 그 다음, 우리는 $F_{0}$으로부터 다음과 같이 심층 특징(deep feature) $F_{\textit{DF}}\in\mathbb{R}^{H\times W\times C}$을 추출합니다.

$$F_{\textit{DF}}=H_{\textit{DF}}(F_{0}),$$ (2)

여기서 $H_{\textit{DF}}(\cdot)$은 심층 특징 추출 모듈(deep feature extraction module)이며, 이는 $K$개의 잔차 스윈 트랜스포머 블록(residual Swin Transformer blocks, RSTB)과 $3\times 3$개의 컨볼루션 층(convolutional layer)으로 구성된다. 구체적으로, 중간 특징 $F_{1},F_{2},\ldots,F_{K}$과 출력 심층 특징 $F_{\textit{DF}}$은 다음과 같이 블록별로 추출된다.

$$\begin{split}F_{i}=H_{\textit{RSTB}_{i}}(F_{i-1}),\quad i=1,2,\ldots,K,\\ F_{\textit{DF}}=H_{\textit{CONV}}(F_{K}),\qquad\qquad\end{split}$$ (3)

여기서 $H_{\textit{RSTB}_{i}}(\cdot)$은 $i$번째 RSTB를 의미하며, $H_{\textit{CONV}}$은 마지막 컨볼루션 계층(convolutional layer)입니다. 특징 추출(feature extraction)의 마지막 단계에 컨볼루션 계층을 사용하면 컨볼루션 연산의 귀납적 편향(inductive bias)을 트랜스포머 기반 네트워크(Transformer-based network)에 도입할 수 있으며, 이후의 얕은 특징(shallow features)과 깊은 특징(deep features)의 결합을 위한 더 나은 토대를 마련할 수 있습니다.

이미지 재구성(Image reconstruction).

이미지 초해상도(Image SR)를 예로 들면, 우리는 얕은 특징(shallow features)과 깊은 특징(deep features)을 다음과 같이 결합하여 고품질 이미지 $I_{\textit{RHQ}}$을 재구성한다.

$$I_{\textit{RHQ}}=H_{\textit{REC}}(F_{0}+F_{\textit{DF}}),$$ (4)

여기서 $H_{\textit{REC}}(\cdot)$은 재구성 모듈(reconstruction module)의 함수이다. 얕은 특징(shallow feature)은 주로 저주파(low-frequencies)를 포함하는 반면, 깊은 특징(deep feature)은 손실된 고주파(high-frequencies)를 복원하는 데 집중한다. 긴 건너뛰기 연결(long skip connection)을 통해 SwinIR은 저주파 정보를 재구성 모듈로 직접 전달할 수 있으며, 이는 깊은 특징 추출 모듈이 고주파 정보에 집중하고 학습을 안정화하는 데 도움이 된다. 재구성 모듈의 구현을 위해, 우리는 특징을 업샘플링(upsample)하기 위해 서브픽셀 컨볼루션 층(sub-pixel convolution layer) [68]을 사용한다.

이미지 노이즈 제거(image denoising) 및 JPEG 압축 아티팩트(artifact) 감소과 같이 업샘플링(upsampling)이 필요하지 않은 작업의 경우, 재구성(reconstruction)을 위해 단일 컨볼루션(convolution) 층을 사용한다. 또한, 우리는 고화질(HQ) 이미지 대신 저화질(LQ) 이미지와 고화질 이미지 사이의 잔차(residual)를 재구성하기 위해 잔차 학습(residual learning)을 사용한다. 이는 다음과 같이 공식화된다.

$$I_{\textit{RHQ}}=H_{\textit{SwinIR}}(I_{\textit{LQ}})+I_{\textit{LQ}},$$ (5)

여기서 $H_{\textit{SwinIR}}(\cdot)$은 SwinIR의 함수를 나타낸다.

손실 함수(Loss function).

이미지 초해상도(Image SR)를 위해, 우리는 $L_{1}$ 픽셀 손실(pixel loss)을 최소화함으로써 SwinIR의 파라미터를 최적화한다.

$$\mathcal{L}=\|I_{\textit{RHQ}}-I_{\textit{HQ}}\|_{1},$$ (6)

여기서 $I_{\textit{RHQ}}$은 $I_{\textit{LQ}}$을 SwinIR의 입력으로 하여 얻은 결과이며, $I_{\textit{HQ}}$는 그에 대응하는 고해상도(HQ) 정답 이미지(ground-truth)이다. 고전적 및 경량화된 이미지 초해상도(SR, Super-Resolution)를 위해서는 이전 연구들과 마찬가지로 제안된 네트워크의 효과를 보여주기 위해 단순한 $L_{1}$ 픽셀 손실(pixel loss)만을 사용한다. 실제 환경의 이미지 초해상도를 위해서는 시각적 품질을 개선하기 위해 픽셀 손실, GAN 손실(GAN loss) 및 지각 손실(perceptual loss)의 조합인 [81, 89, 80, 27, 39, 81]를 사용한다.

이미지 노이즈 제거(denoising) 및 JPEG 압축 아티팩트(artifact) 감소를 위해, 우리는 샤르보니에 손실(Charbonnier loss) [8]을 사용한다.

$$\mathcal{L}=\sqrt{\|I_{\textit{RHQ}}-I_{\textit{HQ}}\|^{2}+\epsilon^{2}},$$ (7)

여기서 $\epsilon$은 $10^{-3}$로 경험적으로 설정되는 상수(constant)이다.

3.2 잔차 스윈 트랜스포머 블록(Residual Swin Transformer Block)

그림 2 (a)에 나타난 바와 같이, 잔차 스윈 트랜스포머 블록(Residual Swin Transformer block, RSTB)은 스윈 트랜스포머 레이어(Swin Transformer layers, STL)와 컨볼루션 레이어(convolutional layers)를 포함하는 잔차 블록(residual block)이다. $i$번째 RSTB의 입력 특징 $F_{i,0}$이 주어졌을 때, 우리는 먼저 $L$개의 스윈 트랜스포머 레이어를 통해 중간 특징 $F_{i,1},F_{i,2},\ldots,F_{i,L}$을 다음과 같이 추출한다.

$$F_{i,j}=H_{\textit{STL}_{i,j}}(F_{i,j-1}),\quad j=1,2,\ldots,L,$$ (8)

여기서 $H_{\textit{STL}_{i,j}}(\cdot)$은 $i$번째 RSTB(Residual Swin Transformer Block)에 있는 $j$번째 Swin Transformer(Swin Transformer) 계층입니다. 그 다음, 잔차 연결(residual connection) 이전에 컨볼루션 계층(convolutional layer)을 추가합니다. RSTB의 출력은 다음과 같이 공식화됩니다.

$$F_{i,out}=H_{\textit{CONV}_{i}}(F_{i,L})+F_{i,0},$$ (9)

여기서 $H_{\textit{CONV}_{i}}(\cdot)$은 $i$번째 RSTB(Residual Swin Transformer Block)에 있는 컨볼루션 층(convolutional layer)입니다. 이러한 설계은 두 가지 장점이 있습니다. 첫째, 트랜스포머(Transformer)를 공간 가변적 컨볼루션(spatially varying convolution) [21, 75]의 특정 사례로 볼 수 있지만, 공간 불변 필터(spatially invariant filters)를 가진 컨볼루션 층은 SwinIR의 이동 등변성(translational equivariance)을 향상시킬 수 있습니다. 둘째, 잔차 연결(residual connection)은 서로 다른 블록에서 재구성 모듈(reconstruction module)로의 항등 기반 연결(identity-based connection)을 제공하여, 다양한 수준의 특징(features)을 집약할 수 있게 합니다.

Swin Transformer 계층.

Swin Transformer 레이어(STL) [56]는 기존 Transformer 레이어 [76]의 표준 멀티 헤드 셀프 어텐션(multi-head self-attention)을 기반으로 합니다. 주요 차이점은 로컬 어텐션(local attention)과 이동된 윈도우(shifted window) 메커니즘에 있습니다. 그림 2 (b)에 나타난 바와 같이, ${H\times W\times C}$ 크기의 입력이 주어지면, Swin Transformer는 먼저 입력을 겹치지 않는 $M\times M$개의 로컬 윈도우로 분할하여 $\frac{HW}{M^{2}}\times M^{2}\times C$ 특징으로 재구성하며, 여기서 $\frac{HW}{M^{2}}$은 윈도우의 총 개수입니다. 그 다음, 각 윈도우에 대해 표준 셀프 어텐션을 개별적으로 계산합니다(즉, 로컬 어텐션). 로컬 윈도우 특징 $X\in\mathbb{R}^{M^{2}\times C}$에 대하여, 쿼리(query), 키(key), 값(value) 행렬 $Q$, $K$, $V$은 다음과 같이 계산됩니다.

$$Q=XP_{Q},\quad K=XP_{K},\quad V=XP_{V},$$ (10)

여기서 $P_{Q}$, $P_{K}$, $P_{V}$는 서로 다른 윈도우(window) 간에 공유되는 투영 행렬(projection matrices)입니다. 일반적으로 $Q,K,V\in\mathbb{R}^{M^{2}\times d}$ 성립합니다. 따라서 어텐션 행렬(attention matrix)은 국소 윈도우 내의 셀프 어텐션(self-attention) 메커니즘을 통해 다음과 같이 계산됩니다.

$$\text{Attention}(Q,K,V)=\text{SoftMax}(QK^{T}/\sqrt{d}+B)V,$$ (11)

여기서 $B$은 학습 가능한 상대적 위치 인코딩(learnable relative positional encoding)입니다. 실제 구현에서는 [76]을 따라, $h$번의 어텐션(attention) 함수를 병렬로 수행하고 그 결과를 연결하여 멀티 헤드 셀프 어텐션(multi-head self-attention, MSA)을 수행합니다.

다음으로, 두 개의 완전 연결 계층(fully-connected layers) 사이에 GELU 비선형성(non-linearity)을 가진 다층 퍼셉트론(multi-layer perceptron, MLP)이 추가적인 특징 변환을 위해 사용된다. LayerNorm(LN) 계층은 MSA와 MLP 모두 앞에 추가되며, 두 모듈 모두에 잔차 연결(residual connection)이 적용된다. 전체 과정은 다음과 같이 공식화된다.

$$\begin{split}X&=\text{MSA}(\text{LN}(X))+X,\\ X&=\text{MLP}(\text{LN}(X))+X.\end{split}$$ (12)

그러나 층마다 파티션(partition)이 고정되면 로컬 윈도우(local window) 간의 연결이 이루어지지 않는다. 따라서 윈도우 간의 연결을 가능하게 하기 위해 일반 윈도우 파티션과 이동된 윈도우 파티션(shifted window partitioning)을 교대로 사용하며 [56], 여기서 이동된 윈도우 파티션이란 파티션을 나누기 전에 특징(feature)을 $(\lfloor\frac{M}{2}\rfloor,\lfloor\frac{M}{2}\rfloor)$ 픽셀만큼 이동시키는 것을 의미한다.

(a)

(b)

(c)

(d)

(e)

(f)

그림 3: SwinIR의 다양한 설정에 대한 절제 연구(Ablation study) 결과이다. 결과는 이미지 초해상도(Image SR)를 위한 Manga109 [60] 데이터셋에서 테스트되었다($\times 2$).

4 Experiments

4.1 실험 설정 (Experimental Setup)

전통적인 이미지 초해상도(SR, Super-Resolution), 실세계 이미지 초해상도, 이미지 노이즈 제거(Denoising) 및 JPEG 압축 아티팩트(Artifact) 감소를 위해 RSTB 수, STL 수, 윈도우 크기(Window size), 채널 수 및 어텐션 헤드(Attention head) 수를 각각 6, 6, 8, 180, 6으로 설정한다. 유일한 예외는 JPEG 압축 아티팩트 감소 시 윈도우 크기를 7로 설정한다는 점인데, 이는 8을 사용할 때 성능이 크게 저하되는 것을 관찰했기 때문이며, 이는 JPEG 인코딩이 $8\times 8$ 이미지 파티션을 사용하기 때문으로 추정된다. 경량화된 이미지 초해상도의 경우, RSTB 수와 채널 수를 각각 4와 60으로 줄인다. [95, 63]에 따라, 테스트 시 셀프 앙상블(Self-ensemble) 전략 [51]을 사용할 경우 모델 이름 뒤에 “+” 기호를 표시한다(예: SwinIR+). 페이지 제한으로 인해, 학습 및 평가에 대한 세부 사항은 부록(Supplementary)에 제공된다.

4.2 절제 연구(Ablation Study) 및 논의

Ablation study(요인 제거 연구)를 위해, 우리는 고전적인 이미지 SR(Super-Resolution, 초해상도) $\times 2$을 수행하고자 DIV2K [1] 데이터셋에서 SwinIR을 학습시키고, 이를 Manga109 [60] 데이터셋에서 테스트하였다.

채널 수, RSTB 수 및 STL 수의 영향.

우리는 그림 3(a), 3(b), 3(c)에서 각각 RSTB 내의 채널 수(channel number), RSTB 수, 그리고 STL 수(STL number)가 모델 성능에 미치는 영향을 보여준다. PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)은 이 세 가지 하이퍼파라미터(hyper-parameters)와 양의 상관관계가 있는 것으로 관찰되었다. 채널 수의 경우, 성능은 계속해서 향상되지만 전체 파라미터 수는 이차 함수적으로 증가한다. 성능과 모델 크기 사이의 균형을 맞추기 위해, 우리는 나머지 실험에서 채널 수를 180으로 선택했다. RSTB 수와 레이어 수(layer number)의 경우, 성능 이득은 점차 포화 상태에 도달한다. 우리는 상대적으로 작은 모델을 확보하기 위해 두 수치 모두를 6으로 선택했다.

패치 크기(patch size)와 학습 이미지 수에 따른 영향 및 모델 수렴(convergence) 비교.

제안된 SwinIR을 대표적인 CNN 기반 모델인 RCAN과 비교하여 트랜스포머(Transformer) 기반 모델과 CNN 기반 모델 간의 차이를 분석하였다. 그림 3(d)에서 알 수 있듯이, SwinIR은 다양한 패치 크기(patch size)에서 RCAN보다 우수한 성능을 보이며, 패치 크기가 커질수록 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비) 이득이 더 커진다. 그림 3(e)은 훈련 이미지 수에 따른 영향을 보여준다. 비율이 100%를 초과할 때(800개 이미지)는 Flickr2K에서 추가된 이미지가 훈련에 사용되었다. 여기에는 두 가지 관찰 결과가 있다. 첫째, 예상대로 훈련 이미지 수가 많아질수록 SwinIR의 성능이 향상된다. 둘째, 트랜스포머 기반 모델이 방대한 양의 훈련 데이터에 크게 의존한다는 IPT의 관찰 결과와 달리, SwinIR은 데이터셋이 적은 경우(예: 25%, 200개 이미지)에도 동일한 훈련 데이터를 사용하는 CNN 기반 모델보다 더 나은 결과를 달성한다. 또한, 그림 3(f)에는 SwinIR과 RCAN 모두의 훈련 중 PSNR을 도식화하였다. SwinIR이 RCAN보다 더 빠르고 더 좋게 수렴(converge)한다는 것이 명확하며, 이는 트랜스포머 기반 모델이 종종 느린 모델 수렴 문제를 겪는다는 기존의 관찰 결과와 상반된다.

RSTB에서 잔차 연결(residual connection)과 컨볼루션 층(convolution layer)이 미치는 영향.

표 1은 RSTB에서 네 가지 잔차 연결(residual connection) 변형을 보여준다. 이는 잔차 연결을 사용하지 않는 경우, $1\times 1$ 컨볼루션(convolution) 층을 사용하는 경우, $3\times 3$ 컨볼루션 층을 사용하는 경우, 그리고 세 개의 $3\times 3$ 컨볼루션 층을 사용하는 경우(중간 층의 채널 수를 네트워크 채널 수의 4분의 1로 설정)이다. 표를 통해 다음과 같은 관찰 결과를 얻을 수 있다. 첫째, RSTB에서 잔차 연결은 PSNR을 0.16dB 향상시키므로 중요하다. 둘째, $1\times 1$ 컨볼루션을 사용하는 것은 $3\times 3$ 컨볼루션처럼 국소적인 인접 정보를 추출할 수 없기 때문에 개선 효과가 거의 없다. 셋째, 세 개의 $3\times 3$ 컨볼루션 층을 사용하면 파라미터 수를 줄일 수 있지만, 성능은 약간 하락한다.

표 1: RSTB 설계에 대한 절제 연구(Ablation study).

Design	No residual	$1\times 1$ conv	$3\times 3$ conv	Three $3\times 3$ conv
PSNR	39.42	39.45	39.58	39.56

4.3 이미지 초해상도(Image SR) 결과

표 2: 벤치마크 데이터셋에 대한 고전적 이미지 초해상도(Super-Resolution, SR) 기술의 최신 기법들과의 정량적 비교(평균 PSNR/SSIM). 최고 성능과 두 번째로 높은 성능은 각각 빨간색과 파란색으로 표시하였다. $\times 8$에 대한 결과은 부록에 제공된다.

Method	Scale	Training Dataset	Set5 [3]		Set14 [87]		BSD100 [58]		Urban100 [34]		Manga109 [60]
			PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM
RCAN [95]	$\times$2	DIV2K	38.27	0.9614	34.12	0.9216	32.41	0.9027	33.34	0.9384	39.44	0.9786
SAN [15]	$\times$2	DIV2K	38.31	0.9620	34.07	0.9213	32.42	0.9028	33.10	0.9370	39.32	0.9792
IGNN [100]	$\times$2	DIV2K	38.24	0.9613	34.07	0.9217	32.41	0.9025	33.23	0.9383	39.35	0.9786
HAN [63]	$\times$2	DIV2K	38.27	0.9614	34.16	0.9217	32.41	0.9027	33.35	0.9385	39.46	0.9785
NLSA [61]	$\times$2	DIV2K	38.34	0.9618	34.08	0.9231	32.43	0.9027	33.42	0.9394	39.59	0.9789
SwinIR (Ours)	$\times$2	DIV2K	38.35	0.9620	34.14	0.9227	32.44	0.9030	33.40	0.9393	39.60	0.9792
SwinIR+ (Ours)	$\times$2	DIV2K	38.38	0.9621	34.24	0.9233	32.47	0.9032	33.51	0.9401	39.70	0.9794
DBPN [31]	$\times$2	DIV2K+Flickr2K	38.09	0.9600	33.85	0.9190	32.27	0.9000	32.55	0.9324	38.89	0.9775
IPT [9]	$\times$2	ImageNet	38.37	-	34.43	-	32.48	-	33.76	-	-	-
SwinIR (Ours)	$\times$2	DIV2K+Flickr2K	38.42	0.9623	34.46	0.9250	32.53	0.9041	33.81	0.9427	39.92	0.9797
SwinIR+ (Ours)	$\times$2	DIV2K+Flickr2K	38.46	0.9624	34.61	0.9260	32.55	0.9043	33.95	0.9433	40.02	0.9800
RCAN [95]	$\times$3	DIV2K	34.74	0.9299	30.65	0.8482	29.32	0.8111	29.09	0.8702	34.44	0.9499
SAN [15]	$\times$3	DIV2K	34.75	0.9300	30.59	0.8476	29.33	0.8112	28.93	0.8671	34.30	0.9494
IGNN [100]	$\times$3	DIV2K	34.72	0.9298	30.66	0.8484	29.31	0.8105	29.03	0.8696	34.39	0.9496
HAN [63]	$\times$3	DIV2K	34.75	0.9299	30.67	0.8483	29.32	0.8110	29.10	0.8705	34.48	0.9500
NLSA [61]	$\times$3	DIV2K	34.85	0.9306	30.70	0.8485	29.34	0.8117	29.25	0.8726	34.57	0.9508
SwinIR (Ours)	$\times$3	DIV2K	34.89	0.9312	30.77	0.8503	29.37	0.8124	29.29	0.8744	34.74	0.9518
SwinIR+ (Ours)	$\times$3	DIV2K	34.95	0.9316	30.83	0.8511	29.41	0.8130	29.42	0.8761	34.92	0.9526
IPT [9]	$\times$3	ImageNet	34.81	-	30.85	-	29.38	-	29.49	-	-	-
SwinIR (Ours)	$\times$3	DIV2K+Flickr2K	34.97	0.9318	30.93	0.8534	29.46	0.8145	29.75	0.8826	35.12	0.9537
SwinIR+ (Ours)	$\times$3	DIV2K+Flickr2K	35.04	0.9322	31.00	0.8542	29.49	0.8150	29.90	0.8841	35.28	0.9543
RCAN [95]	$\times$4	DIV2K	32.63	0.9002	28.87	0.7889	27.77	0.7436	26.82	0.8087	31.22	0.9173
SAN [15]	$\times$4	DIV2K	32.64	0.9003	28.92	0.7888	27.78	0.7436	26.79	0.8068	31.18	0.9169
IGNN [100]	$\times$4	DIV2K	32.57	0.8998	28.85	0.7891	27.77	0.7434	26.84	0.8090	31.28	0.9182
HAN [63]	$\times$4	DIV2K	32.64	0.9002	28.90	0.7890	27.80	0.7442	26.85	0.8094	31.42	0.9177
NLSA [61]	$\times$4	DIV2K	32.59	0.9000	28.87	0.7891	27.78	0.7444	26.96	0.8109	31.27	0.9184
SwinIR (Ours)	$\times$4	DIV2K	32.72	0.9021	28.94	0.7914	27.83	0.7459	27.07	0.8164	31.67	0.9226
SwinIR+ (Ours)	$\times$4	DIV2K	32.81	0.9029	29.02	0.7928	27.87	0.7466	27.21	0.8187	31.88	0.9423
DBPN [31]	$\times$4	DIV2K+Flickr2K	32.47	0.8980	28.82	0.7860	27.72	0.7400	26.38	0.7946	30.91	0.9137
IPT [9]	$\times$4	ImageNet	32.64	-	29.01	-	27.82	-	27.26	-	-	-
RRDB [81]	$\times$4	DIV2K+Flickr2K	32.73	0.9011	28.99	0.7917	27.85	0.7455	27.03	0.8153	31.66	0.9196
SwinIR (Ours)	$\times$4	DIV2K+Flickr2K	32.92	0.9044	29.09	0.7950	27.92	0.7489	27.45	0.8254	32.03	0.9260
SwinIR+ (Ours)	$\times$4	DIV2K+Flickr2K	32.93	0.9043	29.15	0.7958	27.95	0.7494	27.56	0.8273	32.22	0.9273

Urban100 ($4\times$):img_012 HR VDSR [40] EDSR [51] RDN [97] OISR [33] SAN [15] RNAN [96] IGNN [100] IPT [9] SwinIR (ours)

그림 4: 바이큐빅(bicubic) 이미지 초해상도(SR) $\times 4$ 방식의 시각적 비교. 비교된 이미지들은 [9]에서 도출되었다. 확대해서 볼 때 가장 잘 보입니다.

표 3: 벤치마크 데이터셋을 활용한 경량 이미지 초해상도(Super-Resolution, SR) 기술에 대한 최신(state-of-the-art) 방법들과의 정량적 비교(평균 PSNR/SSIM). 가장 우수한 성능과 두 번째로 우수한 성능은 각각 빨간색과 파란색으로 표시됨.

Method	Scale	#Params	#Mult-Adds	Set5 [3]		Set14 [87]		BSD100 [58]		Urban100 [34]		Manga109 [60]
				PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM
CARN [2]	$\times$2	1,592K	222.8G	37.76	0.9590	33.52	0.9166	32.09	0.8978	31.92	0.9256	38.36	0.9765
FALSR-A [12]	$\times$2	1,021K	234.7G	37.82	0.959	33.55	0.9168	32.1	0.8987	31.93	0.9256	-	-
IMDN [35]	$\times$2	694K	158.8G	38.00	0.9605	33.63	0.9177	32.19	0.8996	32.17	0.9283	38.88	0.9774
LAPAR-A [44]	$\times$2	548K	171.0G	38.01	0.9605	33.62	0.9183	32.19	0.8999	32.10	0.9283	38.67	0.9772
LatticeNet [57]	$\times$2	756K	169.5G	38.15	0.9610	33.78	0.9193	32.25	0.9005	32.43	0.9302	-	-
SwinIR (Ours)	$\times$2	878K	195.6G	38.14	0.9611	33.86	0.9206	32.31	0.9012	32.76	0.9340	39.12	0.9783
CARN [2]	$\times$3	1,592K	118.8G	34.29	0.9255	30.29	0.8407	29.06	0.8034	28.06	0.8493	33.50	0.9440
IMDN [35]	$\times$3	703K	71.5G	34.36	0.9270	30.32	0.8417	29.09	0.8046	28.17	0.8519	33.61	0.9445
LAPAR-A [44]	$\times$3	544K	114.0G	34.36	0.9267	30.34	0.8421	29.11	0.8054	28.15	0.8523	33.51	0.9441
LatticeNet [57]	$\times$3	765K	76.3G	34.53	0.9281	30.39	0.8424	29.15	0.8059	28.33	0.8538	-	-
SwinIR (Ours)	$\times$3	886K	87.2G	34.62	0.9289	30.54	0.8463	29.20	0.8082	28.66	0.8624	33.98	0.9478
CARN [2]	$\times$4	1,592K	90.9G	32.13	0.8937	28.60	0.7806	27.58	0.7349	26.07	0.7837	30.47	0.9084
IMDN [35]	$\times$4	715K	40.9G	32.21	0.8948	28.58	0.7811	27.56	0.7353	26.04	0.7838	30.45	0.9075
LAPAR-A [44]	$\times$4	659K	94.0G	32.15	0.8944	28.61	0.7818	27.61	0.7366	26.14	0.7871	30.42	0.9074
LatticeNet [57]	$\times$4	777K	43.6G	32.30	0.8962	28.68	0.7830	27.62	0.7367	26.25	0.7873	-	-
SwinIR (Ours)	$\times$4	897K	49.6G	32.44	0.8976	28.77	0.7858	27.69	0.7406	26.47	0.7980	30.92	0.9151

LR ($\times$4)	ESRGAN [81]	RealSR [37]	BSRGAN [89]	Real-ESRGAN [80]	SwinIR (ours)

그림 5: 실제 이미지에 대한 실세계 이미지 SR(Super-Resolution, 초해상도) $\times 4$ 방식의 실세계 이미지 시각적 비교.

표 4: 벤치마크 데이터셋에 대한 JPEG 압축 아티팩트(artifact) 감소 관련 최신 기술(state-of-the-art)들과의 정량적 비교(평균 PSNR/SSIM/PSNR-B). 가장 우수한 성능과 두 번째로 우수한 성능은 각각 빨간색과 파란색으로 표시됨.

Dataset	$q$	ARCNN [17]	DnCNN-3 [90]	QGAC [20]	RNAN [96]	RDN [98]	DRUNet [88]	SwinIR (ours)
Classic5 [22]	10	29.03/0.7929/28.76	29.40/0.8026/29.13	29.84/0.8370/29.43	29.96/0.8178/29.62	30.00/0.8188/-	30.16/0.8234/29.81	30.27/0.8249/29.95
	20	31.15/0.8517/30.59	31.63/0.8610/31.19	31.98/0.8850/31.37	32.11/0.8693/31.57	32.15/0.8699/-	32.39/0.8734/31.80	32.52/0.8748/31.99
	30	32.51/0.8806/31.98	32.91/0.8861/32.38	33.22/0.9070/32.42	33.38/0.8924/32.68	33.43/0.8930/-	33.59/0.8949/32.82	33.73/0.8961/33.03
	40	33.32/0.8953/32.79	33.77/0.9003/33.20	-	34.27/0.9061/33.4	34.27/0.9061/-	34.41/0.9075/33.51	34.52/0.9082/33.66
LIVE1 [67]	10	28.96/0.8076/28.77	29.19/0.8123/28.90	29.53/0.8400/29.15	29.63/0.8239/29.25	29.67/0.8247/-	29.79/0.8278/29.48	29.86/0.8287/29.50
	20	31.29/0.8733/30.79	31.59/0.8802/31.07	31.86/0.9010/31.27	32.03/0.8877/31.44	32.07/0.8882/-	32.17/0.8899/31.69	32.25/0.8909/31.70
	30	32.67/0.9043/32.22	32.98/0.9090/32.34	33.23/0.9250/32.50	33.45/0.9149/32.71	33.51/0.9153/-	33.59/0.9166/32.99	33.69/0.9174/33.01
	40	33.63/0.9198/33.14	33.96/0.9247/33.28	-	34.47/0.9299/33.66	34.51/0.9302/-	34.58/0.9312/33.93	34.67/0.9317/33.88

고전적 이미지 초해상도(Super-Resolution, SR) 기술.

표 2은 SwinIR(중간 크기)과 최첨단(state-of-the-art) 방법들인 DBPN [31], RCAN [95], RRDB [81], SAN [15], IGNN [100], HAN [63], NLSA [61] 및 IPT [9] 간의 정량적 비교를 보여준다. 알 수 있듯이, DIV2K 데이터셋으로 학습했을 때 SwinIR은 모든 배율(scale factor)에서 5개의 벤치마크 데이터셋 모두에서 가장 우수한 성능을 달성한다. 최대 PSNR 이득은 배율 4인 Manga109에서 0.26dB에 달한다. RCAN과 HAN은 채널 및 공간 주의 집중(channel and spatial attention)을 도입하고, IGNN은 적응형 패치 특징 집계(adaptive patch feature aggregation)를 제안하며, NLSA는 비지역적 주의 집중 메커니즘(non-local attention mechanism)을 기반으로 한다. 그러나 이러한 모든 CNN 기반 주의 집중 메커니즘은 제안된 트랜스포머(Transformer) 기반의 SwinIR보다 성능이 낮으며, 이는 제안된 모델의 효과성을 입증한다. SwinIR을 더 큰 데이터셋(DIV2K+Flickr2K)으로 학습하면 성능이 큰 폭으로(최대 0.47dB) 더욱 향상되며, IPT가 학습에 ImageNet(130만 개 이상의 이미지)을 사용하고 방대한 수의 파라미터(115.5M)를 보유함에도 불구하고 IPT보다 더 나은 정확도를 달성한다. 반면, SwinIR은 최첨단 CNN 기반 모델들(15.4 $\sim$ 44.3M)과 비교해도 적은 수의 파라미터(11.8M)를 가진다. 실행 시간의 경우, 대표적인 CNN 기반 모델인 RCAN, IPT 및 SwinIR은 $1,024\times 1,024$ 이미지 테스트 시 각각 약 0.2초, 4.5초, 1.1초가 소요된다. 시각적 비교는 그림 4에 제시되어 있다. SwinIR은 고주파 세부 사항을 복원하고 블러링 아티팩트(blurring artifacts)를 완화하여 선명하고 자연스러운 가장자리를 생성한다. 대조적으로, 대부분의 CNN 기반 방법은 흐릿한 이미지나 잘못된 질감을 생성한다. IPT는 CNN 기반 방법에 비해 더 나은 이미지를 생성하지만, 이미지 왜곡과 경계 아티팩트(border artifact)가 발생한다.

경량화된 이미지 초해상도(Super-Resolution, SR) 기술.

우리는 SwinIR(소형 모델)을 최첨단 경량 이미지 초해상도(Super-Resolution, SR) 방법들인 CARN [2], FALSR-A [12], IMDN [35], LAPAR-A [44], 그리고 LatticeNet [57]와 비교한 결과를 제공한다. PSNR과 SSIM 외에도, 우리는 서로 다른 모델들의 모델 크기와 연산 복잡도를 비교하기 위해 총 파라미터 수와 $1280\times 720$ HQ 이미지에서 평가된 곱셈-누산(Multiply-Accumulate, MAC) 연산 횟수를 보고한다. 표 3에 나타난 바와 같이, SwinIR은 유사한 총 파라미터 수와 곱셈-누산 연산 횟수를 유지하면서도 다양한 벤치마크 데이터셋에서 최대 0.53dB의 PSNR 차이로 경쟁 모델들을 능가한다. 이는 SwinIR 구조가 이미지 복원(Image Restoration)에 매우 효율적임을 나타낸다.

실제 이미지의 초해상도(Super-Resolution, SR) 기술.

이미지 초해상도(Image SR)의 궁극적인 목표은 실제 환경에서의 응용입니다. 최근 Zhang 등은 [89] 실제 환경의 이미지 초해상도를 위한 실용적인 열화 모델(degradation model)인 BSRGAN을 제안하였으며, 실제 시나리오에서 놀라운 결과를 달성했습니다 1 1 1 https://github.com/cszn/BSRGAN. 실제 환경에서의 초해상도에 대한 SwinIR의 성능을 테스트하기 위해, 우리는 저화질 이미지 합성을 위해 BSRGAN과 동일한 열화 모델을 사용하여 SwinIR을 재학습했습니다. 기준이 되는 고화질 이미지(ground-truth high-quality images)가 없기 때문에, 우리는 대표적인 바이큐빅(bicubic) 모델인 ESRGAN [81] 및 최첨단(state-of-the-art) 실제 이미지 초해상도 모델인 RealSR [37], BSRGAN [89], Real-ESRGAN [80]와의 시각적 비교만을 제공합니다. 그림 5에서 볼 수 있듯이, SwinIR은 선명하고 날카로운 가장자리를 가진 시각적으로 만족스러운 이미지를 생성하는 반면, 다른 비교 방법들은 만족스럽지 못한 아티팩트(artifacts)가 발생할 수 있습니다. 또한, 실제 응용에서 SwinIR의 잠재력을 최대한 활용하기 위해, 우리는 더 큰 모델을 추가로 제안하고 이를 훨씬 더 큰 데이터셋으로 학습시켰습니다. 실험 결과, 이 모델은 더 복잡한 손상(corruptions)을 처리할 수 있으며 실제 이미지에서 현재 모델보다 더 나은 성능을 달성하는 것으로 나타났습니다. 페이지 제한으로 인해 세부 사항은 프로젝트 페이지 https://github.com/JingyunLiang/SwinIR에 기재되어 있습니다.

4.4 JPEG 압축 아티팩트(Artifact) 감소 결과

표 4은 SwinIR과 최첨단(state-of-the-art) JPEG 압축 아티팩트(artifact) 감소 방법들인 ARCNN [17], DnCNN-3 [90], QGAC [20], RNAN [96], RDN [98] 및 DRUNet [88]을 비교한 결과이다. 비교된 모든 방법은 CNN 기반 모델이다. [98, 88]에 따라, 우리는 JPEG 품질 계수(quality factors) 10, 20, 30 및 40에 대해 두 개의 벤치마크 데이터셋(Classic5 [22] 및 LIVE1 [67])에서 다양한 방법들을 테스트하였다. 보시다시피, 제안된 SwinIR은 서로 다른 품질 계수에서 두 테스트 데이터셋에 대해 최소 0.11dB 및 0.07dB의 평균 PSNR 이득을 보였다. 또한, 이전의 최고 모델인 DRUNet과 비교했을 때, SwinIR은 1,150만 개의 파라미터(parameters)만을 가지는 반면, DRUNet은 3,270만 개의 파라미터를 가진 대형 모델이다.

표 5: 벤치마크 데이터셋에 대한 그레이스케일(grayscale) 이미지 노이즈 제거(denoising)에서 최첨단(state-of-the-art) 방법들과의 정량적 비교(평균 PSNR). 최고 성능과 두 번째로 높은 성능은 각각 빨간색과 파란색으로 표시됨.

Dataset	$\sigma$	BM3D [14]	WNNM [29]	DnCNN [90]	IRCNN [91]	FFDNet [92]	N3Net [65]	NLRN [52]	FOCNet [38]	RNAN [96]	MWCNN [54]	DRUNet [88]	SwinIR (ours)
Set12 [90]	15	32.37	32.70	32.86	32.76	32.75	-	33.16	33.07	-	33.15	33.25	33.36
	25	29.97	30.28	30.44	30.37	30.43	30.55	30.80	30.73	-	30.79	30.94	31.01
	50	26.72	27.05	27.18	27.12	27.32	27.43	27.64	27.68	27.70	27.74	27.90	27.91
BSD68 [59]	15	31.08	31.37	31.73	31.63	31.63	-	31.88	31.83	-	31.86	31.91	31.97
	25	28.57	28.83	29.23	29.15	29.19	29.30	29.41	29.38	-	29.41	29.48	29.50
	50	25.60	25.87	26.23	26.19	26.29	26.39	26.47	26.50	26.48	26.53	26.59	26.58
Urban100 [34]	15	32.35	32.97	32.64	32.46	32.40	-	33.45	33.15	-	33.17	33.44	33.70
	25	29.70	30.39	29.95	29.80	29.90	30.19	30.94	30.64	-	30.66	31.11	31.30
	50	25.95	26.83	26.26	26.22	26.50	26.82	27.49	27.40	27.65	27.42	27.96	27.98

표 6: 벤치마크 데이터셋에 대한 컬러 이미지 노이즈 제거(color image denoising) 연구에서 최첨단(state-of-the-art) 방법들과의 정량적 비교(평균 PSNR). 가장 우수한 성능과 두 번째로 우수한 성능은 각각 빨간색과 파란색으로 표시됨.

Dataset	$\sigma$	BM3D [14]	DnCNN [90]	IRCNN [91]	FFDNet [92]	DSNet [64]	RPCNN [85]	BRDNet [71]	RNAN [96]	RDN [98]	IPT [9]	DRUNet [88]	SwinIR (ours)
CBSD68 [59]	15	33.52	33.90	33.86	33.87	33.91	-	34.10	-	-	-	34.30	34.42
	25	30.71	31.24	31.16	31.21	31.28	31.24	31.43	-	-	-	31.69	31.78
	50	27.38	27.95	27.86	27.96	28.05	28.06	28.16	28.27	28.31	28.39	28.51	28.56
Kodak24 [23]	15	34.28	34.60	34.69	34.63	34.63	-	34.88	-	-	-	35.31	35.34
	25	32.15	32.14	32.18	32.13	32.16	32.34	32.41	-	-	-	32.89	32.89
	50	28.46	28.95	28.93	28.98	29.05	29.25	29.22	29.58	29.66	29.64	29.86	29.79
McMaster [94]	15	34.06	33.45	34.58	34.66	34.67	-	35.08	-	-	-	35.40	35.61
	25	31.66	31.52	32.18	32.35	32.40	32.33	32.75	-	-	-	33.14	33.20
	50	28.51	28.62	28.91	29.18	29.28	29.33	29.52	29.72	-	29.98	30.08	30.22
Urban100 [34]	15	33.93	32.98	33.78	33.83	-	-	34.42	-	-	-	34.81	35.13
	25	31.36	30.81	31.20	31.40	-	31.81	31.99	-	-	-	32.60	32.90
	50	27.93	27.59	27.70	28.05	-	28.62	28.56	29.08	29.38	29.71	29.61	29.82

Noisy	BM3D [14]	DnCNN [90]	FFDNet [92]	DRUNet [88]	SwinIR (ours)

그림 6: Set12 [90]의 "Monarch" 이미지에 대한 그레이스케일 이미지 노이즈 제거(denoising, 노이즈 수준 50) 방법들의 시각적 비교. 비교된 이미지들은 [88]에서 도출되었다.

Noisy	DnCNN [90]	FFDNet [92]	IPT [9]	DRUNet [88]	SwinIR (ours)

그림 7: CBSD68 [59] 데이터셋의 “ 163085 ” 이미지에 대한 색상 이미지 노이즈 제거(color image denoising) 방법들의 시각적 비교(noise level 50). 비교된 이미지들은 [88]에서 도출되었다.

4.5 이미지 노이즈 제거(Image Denoising) 결과

표 5과 표 6에 각각 그레이스케일(grayscale) 및 컬러 이미지 노이즈 제거(denoising) 결과를 제시한다. 비교 대상 모델로는 전통적인 모델인 BM3D [14] 및 WNNM [29], CNN 기반 모델인 DnCNN [90], IRCNN [91], FFDNet [92], N3Net [65], NLRN [52], FOCNet [38], RNAN [96], MWCNN [54] 및 DRUNet [88]가 포함된다. [90, 88]을 따라, 비교된 노이즈 수준은 15, 25, 50이다. 보시다시피, 본 모델은 모든 비교 방법보다 우수한 성능을 달성한다. 특히, 100개의 고해상도 테스트 이미지가 포함된 대규모 Urban100 데이터셋에서 최첨단(state-of-the-art) 모델인 DRUNet을 최대 0.3dB 차이로 능가한다. SwinIR은 1,200만 개의 파라미터(parameters)만을 보유하는 반면, DRUNet은 3,270만 개의 파라미터를 보유한다는 점은 주목할 만하다. 이는 SwinIR 구조가 복원(restoration)을 위한 특징 표현(feature representations)을 학습하는 데 매우 효율적임을 나타낸다. 다양한 방법의 그레이스케일 및 컬러 이미지 노이즈 제거에 대한 시각적 비교는 그림 6과 7에 제시되어 있다. 보시는 바와 같이, 본 방법은 심한 노이즈 손상을 제거하면서도 고주파(high-frequency) 이미지 세부 사항을 보존하여, 더 선명한 가장자리와 더 자연스러운 질감을 생성한다. 반대로, 다른 방법들은 과도하게 매끄러워지거나(over-smoothness) 과하게 날카로워지는(over-sharpness) 문제가 있으며, 풍부한 질감을 복원하지 못한다.

5 Conclusion

본 논문에서는 Swin Transformer 기반의 이미지 복원(image restoration) 모델인 SwinIR을 제안한다. 이 모델은 얕은 특징 추출(shallow feature extraction), 깊은 특징 추출(deep feature extraction), 그리고 고해상도 재구성(HR reconstruction) 모듈의 세 부분으로 구성된다. 특히, 우리는 깊은 특징 추출을 위해 잔차 Swin Transformer 블록(residual Swin Transformer blocks, RSTB)을 적층하여 사용하며, 각 RSTB는 Swin Transformer 레이어, 컨볼루션(convolution) 레이어 및 잔차 연결(residual connection)로 구성된다. 광범위한 실험을 통해 SwinIR이 세 가지 대표적인 이미지 복원 작업과 여섯 가지의 서로 다른 설정인 기존 이미지 초해상도(image SR), 경량 이미지 초해상도, 실세계 이미지 초해상도, 그레이스케일 이미지 노이즈 제거(denoising), 컬러 이미지 노이즈 제거, 그리고 JPEG 압축 아티팩트 제거(JPEG compression artifact reduction)에서 최고 수준(state-of-the-art)의 성능을 달성함을 확인하였으며, 이는 제안된 SwinIR의 효과성과 일반화 가능성을 입증한다. 향후 우리는 이 모델을 이미지 블러 제거(image deblurring) 및 비 제거(deraining)와 같은 다른 복원 작업으로 확장할 계획이다.

감사의 말 본 논문은 ETH 취리히 펀드(ETH Zurich Fund, OK), 화웨이 테크놀로지스(Huawei Technologies Oy, 핀란드) 프로젝트, 중국 장학회(China Scholarship Council), 그리고 아마존 AWS(Amazon AWS) 지원금의 일부 지원을 받았습니다. 특히 Yijue Chen에게 특별한 감사를 표합니다.