Real-Fake: 분포 매칭(Distribution Matching)을 통한 효과적인 훈련 데이터 합성

Jianhao Yuan Jie Zhang Affiliation: ETH Zurich Shuyang Sun Affiliation: University of Oxford Philip Torr Bo Zhao Affiliation: University of Oxford Affiliation: Beijing Academy of Artificial Intelligence

Abstract

합성 데이터(Synthetic training data)는 데이터셋 증강, 일반화 평가, 개인정보 보호와 같은 장점을 제공하며 다양한 학습 작업 및 시나리오에서 중요성을 확보해 왔습니다. 이러한 이점에도 불구하고, 현재의 방법론으로 생성된 합성 데이터는 고성능 딥러닝 모델을 단독으로 학습시킬 때 그 효율성이 여전히 떨어지며, 이는 실질적인 유용성을 제한하는 요소가 됩니다. 이러한 문제를 해결하기 위해, 본 연구에서는 지도 학습(Supervised learning)을 위한 학습 데이터 합성의 기본 원리를 분석하고, 분포 매칭(Distribution-matching) 관점에서 합성 효율을 지배하는 메커니즘을 설명하는 원칙적인 이론적 프레임워크를 제시합니다. 광범위한 실험을 통해, 우리는 다양한 이미지 분류 작업에서 합성 데이터가 실제 데이터셋을 대체하거나 보완하는 방식 모두에서 효과적임을 입증하며, 동시에 분포 외 일반화(Out-of-distribution generalization), 개인정보 보호, 확장성(Scalability)과 같은 이점들을 확인합니다. 구체적으로, 우리는 원본 실제 데이터 크기의 1 $\times$ 에 해당하는 합성 데이터만으로 학습했을 때 ImageNet1K에서 70.9%의 Top-1 분류 정확도를 달성했으며, 합성 데이터를 10 $\times$ 까지 확장했을 때는 76.0%까지 향상되었습니다. 1 1 1 코드는 https://github.com/BAAI-DCAI/Training-Data-Synthesis에서 공개되었습니다. Corresponding to Bo Zhao $\langle$ bozhaonanjing@gmail.com $\rangle$ .

1 Introduction

이미지 인식(image recognition)을 위한 딥러닝에서 대규모 주석 데이터셋(annotated datasets) (Deng et al., 2009; Lin et al., 2014)은 모델이 패턴을 효과적으로 발견하고, 표현(representations)을 학습하며, 정확한 예측을 생성하는 데 필요한 포괄적인 정보를 제공하기 때문에 필수적이다. 그러나 이러한 데이터셋을 수동으로 수집하는 것은 시간이 많이 소요되고 노동 집약적이며, 개인정보 보호 문제를 야기할 수 있다. 이러한 과제들을 고려할 때, 훈련 데이터 합성(training data synthesis)은 기존의 실제 데이터셋을 확장하거나 대체하기 위한 유망한 대안을 제공한다.

수많은 이미지 합성 전략 중에서 딥 생성 모델(deep generative models)은 높은 충실도의 이미지를 생성할 수 있는 능력 덕분에 상당한 주목을 받아왔다. 초기 연구 (Besnier et al., 2020; Li et al., 2022; Zhang et al., 2021; Zhao & Bilen, 2022)는 이미지 분류 및 분할을 위한 주석이 달린 훈련 데이터를 합성하기 위해 생성적 적대 신경망(Generative Adversarial Networks, GANs)을 활용했다. 최근에는 자기지도 사전 학습(self-supervised pre-training) (Tian et al., 2023), 전이 학습(transfer learning) (He et al., 2022), 도메인 일반화(domain generalization) (Yuan et al., 2022; Bansal & Grover, 2023), 그리고 지도 이미지 분류(supervised image classification) (Azizi et al., 2023; Sarıyıldız et al., 2023; Lei et al., 2023)를 위해 강력한 확산 모델(diffusion models)을 이용한 훈련 데이터 합성에 더 많은 연구가 집중되고 있다. 그러나 광범위한 연구에도 불구하고, 합성 데이터로 훈련된 모델과 실제 데이터로 훈련된 모델의 성능을 비교할 때 여전히 뚜렷한 성능 차이가 존재한다. 이러한 불일치의 주요 원인은 합성 데이터와 실제 데이터 분포 사이의 정렬 불일치(misalignment)이며, 이는 Fig. 1 (a)에서 설명된 바와 같이 확산 모델이 웹 규모의 데이터셋으로 훈련됨에도 불구하고 발생한다. 이전 연구들은 프롬프트 엔지니어링(prompt engineering) (Sarıyıldız et al., 2023; Lei et al., 2023)이나 비용이 많이 드는 역변환(inversion) 방식 (Zhao & Bilen, 2022; Zhou et al., 2023)과 같은 휴리스틱 기반의 접근 방식을 통해 이 문제를 해결하려고 시도해 왔으나, 이러한 해결책들은 충분하지도 효율적이지도 않다. 더욱이, 합성 훈련 데이터의 효능을 원칙적인 방식으로 적절하게 설명하고 분석할 수 있는 이론적 프레임워크가 부재한 상황이다.

Refer to caption — (a) 분포 시각화 (Distribution Visualization)

심층 생성 모델(deep generative models)이 생성하는 합성 훈련 데이터의 품질과 유용성을 더욱 향상시키기 위해, 우리는 분포 일치(distribution-matching) 관점에서의 훈련 데이터 합성 이론적 프레임워크를 제시한다. 구체적으로, 지도 학습(supervised learning)의 제1원칙인 (Sutskever, 2023; Cunningham et al., 2008)에서 시작하여, 우리는 훈련 데이터 합성을 분포 일치 문제로 재구성한다. 이는 합성 데이터의 두 가지 주요 원칙을 강조한다: (1) 목표 데이터와 합성 데이터 사이의 분포 차이(distribution discrepancy), 그리고 (2) 훈련 세트의 기수(cardinality).

이러한 기초를 바탕으로, 우리는 최첨단 텍스트-이미지 확산 모델(text-to-image diffusion model)인 Stable Diffusion (Rombach et al., 2022)에 이 프레임워크를 구현하여, 합성 데이터와 목표 데이터 분포 사이의 더 나은 정렬(alignment)을 달성하기 위해 학습 목표, 조건 생성(condition generation), 그리고 사전 초기화(prior initialization)를 세밀하게 분석하고 개선합니다. 우리는 다양한 시나리오를 포함하는 다채로운 벤치마크를 통해 우리의 이론적 프레임워크와 합성 방법을 실증적으로 검증합니다. 해당 시나리오는 (1) 합성 데이터만으로 학습하는 경우, (2) 실제 학습 데이터를 증강하는 경우, 그리고 (3) 합성 데이터와 성능 사이의 스케일링 법칙(scaling law)을 평가하는 경우입니다. 특히, ResNet50 (He et al., 2016)을 사용한 ImageNet1k 분류 작업에서 원본 실제 데이터 크기의 1 $\times$ 에 해당하는 합성 데이터만으로 학습했을 때 70.9%의 Top1 분류 정확도를 기록했으며, 10 $\times$ 의 합성 데이터를 사용할 경우 76.0%까지 향상되었습니다. 또한, 우리는 합성 데이터로 학습할 때의 (1) 분포 외 일반화(out-of-distribution (OOD) generalization)와 (2) 개인정보 보호(privacy preservation)를 탐구하며 유망한 결과를 제시합니다. 우리의 연구 결과는 기존 기술 수준을 높이는 것을 넘어, 학습 데이터 합성 파이프라인을 개선하기 위한 잠재적인 전략에 대한 통찰을 제공합니다. 주요 기여도는 다음과 같습니다.

• 훈련 데이터 합성(training data synthesis)을 위한 원칙적인 분포 매칭(distribution matching) 프레임워크를 도입하며, 합성 데이터의 효과를 결정짓는 두 가지 핵심적인 측면을 강조한다.
최첨단 텍스트-이미지 확산 모델(text-to-image diffusion model)을 활용하고, 그 구성 요소들에 대한 종합적인 분석 및 개선을 통해 효과적인 학습 데이터 합성 전략을 설계한다.
이미지 분류(image classification) 작업을 위한 학습 데이터 합성(training data synthesis) 분야에서 최첨단 기술을 발전시키는 동시에, 분포 외 일반화(OOD generalization) 및 개인정보 보호(privacy preservation) 측면에서의 이점을 입증한다.

2 Background

2.1 학습 데이터 합성 (Training Data Synthesis)

유익한 학습 샘플을 합성하는 것은 매력적이면서도 도전적인 연구 분야로 남아 있다. 한 연구 흐름은 사전 학습된 심층 생성 모델(pre-trained deep generative models)을 통한 합성에 초점을 맞춘다. 초기 시도인 (Zhang et al., 2021; Li et al., 2022; Zhao & Bilen, 2022)은 유익하고 주석이 달린 학습 샘플을 합성하기 위해 생성적 적대 신경망(Generative Adversarial Networks, GANs) (Goodfellow et al., 2014; Brock et al., 2018)을 탐구했다. 최근에는 확산 모델(diffusion models)이 더 많은 주목을 받고 있다. He et al. (2022); Tian et al. (2023)는 자기지도 사전 학습(self-supervised pre-training) 및 퓨샷/제로샷 학습(few/zero-shot learning)을 위해 텍스트 조건부 확산 모델(text-conditioned diffusion models)에서 생성된 데이터를 활용하며, 이는 합성 학습 데이터의 전이 학습(transfer learning) 능력을 강조한다. 또한, Yuan et al. (2022); Bansal & Grover (2023); Vendrow et al. (2023)은 학습 데이터셋을 증강하고 다양화함으로써 분포 외(out-of-distribution) 환경에서 합성 데이터의 유용성을 입증한다. 아울러, Sarıyıldız et al. (2023); Lei et al. (2023); Azizi et al. (2023)는 프롬프트 엔지니어링(prompt engineering)을 통해 Stable Diffusion (Rombach et al., 2022) 및 Imagen (Saharia et al., 2022)을 사용하여 클래스 조건부 샘플을 합성하며, 이는 분류 모델 학습만을 위해 합성 데이터를 사용하는 잠재력을 보여준다.

다양한 작업에서 유망한 결과를 보여줌에도 불구하고, 실제 데이터셋과 합성 데이터셋(synthetic datasets)으로 학습된 모델 사이에는 여전히 뚜렷한 성능 차이가 존재한다. 이러한 차이는 합성 학습 데이터의 분포과 대상 다운스트림 데이터(downstream data)의 분포 사이의 불일치(misalignment)에서 기인한다. 기존 연구 (Sarıyıldız et al., 2023; Lei et al., 2023)은 도메인 차이(domain gap)를 극복하기 위해 프롬프트 엔지니어링(prompt engineering)을 활용하지만, 이는 불충분하다. Zhou et al. (2023)은 실제 이미지와 유사한 합성 이미지를 얻기 위해 확산 역전(diffusion inversion)을 구현하지만, 이는 비용이 많이 들고 대규모 데이터셋에 확장하기 어렵다. 합성 데이터의 효능을 뒷받침하는 메커니즘을 이해하기 위해, 우리는 이론적 원리를 규명하고 최적화되지 않은 데이터 합성과 관련된 과제들을 추가로 해결하고자 한다.

또 다른 연구 흐름은 대규모 실제 데이터셋을 더 작은 합성 데이터셋으로 추출하여 유익한 훈련 샘플을 생성하는 것, 즉 데이터셋 증류(dataset distillation)에 초점을 맞춥니다. 이러한 방법들은 메타 손실(meta-loss) (Wang et al., 2018), 그래디언트 매칭 손실(gradient matching loss) (Zhao et al., 2021), 궤적 매칭 손실(trajectory matching loss) (Cazenavette et al., 2022), 그리고 분포 매칭 손실(distribution matching loss) (Zhao & Bilen, 2023; Zhao et al., 2023)의 최소화를 통해 합성 이미지(픽셀)를 최적화합니다. 특히, 분포 매칭 방식은 모델에 구애받지 않는 특성(model-agnostic nature) 덕분에 주목을 받고 있습니다. 그러나 데이터셋 증류의 복잡하고 비용이 많이 드는 최적화 과정은 종종 확장성 측면에서 어려움을 야기합니다. 이러한 한계에도 불구하고, 데이터셋 증류의 원칙적인 접근 방식은 효과적인 것으로 입증되었으며 본 연구에 영감을 주었습니다.

2.2 확산 확률 모델(Diffusion Probabilistic Models)

확산 확률 모델(Diffusion Probabilistic Models) (Sohl-Dickstein et al., 2015; Ho et al., 2020; Nichol & Dhariwal, 2021)은 점진적인 노이즈 프로세스(noising process)를 역전시킴으로써 데이터 분포 $q(\bm{x}_{0})$ 를 학습하는 잠재 변수 모델(latent variable models)이다. 이 모델은 데이터 분포를 기지의 사전 가우시안 분포(prior Gaussian distribution)로 변환하기 위해, 노이즈 스케줄 $\beta_{t}\in(0,1)$ 을 가진 수작업으로 설계된 가우시안 전이 커널(Gaussian transition kernel) $q\left(\bm{x}_{t}\mid\bm{x}_{t-1}\right)=\mathcal{N}\left(\bm{x}_{t};\sqrt{1-\beta_{t}}\bm{x}_{t-1},\beta_{t}\mathbf{I}\right)$ 을 사용하는 순방향 확산 마르코프 과정(forward diffusion Markov process) $q\left(\bm{x}_{1:T}\mid\bm{x}_{0}\right)=\prod_{t=1}^{T}q\left(\bm{x}_{t}\mid\bm{x}_{t-1}\right)$ 을 정의한다. 그 다음, 신경망에 의해 매개변수화된 가우시안 전이 $p_{\bm{\theta}}\left(\bm{x}_{t-1}\mid\bm{x}_{t}\right)=\mathcal{N}\left(\bm{x}_{t-1};\bm{\mu}_{\bm{\theta}}\left(\bm{x}_{t},t\right),\bm{\Sigma}_{\bm{\theta}}\left(\bm{x}_{t},t\right)\right)$ 을 통해 순방향 과정에서 추가된 노이즈를 점진적으로 제거하는 역방향 마르코프 과정(reverse Markovian process) $p_{\bm{\theta}}\left(\bm{x}_{0:T}\right)=p\left(\bm{x}_{T}\right)\prod_{t=1}^{T}p_{\bm{\theta}}\left(\bm{x}_{t-1}\mid\bm{x}_{t}\right)$ 을 학습한다. 확산 모델의 학습 목표는 순방향 및 역방향 과정의 결합 분포(joint distributions) 사이의 KL 발산(KL-divergence)을 최소화하는 것이다. 이는 모델의 음의 로그 가능도(negative log-likelihood)에 대한 표준 변분 상한(variational bound) (Yang et al., 2022)을 최적화하는 것으로 더욱 단순화될 수 있다(상세한 증명은 Apx. A에서 확인할 수 있다).

\operatorname{KL}\left[q\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\|p_{\bm{\theta}}\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\right]\geq\mathbb{E}\left[-\log p_{\bm{\theta}}\left(\bm{x}_{0}\right)\right]

(1)

실제적으로, 중간 샘플링 단계들을 마진화(marginalizing)함으로써 포워드 프로세스(forward process)의 해석적 형태를 얻을 수 있는데, 이는 $q\left(\bm{x}_{t}\mid\bm{x}_{0}\right)=\mathcal{N}\left(\bm{x}_{t};\sqrt{\bar{\alpha}_{t}}\bm{x}_{0},(1-\bar{\alpha}_{t})\mathbf{I}\right)$ 이며, 여기서 $\alpha_{t}:=1-\beta_{t}$ 및 $\bar{\alpha}_{t}:=\prod_{s=0}^{t}\alpha_{s}$ 이다. 역과정(reverse process)의 분산을 학습 불가능한 상수 $\sigma_{t}$ 으로 설정하고, 추가된 노이즈 $\epsilon$ 를 예측하기 위해 $\epsilon_{\bm{\theta}}$ 의 특정 파라미터화(parameterization)를 선택함으로써, 전체 학습 목표는 다음과 같다:

\mathbb{E}_{\bm{x},\bm{\epsilon}\sim\mathcal{N}(0,1),t}\left[\frac{\beta_{t}^{2}}{2\sigma_{t}^{2}\alpha_{t}(1-\bar{\alpha}_{t})}\left\|\bm{\epsilon}-\bm{\epsilon}_{\bm{\theta}}\left(\sqrt{\bar{\alpha}_{t}}\bm{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\bm{\epsilon},t\right)\right\|^{2}\right],

(2)

여기서 $\bm{x}_{t}=\sqrt{\bar{\alpha}_{t}}\bm{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\bm{\epsilon}$ 은 주변 분포(marginal distribution) $q\left(\bm{x}_{t}\mid\bm{x}_{0}\right)$ 의 재매개변수화(reparameterization)를 통해 도출됩니다. 이 목적 함수 (Ho et al., 2020)는 적절하게 재가중치화(reweighted)될 경우, 스코어 기반 생성 모델(Score-based Generative Models, SGM) (Song & Ermon, 2019)의 노이즈 제거 스코어 매칭(denoising score matching) 손실과 일치합니다.

이론적 토대를 활용하여, 본 연구에서는 최첨단 잠재 확산 모델(Latent Diffusion Model, LDM)인 스테이블 디퓨전(Stable Diffusion) (Rombach et al., 2022)에 주목한다. 본 연구의 목적은 훈련 데이터 합성을 위해 분포 매칭(distribution matching) 관점에서 해당 모델의 훈련 목표와 생성 샘플링(generative sampling) 프로세스에 대한 대안적 해석을 제공하는 것이다.

3 학습 데이터 합성: 분포 매칭(Distribution Matching) 관점

훈련 데이터 합성(Training data synthesis)의 목표는 데이터 $x$ 과 주석(Annotation) $y$ 의 대상 분포 $D:=q(x,y)$ 로부터 합성 데이터를 생성하는 것이다. 지도 학습(Supervised training) (Sutskever, 2023; Cunningham et al., 2008)에서, 전체 대상 분포 $D$ 에 대한 훈련 오차와 테스트 오차의 차이는 샘플링된 훈련 세트의 기수(Cardinality) $|S|$ 의 제곱근의 역수에 의해 제한된다. 훈련 세트의 기수에 명시적으로 의존하는 이 임계값보다 오차가 낮을 확률은 $\delta$ 이 작은 경우 $1-\delta$ 보다 높음이 보장된다. 자세한 증명은 Apx. B을 참조하라.

\operatorname{Pr}_{S\sim D^{|S|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\leq\sqrt{\frac{\log|\mathcal{F}|+\log 1/\delta}{|S|}}\forall f\in\mathcal{F}\right]>1-\delta

(3)

고정된 모델 공간 $\mathcal{F}$ (즉, 유한한 파라미터(parameters)를 가진 고정된 모델 구조)이 주어지는 훈련 데이터 합성(training data synthesis)에 있어, Eq. 3의 핵심적인 시사점은 두 가지 중점 요소를 식별했다는 것이다: (1) 훈련 및 테스트 데이터 분포 불일치(Training and testing data distribution discrepancy), (2) 훈련 세트의 기수(Cardinality). 이는 훈련 데이터 합성의 제1원칙을 공식화한다: 타겟 분포로부터 무한한 훈련 샘플이 주어지면, 테스트 오차는 최소화된 훈련 오차로 수렴한다.

그러나 데이터 분포로부터 직접 샘플링하는 것은 다루기 어려울 수 있으므로, 우리는 대신 $\bm{\theta}$ 으로 매개변수화된 $p_{\bm{\theta}}$ 형태의 생성 모델(generative model)을 학습하여 동일한 분포를 따르는 데이터를 합성합니다. 즉, $p_{\bm{\theta}}(\bm{x},y)=q(\bm{x},y)$ (Bishop, 2006)입니다. 이는 유의미한 훈련 데이터 합성 문제를 분포 매칭(distribution matching) 문제로 효과적으로 전환합니다. 우리는 이러한 분포 매칭 문제를 $q(y|\bm{x})q(\bm{x})=p_{\bm{\theta}}(y|\bm{x})p_{\bm{\theta}}(\bm{x})$ (Li et al., 2017)로 재구성할 수 있습니다. 이를 통해 공동 데이터-주석 분포(joint data-annotation distribution)를 매칭하는 문제를 두 개의 하위 문제로 분리할 수 있습니다. 즉, (1) 데이터 분포 매칭 $q(\bm{x})=p_{\bm{\theta}}(\bm{x})$ , (2) 조건부 클래스 가능도 매칭(conditioned class likelihood matching) $q(y|\bm{x})=p_{\bm{\theta}}(y|\bm{x})$ 입니다. 분류 프로토콜 하에서 전자는 분포 내(in-distribution) 데이터 합성을 보장하고, 후자는 클래스 간의 견고한 결정 경계(decision boundary)를 보장합니다. 전반적으로, 지도 학습(supervised learning)을 위한 훈련 데이터 합성의 목적은 다음과 같은 최적화 문제로 구성될 수 있습니다.

\boxed{S^{*}=\argmin_{S\sim p_{\bm{\theta}}(\bm{x},y)}\left(D(q(\bm{x}),p_{\bm{\theta}}(\bm{x}))+D(q(y|\bm{x}),p_{\mathbf{\bm{\theta}}}(y|\bm{x}))-\lambda|S|\right)}

(4)

여기서 $S^{*}$ 은 학습된 분포 $S\sim p_{\bm{\theta}}(\bm{x},y)$ 에서 샘플링된 최적의 합성 데이터(synthetic data)를 의미한다. $D(\cdot,\cdot)$ 는 두 분포 사이의 거리 척도(distance measure)이다. $\lambda\in\mathbb{R}^{+}$ 를 포함한 정규화 항(regularization term) $\lambda|S|$ 은 더 큰 훈련 세트를 유도한다. 다행히, 두 분포 매칭(distribution matching) 문제는 모두 딥 생성 모델(deep generative models)로 해결할 수 있다. 특히 확산 모델(diffusion model)의 경우, 데이터 분포는 디노이징(denoising) 과정을 통해 학습되며, 클래스 가능도(class likelihood)는 분류기(classifier) 또는 분류기 없는 가이드(classifier-free guidance) (Dhariwal & Nichol, 2021; Ho & Salimans, 2022)를 통해 모델링될 수 있다.

이러한 이론적 틀을 바탕으로, 우리는 분포 매칭(distribution matching)의 관점에서 확산 모델(diffusion model)의 각 구성 요소에 대한 분석을 수행하고 잠재적인 개선 방안을 제안한다. 구체적으로, 우리는 훈련 데이터 합성에 최적화된 분포 매칭 중심의 합성 프레임워크를 도입하며, 여기에는 (1) 특징 분포 정렬(feature distribution alignment), (2) 조건부 시각적 가이드(conditioned visual guidance), (3) 잠재 사전 초기화(latent prior initialization)의 세 가지 측면이 포함된다.

3.1 최대 평균 편차(Maximum Mean Discrepancy, MMD)를 이용한 분포 매칭(Distribution Matching)

먼저, 우리는 타겟 데이터와 합성 데이터 간의 분포 불일치(distribution discrepancy)를 정량화한다. 확산 모델(diffusion model)에서 KL 발산(KL-divergence) 최소화의 목적이 데이터 분포 일치에 대한 상한선(upper bound)을 암묵적으로 제공하지만 (Yang et al., 2022), 이는 상한선과 음의 로그 가능도(negative log-likelihood) Eq. 1 사이의 간격으로 인해 느슨한(loose) 것으로 관찰된다 (Kingma et al., 2021). 더 중요한 점은, 훈련 데이터 합성의 맥락에서 경험적 분포(empirical distribution, 즉 데이터 샘플)의 이산적 특성으로 인해 이것이 최적이지 않은 척도가 된다는 것이다. 대신, 우리는 이러한 불일치를 최대 평균 차이(Maximum Mean Discrepancy, MMD) (Gretton et al., 2008)로 측정하는데, 이는 샘플 테스트로서 발생할 수 있는 편향된 이산 분포 문제를 완화하며, 비모수적(non-parametric) 특성과 단순성 덕분에 데이터 증류(dataset distillation) Zhao & Bilen (2023)에서 널리 성공적으로 적용된다. 마지막으로, 우리는 특정 가정 하에서 확산 모델의 훈련 목적과 MMD 상한선 최소화 사이의 수학적 등가성을 발견하며, 이는 우리가 변분 상한(variational bound)을 더욱 완화하고 특징 공간(feature space)에서 데이터 분포를 더 잘 정렬할 수 있게 해준다.

(실제) 타겟 데이터셋 $\mathcal{R}=\left\{\left(k_{1},y_{1}\right),\ldots,\left(k_{|\mathcal{R}|},y_{|\mathcal{R}|}\right)\right\}$ 과 합성 데이터셋 $\mathcal{S}=\left\{\left(s_{1},y_{1}\right),\ldots,\left(s_{|\mathcal{S}|},y_{|\mathcal{S}|}\right)\right\}$ 을 고려하자. 우리의 목표는 특정 특징 추출기(feature extractor) $\psi\in\mathcal{F}$ 로 표현되는 타겟 데이터 분포 $q(x)$ 와 합성 데이터 분포 $p_{\bm{\theta}}(x)$ 사이의 MMD(Maximum Mean Discrepancy)를 최소화하는 것이다.

\operatorname{MMD}[\mathcal{F},p,q]=\sup_{\left\|\psi_{\vartheta}\right\|_{\mathcal{H}}\leq 1}\left(\mathbb{E}_{q}\left[\psi(\mathcal{R})\right]-\mathbb{E}_{p}\left[\psi(\mathcal{S})\right]\right),

(5)

여기서 $\psi$ 은 보편적 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS) $\mathcal{H}$ (Hilbert, 1904) 내에 존재하는 함수를 나타냅니다. RKHS의 재생 성질(reproductive properties)을 따르고 모든 분포에 대한 기댓값을 경험적으로 추정함으로써, Eq. 5을 Eq. 6로 단순화할 수 있습니다.

\operatorname{MMD}^{2}[\mathcal{F},p,q]=||\frac{1}{|\mathcal{T}|}\sum_{i=1}^{|\mathcal{T}|}\psi_{\vartheta}\left(k_{i}\right)-\frac{1}{|\mathcal{S}|}\sum_{j=1}^{|\mathcal{S}|}\psi_{\vartheta}\left(\bm{s}_{j}\right)||_{\mathcal{H}}^{2}.

(6)

잠재 확산 모델(Latent Diffusion Model)에서 $\psi$ 은 잠재 임베딩(latent embedding)이 MMD(Maximum Mean Discrepancy) 계산을 위한 특징 맵(feature map) 역할을 하는 변분 오토인코더(Variational Autoencoder, VAE)로 개념화될 수 있다. 대상 데이터와 합성 데이터의 분포는 초기 노이즈가 없는 잠재 임베딩 $\bm{x}_{0}$ 과 예측된 노이즈 제거 잠재 임베딩 $\bm{x}_{\bm{\theta}}\left(\bm{x}_{t},t\right)$ 로 효과적으로 근사될 수 있다. $|\mathcal{R}|=|\mathcal{S}|=|\mathcal{N}|$ 인 동일한 배치 내에서 MMD가 계산된다고 가정하면, 우리의 목적 함수는 $||\frac{1}{|\mathcal{N}|}\sum_{i=1}^{|\mathcal{N}|}(\bm{x}-\bm{x}_{\bm{\theta}}\left(\bm{x}_{t},t\right))||_{\mathcal{H}}^{2}$ 로 더욱 정교화될 수 있다. Ho et al. (2020)에 따라, 노이즈 제거 과정에서 $x_{t}$ 로부터의 추가된 노이즈 $\bm{\epsilon}$ 의 예측기로 $\bm{\epsilon}_{\bm{\theta}}$ 을 갖는 파라미터화를 선택하면, 우리의 분포 매칭 목적 함수(MMD)를 Eq. 7로 구성할 수 있다:

L_{MMD}:=||\frac{1}{|\mathcal{N}|}\sum_{i=1}^{|\mathcal{N}|}\left(\bm{\epsilon}-\bm{\epsilon}_{\bm{\theta}}\left(\bm{x}_{t},t\right)\right)||_{\mathcal{H}}^{2}\leq\frac{1}{|\mathcal{N}|}\sum_{i=1}^{|\mathcal{N}|}||\left(\bm{\epsilon}-\bm{\epsilon}_{\bm{\theta}}\left(\bm{x}_{t},t\right)\right)||_{\mathcal{H}}^{2}=L_{Diffusion}.

(7)

좌변의 평균(mean)과 노름(norm) 연산이 모두 볼록 함수(convex functions)이므로, 젠센의 부등식(Jensen’s inequality)을 적용하면 각 타임스텝에 동일한 가중치를 부여했을 때의 원래 분포 매칭 목적 함수(distribution matching objective)에 대한 상한(upper bound)을 얻을 수 있습니다. 이 상한 표현식은 확산 모델(diffusion model) 학습 손실 Eq. 2과 유사하다는 점에 주목하십시오. 이는 확산 모델을 학습할 때, 합성 데이터와 실제 데이터 분포 사이의 최대 평균 거리(MMD, Maximum Mean Discrepancy)에 대한 상한을 암묵적으로 최적화함을 의미합니다. 또한, 이는 변분 상한(variational bound)의 손실을 완화하기 위해 Eq. 7의 목적 함수를 직접 최적화할 수 있게 해줍니다. 우리는 미세 조정(finetuning) 과정에서 기존의 확산 모델 손실을 보강하기 위해 이 목적 함수를 사용하며, 이는 MMD 척도 하에서 더 정렬된 특징 분포를 보장할 수 있습니다.

3.2 텍스트-비전 가이드(Text-Vision Guidance)를 통한 조건부 생성(Conditioned Generation)

일반적인 특징 수준의 분포 매칭(feature-level distribution matching), 즉 $q(\bm{x})=p_{\bm{\theta}}(\bm{x})$ 을 넘어, 학습 데이터 합성(training data synthesis)의 핵심적인 측면은 명확하게 정의된 결정 경계(decision boundaries)를 가진 일치하는 조건부 클래스 분포(congruent conditional class distribution)를 보장하는 것, 즉 $q(y|\bm{x})=p_{\bm{\theta}}(y|\bm{x})$ 입니다. 분류기(free) 가이던스(Classifier-free guidance) (Dhariwal & Nichol, 2021; Ho & Salimans, 2022)는 확산 모델(diffusion model)의 조건부 샘플링(conditioned sampling) 과정에서 중요한 역할을 합니다. SGM 프레임워크 하에서, 조건부 클래스 가능도(conditioned class likelihood)를 맞추기 위해 우리는 각 분포의 스코어 함수(score function)를 등가적으로 매칭할 수 있으며, 이는 $\nabla_{\bm{x}_{t}}\log q(y|\bm{x})=\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}(y|\bm{x})$ 과 같습니다. 이는 조건부 스코어 함수를 Eq. 8로 재구성함으로써 노이즈 예측(noise prediction) $\epsilon_{\bm{\theta}}\left(\bm{x}_{t}\right)$ 을 통해 추정됩니다.

\hskip-5.69054pt\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}\left(y\mid\bm{x}_{t}\right)=\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}\left(\bm{x}_{t}\mid y\right)-\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}\left(\bm{x}_{t}\right)=\frac{1}{\sqrt{1-\bar{\alpha}_{t}}}\left(\bm{\epsilon}_{\bm{\theta}}\left(\bm{x}_{t},y\right)-\bm{\epsilon}_{\bm{\theta}}\left(\bm{x}_{t}\right)\right)

(8)

대부분의 학습 데이터 합성(training data synthesis) 연구는 텍스트 프롬프트 엔지니어링(text-prompt engineering)을 통해 클래스 수준의 설명(class-level description) (He et al., 2022), 인스턴스 수준의 설명(instance-level description) (Lei et al., 2023), 그리고 어휘적 정의(lexical definition) (Sarıyıldız et al., 2023)에 맞춰 조건부 분포를 정렬한다. (Lei et al., 2023)에 따라, 우리는 각 인스턴스의 BLIP2 (Li et al., 2023) 캡션을 클래스 이름과 결합하여 텍스트 프롬프트로 활용한다. 더욱이, 텍스트 조건은 어느 정도의 적응성을 제공하지만 노출 및 채도와 같은 저수준 정보와 객체 및 장면의 공기(co-occurrence)와 같은 고수준 정보를 포함한 고유한 시각적 정보를 무시한다. 이를 해결하기 위해, 우리는 이미지 특징(image features)을 조건으로 하는 더 직접적인 프롬프팅 전략을 채택한다. 구체적으로, 우리는 CLIP (Radford et al., 2021) 이미지 인코더로 인코딩된 이미지 특징을 추출하고, 특정 클래스에서 무작위로 샘플링된 이미지들의 이미지 임베딩(image embeddings) 평균을 계산하여 클래스 내 특징 분포, 즉 평균 특징을 추정한다. 이는 이후 LoRA (Hu et al., 2021)를 사용하여 확산 모델(diffusion model)을 공동 미세 조정(jointly finetuning)하기 위해 텍스트 임베딩과 결합되며, 이를 통해 노이징 UNet(denoising UNet) (Ronneberger et al., 2015)의 교차 주의(cross-attention) 레이어에 추가적인 조건 제어를 주입한다. 그 결과로 도출된 멀티모달 조건(임베딩)은 "[classname]의 사진, [Image Caption], [Intra-class Visual Guidance]"의 형태를 취한다.

3.3 잠재 사전 분포 초기화 (Latent Prior Initialization)

합성 데이터의 데이터 분포 일치(data distribution matching)를 보장하는 또 다른 핵심 요소는 LDM의 샘플링 과정에 있는 잠재 사전 분포(latent prior) $p_{\mathbf{\bm{\theta}}}\left(\bm{x}_{T}\right)$ 이다. 이는 Eq. 9에 나타난 바와 같이, 랑제빈 역학(Langevin dynamics) (Song & Ermon, 2019; Parisi, 1981)에 의해 제어되는 역확산 과정(reverse diffusion process)에서 정보가 풍부한 가이드 역할을 수행한다.

\bm{x}_{t-1}=\bm{x}_{t}+\sqrt{2\alpha_{t}}\mathbf{z}_{t}-\alpha_{t}\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}(\bm{x}_{t}|\bm{x}_{T}),\mathbf{z}_{t}\sim\mathcal{N}\left(\mathbf{0},\mathbf{I}\right),

(9)

여기서 $p{{}_{\bm{\theta}}}(\bm{x}_{t}|\bm{x}_{T})$ 은 잠재 사전 분포(latent prior) $\bm{x}_{T}$ 가 주어졌을 때의 $\bm{x}_{t}$ 조건부 분포(conditional distribution)를 나타내며, 그에 대응하는 스코어 함수(score function) $\nabla_{\bm{x}_{t}}\log p_{\bm{\theta}}(\bm{x}_{t}|\bm{x}_{T})$ 는 랑제빈 역학(Langevin dynamics)을 데이터 분포 내에서 확률이 더 높은 영역으로 유도하여, 생성된 샘플이 목표 분포와 밀접하게 일치하도록 보장합니다. 확산 모델(diffusion models)은 흔히 가우시안 분포를 초기 사전 분포 $\bm{x}_{T}\sim q\left(\bm{x}_{T}\right):=\mathcal{N}\left(\bm{x}_{T};\mathbf{0},\mathbf{I}\right)$ 로 사용하지만, 최근 잠재 역전(latent inversion) (Zhou et al., 2023; Lian et al., 2023) 및 학습 기반 사전 렌더링(learning-based prior rendering) (Liao et al., 2023)을 활용한 연구들은 더 나은 샘플링 속도와 합성 품질을 갖춘 정보가 풍부한 비가우시안(non-Gaussian) 잠재 사전 분포의 장점을 강조해 왔습니다. 하지만 이러한 정보가 풍부한 사전 분포를 얻는 것은 집약적인 계산이나 외부 아키텍처를 필요로 하기 때문에 비용이 많이 들 수 있습니다. 대신, 우리는 (Meng et al., 2021)을 따라 VAE 인코더를 사용하여 특정 실제 샘플의 잠재 코드(latent code)를 획득하며, 이는 매우 저렴한 방식입니다. 또한 이는 목표 분포와 밀접하게 정렬된 정보가 풍부한 잠재 사전 초기화(latent prior initialization)를 제공하여, 더 나은 합성 샘플을 생성하는 결과를 낳습니다.

4 Experiments

Settings.

우리는 제안된 분포 매칭(distribution-matching) 프레임워크를 실증적으로 평가하고 합성 훈련 데이터의 유용성을 분석한다. 우리는 다양한 지도 학습(supervised learning) 이미지 분류 시나리오에서 합성 데이터의 활용을 탐구한다: (1) 실제 훈련 세트를 대체하는 경우 ( Sec. 4.1 ), (2) 실제 훈련 세트를 증강(augmenting)하는 경우 ( Sec. 4.2 ), 그리고 (3) 합성 훈련 데이터의 스케일링 법칙(scaling law)을 평가하는 경우 ( Sec. 4.3 )이다. 우리는 Eq. 4에서 확인된 두 가지 주요 요인, 즉 (시나리오 1 및 2에서) 타겟 데이터와 합성 데이터 간의 더 나은 정렬(alignment)과 (시나리오 3에서) 더 큰 훈련 세트의 기수(cardinality)가 갖는 이점을 검증하고자 한다. 나아가, 우리는 합성 훈련 데이터의 (4) 분포 외 일반화(Out-of-distribution generalization, Sec. 4.4 )와 (5) 개인정보 보호(Privacy-preservation, Sec. 4.5 )를 추가로 탐구한다. 모든 실험에서 우리는 LoRA를 사용하여 Stable Diffusion 1.5 (SDv1.5) (Rombach et al., 2022)를 미세 조정(finetune)한다.

Datasets.

우리는 세 가지 ImageNet 데이터셋인 ImageNette (IN-10) (Howard, 2019), ImageNet100 (IN-100) (Tian et al., 2020), 그리고 ImageNet1K (IN-1K) (Deng et al., 2009)를 대상으로 ResNet50 (He et al., 2016)을 활용한 벤치마크 실험을 수행한다. 이 외에도 우리는 여러 세밀한 이미지 분류(fine-grained image classification) 데이터셋인 CUB (Wah et al., 2011), Cars (Krause et al., 2013), PET (Parkhi et al., 2012), 그리고 위성 이미지 데이터인 EuroSAT (Helber et al., 2018)을 사용하여 실험을 진행한다.

데이터셋 사양(dataset specifications) (Apx. D), 데이터 합성(data synthesis) (Apx. E), 모델 학습(model training) (Apx. F), 그리고 실험 설정(experiment setting) (Apx. G)에 대한 더 자세한 내용은 부록에 제공됩니다.

4.1 합성 데이터만을 활용한 이미지 분류 (Image Classification)

우선 이미지 분류(image classification) 작업에서 실제 학습 데이터를 대체하기 위한 합성 학습 데이터(synthetic training data)의 정보량(informativeness)을 평가하는 것부터 시작합니다. 실제 학습 세트를 대체하기 위해, 각 데이터셋에서 실제 학습 세트와 동일한 수량의 학습 샘플을 합성합니다.

Tab. 1에 나타난 바와 같이, 실제 데이터와 비교했을 때 우리의 합성 데이터(synthetic data)는 소규모 데이터셋인 IN-10에서 성능 격차를 3% 미만으로 줄였습니다. 더 난이도가 높은 대규모 데이터셋인 IN-1K의 경우에도 성능 차이는 10% 미만으로 유지되었습니다. 훈련 데이터 합성 방법과 관련하여, 우리의 방법은 모든 벤치마크에서 기존의 최첨단(state-of-the-art) 기술들을 능가합니다. 특히, 동일한 생성 모델 백본(generative model backbone)을 사용할 때, 우리의 합성 데이터는 CiP (Lei et al., 2023) 및 FakeIt (Sarıyıldız et al., 2023)와 비교하여 IN-1K의 Top-1 정확도를 각각 16.8% 및 28.0% 향상시킨다는 점을 강조하는 것이 중요합니다. 세부 분류(fine-grained classification) 작업에서 우리 방법은 최첨단 방법(FakeIt)보다 더 유의미한 개선을 보여주었으며, 이는 더 정렬된 결정 경계(decision boundary)의 필요성 때문으로 분석됩니다.

표 1: 합성 이미지 분류 성능. 7개의 데이터셋에서 보고된 ResNet50의 Top-1 정확도(Top-1 accuracies)이다. 상단은 합성 데이터(synthetic data)만으로 학습한 결과를 나타내며, 하단은 실제 데이터와 합성 데이터를 결합하여 공동 학습(joint training)한 결과를 나타낸다.

	Model	IN-10	IN-100	IN-1K	CUB	Cars	PET	EuroSAT
Training without real data
BigGAN (Brock et al., 2018)	BigGAN	-	-	$42.7$
VQ-VAE-2 (Razavi et al., 2019)	VQ-VAE	-	-	$54.8$
CDM (Ho et al., 2022)	CDM	-	-	$63.0$
FakeIt (Sarıyıldız et al., 2023)	SDv1.5	-	-	$42.9$	$33.7$	$47.1$	$75.9$	$94.0$
Imagen (Azizi et al., 2023)	Imagen	-	-	$69.2$
CiP (Lei et al., 2023)	SDv1.5	$79.4$	$62.4$	$54.1$
OURS	SDv1.5	$90.5$	$80.0$	$70.9$	$64.3$	$81.8$	$89.2$	$94.6$
$\Delta$ with the previous state-of-the-art		+ $10.1$	+ $17.6$	+ $1.7$	+ $30.6$	+ $34.7$	+ $13.3$	+ $0.6$
Training with real data
Baseline real data only	-	$93.0$	$86.3$	$79.6$	$81.5$	$89.5$	$93.2$	$97.6$
OURS + real data	SDv1.5	$95.1$	$88.2$	$79.9$	$83.5$	$90.3$	$94.0$	$98.9$
$\Delta$ with the real data		+ $2.1$	+ $1.9$	+ $0.3$	+ $2.0$	+ $0.8$	+ $0.8$	+ $1.3$

제거 연구(Ablation Study).

다음으로, 우리는 제안된 개선 사항인 분포 매칭 목적 함수(distribution matching objective, Sec. 3.1), 조건부 시각적 가이드(conditioned visual guidance, Sec. 3.2), 그리고 잠재 사전 초기화(latent prior initialization, Sec. 3.3)의 효용을 평가하기 위해 더욱 포괄적인 절제 연구(ablation study)를 수행한다. 계산 비용을 고려하여, 우리는 IN-10 및 IN-100 데이터셋을 대상으로 절제 연구를 진행했다. Tab. 2에 나타난 바와 같이, 제안된 모든 모듈은 괄목할 만한 성능 향상에 기여한다. 세 가지 모듈의 조합은 가장 우수한 결과를 도출하며, 이는 IN-10과 IN-100에서 각각 베이스라인(baseline) 대비 10.7% 및 14.0% 성능을 상회한다. 추가적인 분석과 세부 사항은 Sec. G.5에 제공된다.

표 2: IN-10 및 IN-100의 Top-1 정확도에 대한 제안된 개선 사항의 절제 연구(Ablation study) 결과. 각 열 아래의 체크 표시(Tick)는 데이터 합성(Data synthesis) 과정에서 해당 모듈이 구현되었음을 나타낸다. 파인튜닝(Finetune)은 증강된 분포 일치 손실(Augmented distribution matching loss) 또는 기존 확산 손실(Original diffusion loss) Ho et al. (2020)을 사용하여 타겟 데이터셋에서 Stable Diffusion을 파인튜닝했는지 여부를 나타낸다.

Latent Prior	Visual Guidance	Distribution Matching	Finetune	ImageNette	ImageNet100
Sec. 3.3	Sec. 3.2	Sec. 3.1
				79.8	66.0
			✓	80.8	73.3
	✓		✓	82.3	74.0
		✓	✓	81.2	73.8
	✓	✓	✓	82.9	75.1
✓				88.0	76.3
✓			✓	88.7	78.3
✓	✓		✓	89.5	79.3
✓		✓	✓	88.9	79.8
✓	✓	✓	✓	90.5	80.0

4.2 합성 데이터(Synthetic Data)를 활용한 실제 데이터의 증강

우리는 합성 데이터(synthetic data)가 데이터셋 증강(dataset augmentation) 역할을 수행할 수 있는지 연구한다. 우리는 실제 데이터만으로 학습시킨 모델과 실제 데이터 및 합성 데이터를 모두 사용하여 학습시킨 모델을 비교한다. Tab. 1의 하단에 나타난 바와 같이, 합성 데이터와 실제 데이터를 결합했을 때 모든 벤치마크(benchmark)에서 성능 향상이 관찰되었다. 특히, 우리의 합성 데이터는 IN-10 및 IN-100 데이터셋에서 각각 2.1%와 1.9%의 성능을 향상시켰다. 이는 우리의 합성 데이터가 실제 데이터 분포(real data distribution)와 잘 부합함을 입증한다.

4.3 합성 훈련 데이터(Synthetic Training Data)의 규모 확장

표 3: 합성 ImageNet-1K(synthetic ImageNet-1K)의 규모 확장(Scaling-up).

Synthetic vs. real data size	Real data?	Top-1	Top-5
$\times 1$ (1.3M)		$70.9$	$89.9$
$\times 2$ (2.6M)		$72.9$	$91.1$
$\times 5$ (6.4M)		$74.5$	$92.1$
$\times 10$ (13M)		$76.0$	$93.1$
$\times 1$ (1.3M)	✓	$79.6$	$94.6$

데이터 분포 정렬(data distribution alignment) 외에도, Eq. 4에서 확인된 바와 같이 훈련 세트의 기수(cardinality)는 합성 데이터의 유용성에 영향을 미치는 또 다른 핵심 요소이다. 다행히, 심층 생성 모델(deep generative model)을 위한 데이터를 추가로 합성하는 것은 용이하다. 실험에서는 합성 데이터셋의 규모를 확장하고, 원본 실제 데이터셋 크기의 1 $\times$ 에서 10 $\times$ 범위까지 합성 데이터의 양을 늘려가며 이미지 분류기(image classifiers)를 훈련했다. Fig. 2에 나타난 바와 같이, 합성 데이터셋의 규모를 확장하는 것만으로도 실제 데이터로 훈련하지 않은 모델의 이미지 분류 성능을 실제 데이터로 훈련된 모델의 성능보다 뛰어넘게 할 수 있다. 소규모 데이터셋인 IN-10의 경우, 실제 데이터보다 우수한 성능을 내기 위한 합성 데이터의 임계 규모는 실제 데이터 크기의 2.5 $\times$ 에 불과하다. 반면, 대규모 데이터셋인 IN-100에서는 그 난이도가 더 높다. IN-100에서 실제 데이터의 효용성을 능가하려면 6.5 $\times$ 크기의 합성 데이터가 필요하다. Tab. 3에서 보듯, 우리는 130만 개의 실제 샘플을 보유한 대규모 데이터셋 IN-1K에 대해서도 합성 훈련 이미지의 규모를 확장했다. 결과에 따르면 합성 데이터가 증가함에 따라 이미지 분류 정확도가 상승하는 경향이 여전히 유지되었으며, ImageNet-1K 크기의 2배와 10배에서 각각 72.82%와 76.00%의 정확도를 달성했다. 합성 데이터의 규모를 확장함으로써, 실제 데이터와 합성 데이터 간의 격차를 1위 정확도(top-1 accuracy)에서 3.6%까지, 5위 정확도(top-5 accuracy)에서는 더욱 고무적인 1.5%까지 줄일 수 있었다.

4.4 분포 외 데이터(Out-of-Distribution Data)에 대한 일반화

우리는 또한 ImageNet의 네 가지 분포 외(Out-of-distribution, OOD) 변형 데이터셋인 (1) ImageNet-v2 (IN-v2) (Recht et al., 2019), (2) ImageNet-Sketch (IN-Sketch) (Wang et al., 2019), (3) ImageNet-R (IN-R) (Hendrycks et al., 2021a), (4) ImageNet-A (IN-A) (Hendrycks et al., 2021b)에 대한 OOD 일반화 성능을 조사한다. 우리는 분포 내(in-distribution) 실제 데이터(즉, ImageNet-1K 훈련 세트) 또는 합성 데이터(즉, 위 실험과 같이 생성 모델이 ImageNet-1K 훈련 세트로만 튜닝됨)로 훈련된 ResNet50 (He et al., 2016)을 OOD 테스트 세트에서 테스트한다.

표 4: OOD(Out-of-Distribution, 분포 외) 일반화 성능.

\times k

은 실제 데이터셋보다

k

배 규모의 합성 데이터셋으로만 학습했을 때를 나타낸다. Top-1 및 Top-5 분류 정확도(classification accuracies)를 보고하였다.

	ImageNet-v2 (Recht et al., 2019)		ImageNet-Sketch (Wang et al., 2019)		ImageNet-R (Hendrycks et al., 2021a)		ImageNet-A (Hendrycks et al., 2021b)
	Top-1	Top-5	Top-1	Top-5	Top-1	Top-5	Top-1	Top-5
Training without real data
FakeIt Sarıyıldız et al. (2023)	$43.0$	$70.3$	$16.6$	$35.2$	$26.3$	$45.3$	$3.6$	$15.1$
CiP Lei et al. (2023)	$53.8$	$80.5$	$18.5$	$35.5$	$33.6$	$51.1$	$5.2$	$21.7$
OURS	$67.2$	$88.0$	$21.9$	$38.2$	$35.4$	$51.9$	$4.5$	$23.5$
OURS $\times 2$	$69.5$	$89.2$	$25.2$	$43.0$	$36.1$	$52.5$	$6.8$	$29.2$
OURS $\times 5$	$71.1$	$90.6$	$27.8$	$46.2$	$39.7$	$56.3$	$9.4$	$34.9$
OURS $\times 10$	$73.0$	$91.4$	$29.2$	$48.1$	$41.0$	$57.5$	$11.3$	$39.4$
Training with real data
Baseline real data only	$74.7$	$92.2$	$28.1$	$45.8$	$39.4$	$54.1$	$8.1$	$34.7$
OURS + real data	$75.7$	$92.7$	$29.0$	$46.8$	$40.5$	$55.9$	$9.0$	$36.4$

Tab. 4에서 알 수 있듯이, $1\times$ 합성 데이터(synthetic data)만으로 학습할 때 우리 방법은 4개의 벤치마크 중 3개에서 이전의 합성 전략들을 능가하며 가장 우수한 일반화 성능(generalization performance)을 달성하는 것을 확인할 수 있다. 실제 데이터와 공동 학습(jointly training)할 때, 우리의 합성 데이터는 실제 데이터의 분포 외(OOD, out-of-distribution) 일반화 성능을 더욱 향상시킨다. 더욱 중요한 점은, 합성 데이터의 규모를 확장할 경우, 분포 내(in-distribution) 테스트 세트에서 대등한 성능을 달성하기도 전에 ImageNet-Sketch, ImageNet-R, ImageNet-A 등에서 실제 데이터보다 높은 OOD 일반화 성능을 초과한다는 것이다. 이는 OOD 일반화 능력을 강화하는 데 있어 합성 학습 데이터가 지닌 유망한 유용성을 더욱 강조한다.

4.5 개인정보 보호 분석 (Privacy Analysis)

합성 데이터(Synthetic training data)는 개인정보 보호 학습(privacy-preserving learning)을 위한 유망한 해결책입니다. 본 소절에서는 개인정보 보호 공격(privacy attacks)과 시각적 유사성(visual similarity)의 관점 모두에서 우리 합성 데이터의 개인정보 보호 특성을 검토합니다. 추가적인 실험 세부 사항은 Sec. G.4에 제공됩니다.

멤버십 추론 공격(Membership Inference Attack).

우리는 공격자가 훈련된 모델에 쿼리를 보내 특정 예시가 모델의 훈련 세트에 포함되어 있는지 여부를 판별할 수 있게 하는 멤버십 추론 공격(Membership Inference Attack, MIA)을 구현한다. 구체적으로, 우리는 최첨단 기술인 우도비 공격(Likelihood Ratio Attack, LiRA) Carlini et al. (2022)을 따르며, 낮은 거짓 양성률(false-positive rate) 영역에서 개인정보 보호 훈련 데이터셋(privacy training dataset)과 합성 데이터(synthetic data)라는 두 가지 훈련 방식에 대한 MIA 결과를 보고한다. 훈련 기간을 고려하기 위해 10회의 샘플링 반복을 수행한다. 구체적으로, 우리는 먼저 IN-10의 개인정보 데이터를 멤버 데이터와 비멤버 데이터의 두 부분으로 나눈다. 우리는 멤버 데이터에 대해서만 LoRA를 사용하여 확산 모델(diffusion model)을 미세 조정(finetune)하고, 그와 동일한 크기의 합성 데이터를 생성한다. 그 후, 합성 데이터로 ResNet50을 훈련한다. Fig. 3에 묘사된 바와 같이, 온라인 공격, 오프라인 공격 또는 고정 분산(fixed variance) 시나리오와 관계없이 합성 데이터로 훈련된 모델은 MIA에 대해 우수한 방어 성능을 보여준다.

그림 3: LiRA를 적용한 멤버십 추론 공격(Membership Inference Attack, MIA) 성능. LiRA를 합성 데이터(synthetic data)에 적용했을 때 낮은 거짓 양성률(False Positive Rate, FPR)인 0.1%에서 0.001%의 진양성률(True Positive Rate, TPR)을 달성했으며, 개인정보가 포함된 데이터(private data)의 결과는 0.01%로 나타났다. 이는 합성 데이터를 활용한 학습이 훨씬 더 높은 프라이버시 보호(privacy-preserving) 효과를 가짐을 시사한다.

시각적 유사성(Visual Similarity).

우리는 이전 연구인 (Zhang et al., 2023; Somepalli et al., 2023)을 따라 콘텐츠 표절 탐지(content plagiarism detection)를 위해 자기지도 콘텐츠 중복(Self-Supervised Content Duplication, SSCD) (Pizzi et al., 2022) 방식을 채택한다. 우리는 DISC 데이터셋 (Douze et al., 2021)으로 학습된 ResNeXt101 모델을 사용한다. 주어진 쿼리 이미지(query image)와 모든 참조 이미지(reference images)에 대해, 우리는 탐지 모델을 통해 각 이미지의 1024차원 특징 벡터 표현(feature vector representation)을 도출한다.

쿼리 특징(query feature)과 각 참조 특징(reference feature) 사이의 내적(inner product)을 계산함으로써, 우리는 그들 사이의 유사도를 얻습니다. 그 다음, 쿼리 특징과 가장 높은 유사도를 가진 상위 5개의 참조 특징을 선택합니다. 이어서, 우리는 유사도를 순위화하고 Fig. 4에 해당하는 실제 데이터와 함께 상위 3개의 이미지를 제시합니다. 그림을 통해 알 수 있듯이, 복제(copy)나 암기(memorization) (Carlini et al., 2023)의 명백한 문제는 나타나지 않습니다. 적어도 시각적으로, 이러한 합성 이미지들은 충분한 개인정보 보호(privacy protection)를 제공해야 합니다.

5 Conclusion

본 연구에서는 분포 매칭(distribution-matching) 관점에서 학습 데이터 합성(training data synthesis)을 위한 원칙적인 이론적 프레임워크를 제안한다. 이를 바탕으로, 우리는 다양한 이미지 분류 벤치마크에서 최첨단(state-of-the-art) 성능을 경신함으로써 합성 학습 데이터의 한계를 실증적으로 확장한다. 또한, 우리는 합성 데이터를 사용하여 모델을 학습시킴으로써 분포 외(OOD, out-of-distribution) 일반화 및 개인정보 보호(privacy preservation) 성능을 향상시키는 유망한 효과를 입증한다.

Acknowledgement.

본 연구는 중국 국가 핵심 연구개발 계획(National Key R&D Program of China, 2021ZD0111102) 및 NSFC-62306046의 지원을 받았습니다.

References

Aronszajn (1950) Nachman Aronszajn. 재생 커널(reproducing kernels) 이론. 미국 수학회 학술지(Transactions of the American Mathematical Society), 68(3):337–404, 1950.
Azizi 등(2023)은 Shekoofeh Azizi, Simon Kornblith, Chitwan Saharia, Mohammad Norouzi, David J Fleet. Synthetic data from diffusion models improves imagenet classification. arXiv preprint arXiv:2304.08466, 2023.
Bansal & Grover (2023) Hritik Bansal 및 Aditya Grover. 현실을 상상으로 대체하기: 생성된 데이터셋을 통한 강건한 분류(Robust classification). arXiv preprint arXiv:2302.02503, 2023.
Besnier 등(2020)의 연구(Victor Besnier, Himalaya Jain, Andrei Bursuc, Matthieu Cord, and Patrick Pérez. This dataset does not exist: training models from generated images. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1–5. IEEE, 2020.)에 따르면, 이 데이터셋은 존재하지 않으며, 생성된 이미지로부터 모델을 학습시키는 방식이다.
Bishop (2006) Christopher M. Bishop. 패턴 인식 및 머신 러닝(Pattern Recognition and Machine Learning). Springer, New York, NY, 2006.
Brock 등(2018) Andrew Brock, Jeff Donahue, and Karen Simonyan. 고충실도 자연 이미지 합성(high fidelity natural image synthesis)을 위한 대규모 GAN(Generative Adversarial Networks) 학습. arXiv preprint arXiv:1809.11096, 2018.
Carlini 등(2022)은 "제1원리로부터의 멤버십 추론 공격(Membership inference attacks from first principles)"이라는 제목의 논문을 2022 IEEE 보안 및 프라이버시 심포지엄(IEEE Symposium on Security and Privacy (SP))에서 발표하였다(pp. 1897–1914. IEEE, 2022).
Carlini 등(2023) Nicolas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramer, Borja Balle, Daphne Ippolito, and Eric Wallace. 확산 모델(diffusion models)에서 학습 데이터 추출하기. 제32회 USENIX 보안 심포지엄(USENIX Security 23), 5253–5270쪽, 2023.
Cazenavette 등(2022)은 "훈련 궤적(training trajectories) 매칭을 통한 데이터셋 증류(Dataset distillation)"라는 제목의 논문을 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition) 2022에 발표하였다.
Chen 등(2020)은 "시각적 표현의 대조 학습(Contrastive Learning)을 위한 단순한 프레임워크"라는 제목의 논문을 국제 기계 학습 컨퍼런스(International Conference on Machine Learning, ICML)에서 발표하였다(PMLR, 2020, pp. 1597–1607).
Cunningham 등(2008)은 Pádraig Cunningham, Matthieu Cord, Sarah Jane Delany. Supervised Learning, pp. 21–49. Springer Berlin Heidelberg, Berlin, Heidelberg, 2008. ISBN 978-3-540-75171-7. doi: 10.1007/978-3-540-75171-7_2.
Deng 등(2009)은 Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, Li Fei-Fei. Imagenet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248–255, 2009. doi: 10.1109/CVPR.2009.5206848.
Dhariwal & Nichol (2021) Prafulla Dhariwal 및 Alexander Nichol. Diffusion models beat gans on image synthesis. Advances in neural information processing systems, 34:8780–8794, 2021.
Douze 등(2021)은 "The 2021 image similarity dataset and challenge" (arXiv preprint arXiv:2106.09672, 2021)를 발표하였다.
Goodfellow 등(2014) Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 생성적 적대 신경망(Generative adversarial nets). 신경정보처리시스템학회(Advances in neural information processing systems), 27, 2014.
Gretton 등(2008)은 Arthur Gretton, Karsten Borgwardt, Malte J Rasch, Bernhard Scholkopf, 및 Alexander J Smola의 저서 "두 개의 샘플 문제(two-sample problem)를 위한 커널 방법(kernel method)"(arXiv preprint arXiv:0805.2368, 2008)을 인용하였다.
He 등(2016)은 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. 이미지 인식을 위한 심층 잔차 학습(Deep residual learning for image recognition). IEEE 컴퓨터 비전 및 패턴 인식 컨퍼런스 논문집(Proceedings of the IEEE conference on computer vision and pattern recognition), pp. 770–778, 2016.
He 등(2022)은 "생성 모델의 합성 데이터(synthetic data)가 이미지 인식에 준비되었는가?"라는 주제로 연구를 수행하였다. (Ruifei He, Shuyang Sun, Xin Yu, Chuhui Xue, Wenqing Zhang, Philip Torr, Song Bai, and Xiaojuan Qi. Is synthetic data from generative models ready for image recognition? arXiv preprint arXiv:2210.07574, 2022.)
Helber 등(2018)은 "eurosat: 토지 이용 및 토지 피복(land use and land cover) 분류을 위한 새로운 데이터셋 및 딥러닝 벤치마크"를 IGARSS 2018-2018 IEEE 국제 지구과학 및 원격 탐사 심포지엄(IEEE International Geoscience and Remote Sensing Symposium)에서 발표하였다(pp. 204–207, IEEE, 2018).
Hendrycks 등(2021a) Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kadavath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, Dawn Song, Jacob Steinhardt, and Justin Gilmer. 강건성(Robustness)의 다양한 양상: 분포 외 일반화(Out-of-distribution generalization)에 대한 비판적 분석. ICCV, 2021a.
Hendrycks 등(2021b)은 자연적 적대적 예제(Natural adversarial examples)를 연구하였다. (Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Steinhardt, and Dawn Song. Natural adversarial examples. CVPR, 2021b.)
Hilbert (1904) David Von Hilbert. 선형 적분방정식의 일반 이론 기초 (Grundzüge einer allgemeinen theorie der linearen integralgleichungen), David Hilbert 저. 1904.
Ho & Salimans (2022) Jonathan Ho and Tim Salimans. Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598, 2022.
Ho 등(2020)의 연구(Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840–6851, 2020.)에 따르면,
Ho 등(2022)은 "고충실도 이미지 생성을 위한 계단식 확산 모델(Cascaded diffusion models for high fidelity image generation)"이라는 논문을 통해 관련 연구를 발표하였다.
Hoeffding (1994) Wassily Hoeffding. 확률 변수의 합에 대한 확률 부등식(Probability inequalities for sums of bounded random variables). Wassily Hoeffding의 전집(The collected works of Wassily Hoeffding), 409–426쪽, 1994.
Howard (2019) Jeremy Howard. Imagewang, 2019. URL https://github.com/fastai/imagenette/ .
Hu 등(2021)은 저차원 적응(Low-rank adaptation) 기술인 LoRA(Lora: Low-rank adaptation of large language models)를 제안하였다.
Kingma 등(2021)은 Diederik Kingma, Tim Salimans, Ben Poole, Jonathan Ho. Variational diffusion models. Advances in neural information processing systems, 34:21696–21707, 2021.
Krause 등(2013)은 2013년 6월 개최된 IEEE 국제 컴퓨터 비전 컨퍼런스(ICCV) 워크숍에서 세부 분류(fine-grained categorization)를 위한 3차원 객체 표현(3d object representations)에 관한 연구를 발표하였다.
Lei 등(2023)은 이미지 캡션(Image captions)이 텍스트-이미지(text-to-image) 모델을 위한 자연스러운 프롬프트(prompts)가 된다고 주장했다.
Li 등(2017)은 "Triple generative adversarial nets" (삼중 생성적 적대 신경망) 연구를 통해 이를 발표하였다. (Li, Chongxuan, Taufik Xu, Jun Zhu, and Bo Zhang. Advances in neural information processing systems, 30, 2017.)
Li 등(2022)은 "Bigdatasetgan: Synthesizing imagenet with pixel-wise annotations"라는 논문을 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Conference on Computer Vision and Pattern Recognition, CVPR) 발표 논문집(pp. 21330–21340, 2022)에 게재하였다.
Li 등(2023)은 "Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models" (동결된 이미지 인코더와 대규모 언어 모델을 활용한 언어-이미지 사전 학습 부트스트래핑)을 arXiv preprint arXiv:2301.12597(2023)에 발표하였다.
Lian 등(2023)은 "Llm-grounded diffusion: Enhancing prompt understanding of text-to-image diffusion models with large language models" (LLM 기반 확산: 거대 언어 모델을 활용한 텍스트-이미지 확산 모델의 프롬프트 이해 능력 향상)라는 논문을 arXiv preprint arXiv:2305.13655(2023)에 발표하였다.
Liao 등(2023)은 "잠재 확산 사전(latent diffusion prior)을 활용한 텍스트 기반 시각적 합성(Text-driven visual synthesis)"이라는 제목의 논문을 arXiv preprint arXiv:2302.08510(2023)에 발표하였다.
Lin 등(2014)은 "Microsoft coco: Common objects in context"를 컴퓨터 비전 분야의 주요 학술 대회인 ECCV 2014(제13회 유럽 컴퓨터 비전 컨퍼런스)에서 발표하였다. 해당 논문은 2014년 9월 6일부터 12일까지 스위스 취리히에서 개최된 컨퍼런스의 논문집(Proceedings) 제15권, 740-755페이지에 수록되었으며, Springer를 통해 출판되었다.
Liu 등(2015)은 Ziwei Liu, Ping Luo, Xiaogang Wang, Xiaoou Tang. "Deep learning face attributes in the wild." ICCV(International Conference on Computer Vision) 학술대회 논문집, 2015년 12월.
Meng 등(2021)은 Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, 그리고 Stefano Ermon이 저술한 "Sdedit: Guided image synthesis and editing with stochastic differential equations" (arXiv preprint arXiv:2108.01073, 2021)를 참고하였다.
Nichol & Dhariwal (2021) Alexander Quinn Nichol 및 Prafulla Dhariwal. 개선된 노이즈 제거 확산 확률 모델(Improved denoising diffusion probabilistic models). International Conference on Machine Learning (ICML) 발표 논문, pp. 8162–8171. PMLR, 2021.
Oord 등(2018)은 Aaron van den Oord, Yazhe Li, Oriol Vinyals. Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748, 2018.
Parisi (1981) G. Parisi. 상관 함수(Correlation functions)와 컴퓨터 시뮬레이션. Nuclear Physics B, 180(3):378–384, 1981. ISSN 0550-3213. doi: https://doi.org/10.1016/0550-3213(81)90056-0.
Parkhi 등(2012)은 "Cats and dogs"라는 제목의 논문을 IEEE 컴퓨터 비전 및 패턴 인식 컨퍼런스(IEEE Conference on Computer Vision and Pattern Recognition, 2012)에서 발표하였다.
Pizzi 등(2022)은 "이미지 복제 탐지를 위한 자기지도 학습 기반 기술자(A self-supervised descriptor for image copy detection)"를 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition)에서 발표하였다(pp. 14532–14542, 2022).
Radford 등(2021) Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark 등. 자연어 지도(natural language supervision)를 통한 전이 가능한 시각 모델(transferable visual models) 학습. International Conference on Machine Learning (ICML) 발표, pp. 8748–8763. PMLR, 2021.
Razavi 등(2019)은 Ali Razavi, Aaron Van den Oord, Oriol Vinyals. Generating diverse high-fidelity images with vq-vae-2. Advances in Neural Information Processing Systems, 32, 2019.
Recht 등(2019)은 "ImageNet 분류기가 ImageNet에 일반화되는가?"라는 주제로 국제 머신러닝 컨퍼런스(International Conference on Machine Learning, ICML)에서 발표된 논문(PMLR, 2019, pp. 5389–5400)이다.
Rombach 등(2022)은 Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer. 잠재 확산 모델(Latent Diffusion Models)을 이용한 고해상도 이미지 합성. IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스 논문집, pp. 10684–10695, 2022.
Ronneberger 등(2015) Olaf Ronneberger, Philipp Fischer, Thomas Brox. U-net: 생체 의학 영상 분할(biomedical image segmentation)을 위한 컨볼루션 네트워크(Convolutional networks). Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18, pp. 234–241. Springer, 2015.
Saharia 등(2022)은 "심층 언어 이해를 갖춘 실사적 텍스트-이미지 확산 모델(Photorealistic text-to-image diffusion models with deep language understanding)"을 발표하였다. (Advances in Neural Information Processing Systems, 35:36479–36494, 2022.)
Sarıyıldız 등(2023) Mert Bülent Sarıyıldız, Karteek Alahari, Diane Larlus, Yannis Kalantidis. Fake it till you make it: Learning transferable representations from synthetic imagenet clones. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 8011–8021, June 2023.
Sohl-Dickstein 등(2015)은 비평형 열역학(nonequilibrium thermodynamics)을 이용한 심층 비지도 학습(Deep unsupervised learning)을 제안하였다. (Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pp. 2256–2265. PMLR, 2015.)
Somepalli 등(2023)은 "디퓨전 아트인가, 디지털 위조인가? 디퓨전 모델에서의 데이터 복제 조사(investigating data replication in diffusion models)"라는 제목의 논문을 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition)에 발표하였다(pp. 6048–6058, 2023).
Song & Ermon (2019) Yang Song 및 Stefano Ermon. 데이터 분포의 기울기(gradients)를 추정함으로써 수행하는 생성 모델링(Generative modeling). 신경정보처리시스템학회(Advances in Neural Information Processing Systems), 32, 2019.
Sutskever (2023) Ilya Sutskever. 일반화(generalization)에 관한 관찰, 2023.
Tian 등(2020)은 "대조적 다중 뷰 코딩(Contrastive multiview coding)" 연구를 발표하였다. (Tian, Y., Krishnan, D., & Isola, P. (2020). Contrastive multiview coding. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XI 16, pp. 776–794. Springer, 2020.)
Tian 등(2023)은 Yonglong Tian, Lijie Fan, Phillip Isola, Huiwen Chang, Dilip Krishnan. Stablerep: Synthetic images from text-to-image models make strong visual representation learners. arXiv preprint arXiv:2306.00984, 2023.
Vendrow 등(2023) Joshua Vendrow, Saachi Jain, Logan Engstrom, and Aleksander Madry. 데이터셋 인터페이스: 제어 가능한 반사실적 생성(controllable counterfactual generation)을 이용한 모델 오류 진단. arXiv preprint arXiv:2302.07865, 2023.
Wah 등(2011) C. Wah, S. Branson, P. Welinder, P. Perona, 및 S. Belongie. Caltech-ucsd birds-200-2011 (cub-200-2011). 기술 보고서(Technical Report) CNS-TR-2011-001, 캘리포니아 공과대학교, 2011.
Wang 등(2019)은 "국소적 예측력(local predictive power)을 억제함으로써 강건한 전역 표현(robust global representations)을 학습하는 방법"에 대해 연구하였다. (Advances in Neural Information Processing Systems, pp. 10506–10518, 2019.)
Wang 등(2018)은 데이터셋 증류(Dataset distillation)에 관한 연구를 발표하였다. (Wang, T., Zhu, J.-Y., Torralba, A., & Efros, A. A. Dataset distillation. arXiv preprint arXiv:1811.10959, 2018.)
Wightman 등(2021)의 연구(Ross Wightman, Hugo Touvron, and Hervé Jégou. Resnet strikes back: An improved training procedure in timm. arXiv preprint arXiv:2110.00476, 2021)에 따르면,
Yang 등(2022)은 다음과 같이 기술하였다. Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022.
Yuan 등(2022)은 "단순히 예쁜 그림이 아니다: 텍스트-이미지 생성기(Text-to-image generators)는 강건한 표현(robust representations)을 위한 해석 가능한 개입(interpretable interventions)을 가능하게 한다"라는 논문을 발표하였다. (arXiv preprint arXiv:2212.11237, 2022).
Zhang 등(2023)은 기초 모델(foundation models)을 활용한 연합 생성 학습(federated generative learning)에 대해 연구하였다. (Jie Zhang, Xiaohua Qi, and Bo Zhao. Federated generative learning with foundation models. arXiv preprint arXiv:2306.16064, 2023.)
Zhang 등(2021)은 "Datasetgan: 최소한의 인적 노력으로 구현된 효율적인 레이블 데이터 공장(Efficient labeled data factory with minimal human effort)"이라는 논문을 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Conference on Computer Vision and Pattern Recognition, CVPR) 발표 논문집(pp. 10145–10155, 2021)에 게재하였다.
Zhao & Bilen (2022) Bo Zhao 및 Hakan Bilen. GAN(Generative Adversarial Networks, 생성적 적대 신경망)을 활용한 정보성 훈련 샘플 합성. NeurIPS 2022 워크숍 SyntheticData4ML, 2022.
Zhao & Bilen (2023) Bo Zhao 및 Hakan Bilen. 분포 매칭을 통한 데이터셋 응축(Dataset condensation). IEEE/CVF 응용 컴퓨터 비전 컨퍼런스(WACV), 2023.
Zhao 등(2021)은 데이터셋 응축(Dataset condensation)을 경사 일치(gradient matching)를 통해 수행하는 방법을 제안하였다. (Zhao, Bo, Konda Reddy Mopuri, and Hakan Bilen. Dataset condensation with gradient matching. In International Conference on Learning Representations, 2021. URL https://openreview.net/forum?id=mSAKhLYLSsl.)
Zhao 등(2023)은 데이터셋 응축(dataset condensation)을 위한 개선된 분포 매칭(distribution matching) 방식을 제안하였다. 이 연구는 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition)에서 발표되었으며, 해당 논문은 2023년 7856~7865페이지에 수록되었다.
Zhou 등(2023)은 "Training on thin air: Improve image classification with generated data" (arXiv preprint arXiv:2305.15316, 2023)에서 가공된 데이터(generated data)를 활용하여 이미지 분류(image classification) 성능을 향상시키는 방안을 제시하였다.

부록 A 확산 확률 모델(Diffusion Probabilistic Model)에서 KL-발산(KL-Divergence) 목적 함수의 최소화

Consider the training objective of the diffusion model, minimization of KL-divergence between the joint distributions of forward and backward process $q$ and $p_{\bm{\theta}}$ over all time steps:

\operatorname{KL}\left(q\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\|p_{\bm{\theta}}\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\right)

(10)

KL 발산(KL-divergence)의 정의와 마르코프 전이(Markovian transition)의 성질에 의해, 우리는 시간 (Yang et al., 2022)에서의 식을 다음과 같이 추가로 분해할 수 있다:

\operatorname{KL}\left(q\|p_{\bm{\theta}}\right)=\mathbb{E}_{q}\left[-\log p\left(\bm{x}_{T}\right)-\sum_{t=1}^{T}\log\frac{p_{\bm{\theta}}\left(\bm{x}_{t-1}\mid\bm{x}_{t}\right)}{q\left(\bm{x}_{t}\mid\bm{x}_{t-1}\right)}\right]+\mathrm{const}

(11)

젠센의 부등식(Jensen’s inequality)을 이용하면 다음과 같이 도출할 수 있다:

\operatorname{KL}\left(q\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\|p_{\bm{\theta}}\left(\bm{x}_{0},\bm{x}_{1},\cdots,\bm{x}_{T}\right)\right)\geq-\log p_{\bm{\theta}}\left(\bm{x}_{0}\right)+\mathrm{const}

(12)

훈련의 목적은 데이터의 로그 가능도(log-likelihood)에 대한 변분 하한(variational lower bound, VLB) $\bm{x}_{0}$ 를 최대화하는 것이며, 이는 Eq. 1과 같이 음의 VLB를 최소화하는 것과 동일합니다.

부록 B 지도 학습(Supervised Learning)을 위한 훈련 데이터 합성

다음의 지도 학습(supervised learning) (Sutskever, 2023; Cunningham et al., 2008) 정식화를 고려하자:

\operatorname{Pr}_{S\sim D^{|S|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\leq\sqrt{\frac{\log|\mathcal{F}|+\log 1/\delta}{|S|}}\forall f\in\mathcal{F}\right]>1-\delta

(13)

여기서 $D$ 은 전체 대상 데이터셋의 분포을 나타내고, $S$ 은 $D$ 의 훈련 부분집합(training subset)입니다. $\mathcal{F}$ 은 고정된 구조를 가진 신경망(neural network)으로 표현될 수 있는 모든 잠재적 기능 공간(functional space)을 의미하며, 여기서 매개변수 값의 각 고유한 조합은 고유한 $f$ 에 대응합니다. 훈련 오차와 테스트 오차는 각각 $\operatorname{Train}_{S}(f)=\frac{1}{|S|}\sum_{\left(X_{i},Y_{i}\right)\in S}L\left(f\left(X_{i}\right),Y_{i}\right)$ 와 $\operatorname{Test}_{D}(f)=\frac{1}{|D|}\sum_{\left(X_{i},Y_{i}\right)\in D}L\left(f\left(X_{i}\right),Y_{i}\right)$ 으로 정의됩니다. 수학적으로, 훈련 손실(training loss)이 최소화되고 훈련 세트의 기수(cardinality)가 모델 매개변수를 크게 초과할 때, 테스트 손실 또한 현저하게 낮아진다는 것이 자명합니다.

이제 이 명제를 증명한다. 테스트 오류(test error)의 정식화(formulation)를 살펴보자:

$\displaystyle\operatorname{Pr}_{S\sim D^{\|S\|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\geq t\text{ for some }f\in\mathcal{F}\right]$	$\displaystyle\leq\sum_{f\in\mathcal{F}}\operatorname{Pr}_{S\sim D^{\|S\|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\geq t\right]$	(14)
	$\displaystyle=\sum_{f\in\mathcal{F}}\operatorname{Pr}_{\sim D^{\|S\|}}\left[\frac{1}{\|S\|}\sum\left(L_{i}-\mathbb{E}[L]\right)\geq t\right]$
	$\displaystyle\leq\|\mathcal{F}\|\exp\left(-2\|S\|t^{2}\right)$

첫 번째 단계는 기존 공식(formulation)을 단순하게 확장하는 것입니다. 두 번째 단계에서는 호프딩 부등식(Hoeffding’s inequality) (Hoeffding, 1994)을 활용합니다. 일련의 독립적인 확률 변수(random variables) $X_{1},X_{2},\ldots,X_{n}$ 이 $a_{i}\leq X_{i}\leq b_{i}$ 로 유계(bounded)되어 있을 때, 호프딩 부등식은 다음과 같습니다.

\operatorname{Pr}\left[\sum_{i=1}^{n}X_{i}-\mathbb{E}\left[\sum_{i=1}^{n}X_{i}\right]\geq t\right]\leq\exp\left(-\frac{2t^{2}}{\sum_{i=1}^{n}(b_{i}-a_{i})^{2}}\right)

(15)

이는 독립적인 유계 확률 변수(bounded random variables)의 합이 설정된 한계를 넘어 기대값에서 벗어날 확률을 제한합니다. 각 $L_{i}-\mathbb{E}[L]$ 을 특정 데이터 포인트의 손실(loss)이 기대값에서 벗어나는 정도를 포착하는 유계 확률 변수로 간주합니다. 임의의 무한한 손실 함수를 시그모이드 함수(sigmoid function)를 통해 $[0,1]$ 의 유계 범위로 단조롭게 투영할 수 있으므로, 유계 손실 함수 $L_{i}$ 을 가정함으로써 이 차이가 임계값 $t$ 을 초과할 확률의 상한을 도출하며, 이는 식 $|\mathcal{F}|\exp\left(-2|S|t^{2}\right)$ 로 귀결됩니다. 이는 훈련 데이터셋의 크기가 무한해질 때 테스트 오류가 0으로 수렴함을 의미합니다.

\lim_{|S|->\infty}\operatorname{Pr}\left[\sup_{f\in\mathcal{F}}\left(\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\right)>\varepsilon\right]=0

(16)

이는 결과적으로 훈련 데이터 합성(training data synthesis)의 함의에 관한 우리의 주장을 입증한다.

부록 C 재생 커널 힐베르트 공간(RKHS, Reproducing Kernel Hilbert Space)에서의 최대 평균 차이(MMD, Maximum Mean Discrepancy)

재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS) (Aronszajn, 1950) $\mathcal{H}$ 에서의 최대 평균 편차(Maximum Mean Discrepancy, MMD)는 두 확률 분포 사이의 차이를 측정하는 척도를 제공한다.

$\displaystyle\operatorname{MMD}[\mathcal{F},p,q]$	$\displaystyle=\sup_{\left\\|\psi_{\vartheta}\right\\|_{\mathcal{H}}\leq 1}\left(\mathbb{E}_{q}\left[\psi_{\vartheta}(\mathcal{T})\right]-\mathbb{E}_{p}\left[\psi_{\vartheta}(\mathcal{S})\right]\right)$	(17)
$\displaystyle\operatorname{MMD}[\mathcal{F},p,q]$	$\displaystyle=\sup_{\left\\|\psi_{\vartheta}\right\\|_{\mathcal{H}}\leq 1}\left\langle\mu_{\mathcal{T}}-\mu_{\mathcal{S}},\psi_{\vartheta}\right\rangle_{\mathcal{H}}$	(18)
$\displaystyle\operatorname{MMD}^{2}[\mathcal{F},p,q]$	$\displaystyle=\left[\sup_{\left\\|\psi_{\vartheta}\right\\|_{\mathcal{H}}\leq 1}\left\langle\mu_{\mathcal{T}}-\mu_{\mathcal{S}},\psi_{\vartheta}\right\rangle_{\mathcal{H}}\right]^{2}$	(19)
$\displaystyle\operatorname{MMD}^{2}[\mathcal{F},p,q]$	$\displaystyle=\left\\|\mu_{\mathcal{T}}-\mu_{\mathcal{S}}\right\\|_{\mathcal{H}}^{2}$	(20)

Eq. 17에서, 분포 $p$ 과 $q$ 사이의 MMD(Maximum Mean Discrepancy, 최대 평균 편차)는 RKHS(Reproducing Kernel Hilbert Space, 재생 커널 힐베르트 공간) 내에서 함수 $\psi_{\vartheta}$ 의 노름(norm)으로 제한된, 이들 분포 하에서의 기대값 차이의 상한(supremum)으로 공식화된다. 이 차이는 RKHS에서의 내적(inner product)을 사용하여 더욱 확장될 수 있으며, Eq. 18에 표시된 바와 같이 분포의 평균 임베딩(mean embeddings)에 관한 식으로 도출된다. MMD를 제곱하면 Eq. 19 및 Eq. 20에 묘사된 바와 같이, RKHS 내에서 두 분포의 평균 임베딩 사이의 제곱 거리라는 더 해석 가능한 척도를 얻게 된다. 이는 Sec. 3.1에서 Eq. 5부터 Eq. 6까지의 유도 과정으로 이어진다.

부록 D 데이터셋 세부 사항

우리는 다양한 설정에 걸쳐 총 7개의 데이터셋을 채택한다: ImageNette (IN-10) (Howard, 2019), ImageNet100 (IN-100) (Tian et al., 2020), ImageNet1K (IN-1K) (Deng et al., 2009), CUB (Wah et al., 2011), Cars (Krause et al., 2013), PET (Parkhi et al., 2012), EuroSAT (Helber et al., 2018). 상세한 데이터셋 통계는 Tab. 5에 명시되어 있다.

표 5: 상세 데이터셋 통계.

	IN-10	IN-100	IN-1K	CUB	Cars	PETS	EuroSAT
Dataset Size	14197	141971	1419712	11788	16,185	7349	27000
Training Data Size	12811	128116	1281167	5994	8144	3680	21600
Test Data Size	1000	10000	100000	5794	8041	3669	5400
No. Classes	10	100	1000	200	196	37	7
Domain	Natural Image	Natural Image	Natural Image	Fine-grain Bird	Fine-grain Cars	Pet Breed	Satellite Image

부록 E 학습 데이터 합성 세부 사항

우리는 모든 벤치마크에서 Stable Diffusion v1.5 (Rombach et al., 2022)를 사용한다. 별도의 명시가 없는 한(즉, Sec. 4.3에서 합성 데이터를 구체적으로 확장하지 않는 한), 실제 데이터를 대체하거나 보강하는 경우 모두 해당 실제 데이터셋과 동일한 양의 합성 데이터 샘플을 생성한다. Stable Diffusion 생성 파라미터는 Tab. 6에 명시되어 있다. 우리는 ImageNet 데이터셋(IN-10, IN-100, IN-1K)에 대해 Sec. 3.2에 언급된 "photo of [classname], [Image Caption], [Intra-class Visual Guidance]" 형태의 텍스트 프롬프트(text prompt)를 사용한다. 나머지 4개 데이터셋에 대해서는 BLIP2 (Li et al., 2023)로 생성된 이미지 캡션(image caption)을 사용하지 않는다. 또한, 모든 생성 과정에서는 "distorted, unrealistic, blurry, out of frame"이라는 일관된 네거티브 프롬프트(negative prompts) 세트를 사용한다.

표 6: 학습 데이터 합성(training data synthesis)에 사용된 하이퍼파라미터(hyperparameters).

Model	Sampling steps	Scheduler	Guidance scale	Img_strength	Image size
Stable Diffusion v1.5	30	UniPC	2.0	0.75	$512\times 512$

Stable Diffusion을 미세 조정(Fine-tuning)하기 위해, 우리는 MMD가 보강된 목적 함수(MMD augmented objective) Sec. 3.1과 함께 저차원 적응(Low-Rank Adaptation, LoRA) (Hu et al., 2021)을 사용하며 시각적 가이드(visual guidance) Sec. 3.2를 주입한다. 사용된 미세 조정 하이퍼파라미터(hyperparameters)는 Tab. 7에 명시되어 있다.

표 7: LoRA 미세 조정(fine-tuning)에 사용된 하이퍼파라미터(Hyperparameters)

Rank	Epoch	Leanring Rate	Batch Size	SNR- $\gamma$	Image size
Stable Diffusion v1.5	300	1e-4	8 $\times$ 8	0.75	$512\times 512$

우리는 Sec. 3.1에 언급된 손실 함수를 사용하며, Eq. 21에서와 같이 MMD(Maximum Mean Discrepancy, 최대 평균 차이) 분포 매칭 손실에 단순 확산 모델(simple diffusion model) 학습 목적 함수인 Ho et al. (2020)을 보강하여 $\gamma=0.05$ 를 선택한다.

\hskip-5.69054ptL_{overall}=L_{Simple}+\gamma L_{MMD}=\frac{1}{|\mathcal{N}|}\sum_{i=1}^{|\mathcal{N}|}||\left(\bm{\epsilon}-\bm{\epsilon_{\bm{\theta}}\left(\bm{x}_{t},t\right)}\right)||_{\mathcal{H}}^{2}+\gamma||\frac{1}{|\mathcal{N}|}\sum_{i=1}^{|\mathcal{N}|}\left(\bm{\epsilon}-\bm{\epsilon_{\bm{\theta}}\left(\bm{x}_{t},t\right)}\right)||_{\mathcal{H}}^{2}

(21)

부록 F 하류 이미지 분류(Downstream Image Classification) 학습 세부 사항

우리는 이미지 분류 작업의 모든 벤치마크에서 ResNet-50 (He et al., 2016)을 채택한다. 세 가지 ImageNet 데이터셋 모두에서 분류기 모델(classifier model)을 처음부터(from scratch) 학습시킨다. (Lei et al., 2023) 및 (Wightman et al., 2021)의 학습 레시피(training recipe)를 따라, 학습 하이퍼파라미터(hyperparameters)는 Tab. 8에 명시되어 있다.

표 8: 데이터셋별 학습 하이퍼파라미터(Hyperparameters).

	IN-10	IN-100	IN-1K	CUB	CARS	PETS	EuroSAT
Train Res $\rightarrow$ Test Res	224 $\rightarrow$ 224	224 $\rightarrow$ 224	224 $\rightarrow$ 224	448 $\rightarrow$ 448	448 $\rightarrow$ 448	224 $\rightarrow$ 224	448 $\rightarrow$ 448
Epochs	200	200	300	200	200	200	200
Batch size	128 $\times$ 8	128 $\times$ 8	512 $\times$ 8	128 $\times$ 8	128 $\times$ 8	128 $\times$ 8	128 $\times$ 8
Optimizer	SGD	SGD	LAMB	SGD	SGD	SGD	SGD
LR	0.1	0.1	5e-3	0.1	0.1	0.1	0.1
LR decay	multistep	multistep	cosine	multistep	multistep	multistep	multistep
decay rate	0.2	0.2	0.2	0.2	0.2	0.2	0.2
decay epochs	50/100/150	50/100/150	-	50/100/150	50/100/150	50/100/150	50/100/150
Weight decay	5e-4	5e-4	0.02	5e-4	5e-4	5e-4	5e-4
Warmup epochs	-	-	5	-	-	-	-
Label smoothing	-	-	0.1	-	-	-	-
Dropout	x	x	x	x	x	x	x
Stoch. Depth	x	x	0.05	x	x	x	x
H. flip	-	-	✓	-	-	-	-
Rand Augment	x	x	7 / 0.5	x	x	x	x
Mixup alpha	x	x	0.2	x	x	x	x
Cutmix alpha	x	x	1.0	x	x	x	x
CE loss $\rightarrow$ BCE loss	x	x	✓	x	x	x	x
Mixed precision	✓	✓	✓	✓	✓	✓	✓

부록 G 실험 설정 세부 사항 및 추가 결과

G.1 합성 데이터만을 이용한 이미지 분류 (Image Classification)

우리는 지도 학습(supervised learning) 기반의 이미지 분류을 위해 합성된 ImageNet 데이터에 대한 이전 연구들의 베이스라인(baselines)과 비교를 수행한다. 모든 베이스라인은 실제 데이터셋과 동일한 양의 데이터를 합성한다. 보고된 정확도는 원본 베이스라인 논문에서 인용한 것이지만, CUB (Wah et al., 2011), Cars (Krause et al., 2013), PET (Parkhi et al., 2012), 그리고 EuroSAT (Helber et al., 2018)에서의 FakeIt (Sarıyıldız et al., 2023)은 제외한다. 보고된 수치는 "a photo/image of [classname]"이라는 기본 프롬프트(base prompt)를 사용하여 해당 방법론을 구현한 결과에 기초한다.

서로 다른 방법론에 따라 생성 해상도(generation resolution)에 차이가 있음에 유의하십시오. 특히 (Azizi et al., 2023)에서 보고된 바와 같이, BigGAN-deep (Brock et al., 2018), VQ-VAE-2 (Razavi et al., 2019), 그리고 CDM (Ho et al., 2022)은 $256\times 256$ 의 이미지 해상도를 사용합니다. CiP (Lei et al., 2023), FakeIt (Sarıyıldız et al., 2023), 그리고 본 연구의 방법은 $512\times 512$ 의 이미지 해상도를 사용합니다. Imagen (Azizi et al., 2023)은 $1024\times 1024$ 의 이미지 해상도를 사용합니다. 다운스트림 학습(downstream training) 시 모든 샘플을 $224\times 224$ 으로 리사이징(resize)함에도 불구하고, (Azizi et al., 2023)에서 보고된 바와 같이 생성 세부 사항 및 품질로 인해 생성 해상도는 여전히 영향을 미칩니다. 따라서 본 연구의 방법과 비-스테이블 디퓨전(non-Stable Diffusion) 기반의 베이스라인을 비교하는 것은 불공정한 비교가 될 가능성이 있습니다. 그러나 훈련 데이터 합성(training data synthesis)에서 우리의 주요 초점은 실제 데이터와의 비교에 있으며, 본 연구와 다른 스테이블 디퓨전 기반 방법 간의 비교는 우리의 프레임워크가 실제 데이터와 합성 데이터 사이의 격차를 좁히기 위해 합성 데이터의 정보성(informativeness)을 향상시킨다는 것을 보여줍니다.

G.2 실제 데이터에 합성 데이터(Synthetic Data) 추가하기

CUB (Wah et al., 2011), Cars (Krause et al., 2013), 그리고 PET (Parkhi et al., 2012) 데이터셋의 경우, 괜찮은 수준의 ResNet-50 분류기(classifier)를 학습시키기에 데이터가 부족하기 때문에 사전 학습된(pre-trained) ResNet-50을 사용한다. EuroSAT (Helber et al., 2018), ImageNette (IN-10) (Howard, 2019), ImageNet100 (IN-100) (Tian et al., 2020), 그리고 ImageNet1K (IN-1K) (Deng et al., 2009)의 경우, 모델을 처음부터(from scratch) 학습시킨다. 우리는 실제 데이터에 동일한 양의 합성 데이터(synthetic data)를 증강(augment)하여, 학습량을 효과적으로 두 배로 늘린다.

G.3 분포 외 데이터(Out-of-Distribution Data)에 대한 일반화

우리는 합성 내 분포(in-distribution) 데이터와 실제 ImageNet-1K 데이터를 사용하여 이미지 분류기(image classifier)를 학습시킨 후, 다음 네 가지 외부 분포(Out-of-Distribution) 테스트 세트에서 성능을 평가한다. 첫째, 기존 ImageNet 테스트 세트에서 나타나는 적응적 과적합(adaptive overfitting) 효과를 제거하기 위해 의도적으로 수집된 별도의 ImageNet 테스트 세트인 ImageNet-v2 (IN-v2) (Recht et al., 2019); 둘째, 흑백 체계로만 구성된 ImageNet 클래스의 스케치(sketch)를 포함하는 ImageNet-Sketch (IN-Sketch) (Wang et al., 2019); 셋째, 예술 작품, 만화, 그래픽 등과 같이 ImageNet 클래스의 변형된 형태를 포함하는 ImageNet-R (IN-R) (Hendrycks et al., 2021a); 그리고 마지막으로 ImageNet-1K 학습 세트로 학습된 ResNet 모델에 대한 자연적 적대적 예시(natural adversarial examples)를 포함하는 ImageNet-A (IN-A) (Hendrycks et al., 2021b)이다. 특히, ImageNet-A와 ImageNet-R은 ImageNet-1K의 하위 집합으로서 200개의 클래스만을 포함하므로, 우리는 이 하위 클래스들에 대한 이미지 분류기의 출력 로짓(output logits)만을 고려한다.

G.4 개인정보 보호 분석 (Privacy Analysis)

멤버십 공격(Membership Attack)

본 연구에서는 공격자가 특정 데이터 샘플이 훈련된 모델의 훈련 세트에 포함되어 있는지 여부를 판별할 수 있게 하는 멤버십 추론 공격(Membership Inference Attack)을 구현한다. 이를 위해 우리는 Carlini 등이 제안한 최첨단 방식인 우도비 공격(Likelihood Ratio Attack, LiRA)을 채택한다 Carlini et al. (2022). 우리의 목적은 두 가지 서로 다른 훈련 방식인 프라이버시 훈련 데이터셋(privacy training dataset)과 합성 데이터(synthetic data)를 대상으로 실험을 수행함으로써 이 공격의 성능을 평가하는 것이다. 구체적으로, 우리는 공격이 더 효과적일 것으로 기대되는 낮은 거짓 양성률(low false-positive rate) 영역에 초점을 맞춘다. 먼저, 원본 IN-10(ImageNette) 데이터셋에서 무작위 샘플을 사용하여 총 16개의 섀도우 모델(shadow models)을 훈련한다. 이 모델 중 절반은 타겟 포인트(x, y)를 포함하여 훈련하고, 나머지 절반은 포함하지 않는다. 이러한 분류를 통해 우리는 타겟 포인트 (x, y)에 대한 IN 및 OUT 모델을 모두 생성할 수 있다. 로짓 스케일(logit scale)에서 측정된 IN 및 OUT 모델의 신뢰도(confidences)에 두 개의 가우시안 분포를 피팅함으로써, 우리는 이러한 모델들의 특성을 파악할 수 있다. 다음으로, 우리는 타겟 모델 f의 타겟 포인트 (x, y)에 대한 신뢰도를 쿼리한다. 파라미터화된 우도비 검정(parametric Likelihood-ratio test)을 사용하여 이 신뢰도 값을 IN 및 OUT 모델로부터 얻은 분포와 비교한다. 이 비교를 바탕으로, 우리는 타겟 포인트 (x, y)가 훈련 세트의 구성원일 가능성이 있는지 여부를 추론할 수 있다. 섀도우 모델을 훈련하기 위해 우리는 ResNet50 아키텍처를 활용한다. 우리는 항상 샘플링된 데이터를 사용하여 확산 모델(diffusion model)을 파인튜닝(finetuning)하는 것부터 시작한다. 파인튜닝이 완료되면 원본 데이터셋과 동일한 크기의 합성 데이터를 생성한다. 그 후, 이 합성 데이터를 사용하여 섀도우 모델을 훈련한다. 그 결과, 우리는 실험을 위해 총 16개의 파인튜닝된 확산 모델과 16개의 ResNet50 모델을 확보하게 된다. 멤버십 추론 공격을 구현하고 프라이버시 훈련 데이터셋과 합성 데이터 모두에서 그 성능을 평가함으로써, 우리는 훈련된 모델이 이러한 공격에 대해 얼마나 취약한지에 대한 통찰을 제공하고자 한다. 우리 실험의 결과는 낮은 거짓 양성률 영역에서 우도비 공격의 효과를 조명하며, 모델 프라이버시 및 보안에 관한 지속적인 연구에 기여한다.

시각적 외양 (Visual Appearance)

본 연구에서는 Zhang 등 (Zhang et al., 2023) 및 Somepalli 등 (Somepalli et al., 2023)이 수행한 이전 연구를 바탕으로, 콘텐츠 표절 탐지(content plagiarism detection)를 위해 Pizzi 등이 제안한 자기지도 학습 기반 콘텐츠 중복(Self-Supervised Content Duplication, SSCD) 방식을 활용한다. SSCD는 SimCLR (Chen et al., 2020)에 기반한 자기지도 학습(self-supervised) 접근 방식으로, InfoNCE 손실(InfoNCE loss) (Oord et al., 2018), 잠재 공간 표현(latent space representation)의 엔트로피 정규화(entropy regularization), 그리고 다양한 데이터 증강(data augmentation) 기술을 통합한 방식이다. 실험을 위해, 우리는 공식 https://github.com/facebookresearch/sscd-copy-detection/tree/main에서 제공하는 DISC 데이터셋 (Douze et al., 2021)으로 학습된 ResNeXt101 모델을 탐지 모델로 사용한다. 모델을 학습시키기 위해 ResNeXt101 아키텍처를 채택하고 이를 DISC 데이터셋 (Douze et al., 2021)으로 학습시킨다. 먼저, 학습된 탐지 모델을 사용하여 쿼리 이미지(query image)와 모든 참조 이미지(reference images)에 대한 1024차원 특징 벡터(feature vectors)를 추출한다. 그 다음, 이 특징 벡터들을 L2 정규화(L2 normalization)를 통해 정규화한다. 쿼리 특징 벡터와 각 참조 특징 벡터 사이의 내적(inner product)을 계산하여 유사도 점수(similarity score)를 도출하며, 이는 쿼리 이미지와 참조 이미지 사이의 유사도를 나타낸다. 이러한 유사도 점수를 바탕으로, 쿼리 특징과 가장 높은 유사성을 보이는 상위 5개의 참조 특징을 선정한다. 이렇게 선정된 특징들을 통해 데이터셋에서 해당 이미지들을 검색할 수 있다. 쿼리 이미지와 참조 이미지 사이의 유사성을 더욱 평가하기 위해, 우리는 유사도 점수를 순위화하고 상위 3개의 이미지와 그에 해당하는 실제 데이터를 제시한다. (Pizzi et al., 2022)

G.5 추가 절제 연구(Ablation Study) 분석

Sec. 4.1에서 우리는 세 가지 핵심 기술인 (1) 잠재 사전 정보(Latent Prior), (2) 시각적 가이드(Visual Guidance), 그리고 (3) MMD 손실(MMD loss)을 이용한 분포 매칭(Distribution Matching)에 대한 절제 연구(ablation study)를 수행했다. 참고로, 시각적 가이드는 분포 매칭을 채택하지 않을 경우 단순 확산 모델 손실(simple diffusion model loss) Ho et al. (2020)을, 채택할 경우 보강된 분포 매칭 손실을 사용하여 Stable Diffusion을 미세 조정(finetuning)해야 한다. 잠재 사전 정보는 Stable Diffusion의 미세 조정 여부와 관계없이 적용할 수 있다. 본 섹션에서는 각 모듈의 효과에 대한 보다 상세한 분석을 제공한다.

잠재적 사전 정보 (Latent Prior)

잠재적 사전 정보(Latent Prior)의 적용은 유의미한 성능 향상을 보여준다. 구체적으로, 잠재적 사전 정보를 구현할 경우 베이스라인(baseline)과 비교하여 ImageNette와 ImageNet-100에서 각각 8.2%와 10.3%의 Top-1 정확도(top-1 accuracy) 향상을 나타냈다. 이는 우리 프레임워크에서 잠재적 사전 정보가 갖는 효용성을 강조한다. 그러나 잠재적 사전 정보가 없는 경우에도 시각적 가이드(Visual Guidance)와 분포 일치 손실(Distribution Matching Loss)은 성능 향상에 기여한다. 잠재적 사전 정보 없이는 이러한 방법들이 ImageNet-10과 ImageNet-100에서 각각 1.1%와 1.8%의 향상을 이끌어낸다. 잠재적 사전 정보와 결합될 때, 이 데이터셋에서의 향상은 각각 2.5%와 3.7%로 더욱 증가한다.

시각적 가이드 (Visual Guidance)

시각적 가이드(Visual Guidance)를 위해, 우리는 기본 프롬프트 템플릿인 "photo of [classname], [Image Caption]"에 [intra-class Visual Guidance] 토큰을 추가로 사용한다. 시각적 가이드를 포함함으로써 상당한 성능 향상을 얻었으며, 잠재적 사전 정보(Latent Prior)와 결합했을 때 ImageNet-10에서 각각 1.5%와 0.7%, ImageNet-100에서 0.6%와 0.2%의 성능 개선을 달성했다. 이는 정보가 풍부한 학습 데이터 합성(training data synthesis)을 위해 텍스트 설명과 더불어 세부적인 이미지 특징을 확보하는 것이 유익함을 입증한다.

분포 매칭 손실 (Distribution Matching Loss)

Sec. 3.1에서 논의된 확산 손실(diffusion loss)의 느슨함이라는 알려진 한계에 근거하여, 우리는 실제 데이터와 합성 데이터 간의 분포 차이(distribution discrepancy)에 대해 더 엄격한 경계(tighter bound)를 확보하기 위해 MMD 손실(MMD loss)을 추가로 포함하였다. 실험 결과, MMD 손실의 추가가 일관된 성능 향상을 가져오는 것으로 나타났다. 구체적으로, 기본 확산 손실(vanilla diffusion loss)에 MMD 손실을 더했을 때 ImageNette와 ImageNet-100에서 각각 0.4%/0.5%의 성능 향상이 기여하는 것으로 나타났다. 시각적 가이드(Visual Guidance)와 결합했을 때는 이 수치가 0.6%/1.1%가 되었으며, 잠재 사전(Latent Prior)과 시각적 가이드를 모두 결합했을 때는 각각 1.0%/0.7%의 향상을 보였다.

G.6 다중 시드(Multi-Seed) 실험

제안된 방법의 안정성을 검증하기 위해, Tab. 6과 동일한 훈련 레시피(training recipe)를 따르며 ImageNet (IN-10, IN-100, IN-1K) 데이터셋에 대해 3개의 시드(seed)를 사용한 멀티 런(multi-run) 실험을 수행하였다. Tab. 9에서 입증된 바와 같이, 소규모 데이터셋(IN-10)에서는 대규모 데이터셋(IN-100, IN-1K)에 비해 변동성(variability)이 더 크게 나타났으나, 모든 설정에서 변동성은 허용 가능한 범위 내에 머물렀으며 베이스라인(baseline) 방법 대비 상당한 격차를 유지하였다.

표 9: 다중 시드(Multi-Seed) 실험 결과. 다양한 데이터셋(IN-10, IN-100, IN-1k)에 대한 반복 실행 시의 Top-1 분류 정확도(Classification Accuracy)를 나타낸다. 평균(Average)은 여러 번의 실행 결과에 대한 평균과 표준편차(Standard Deviation)를 나타낸다.

	IN-10	IN-100	IN-1K
Run 1	90.5	80.0	70.9
Run 2	91.2	79.9	70.6
Run 3	90.7	80.2	70.9
Average	90.8 $\pm$ 0.29	80.0 $\pm$ 0.12	70.8 $\pm$ 0.14

G.7 더 복잡한 인간 얼굴 데이터셋

제안된 프레임워크의 적용 가능성을 더욱 심도 있게 탐구하기 위해, 우리는 인간의 얼굴이 포함된 더 복잡한 작업에 대한 실험을 수행한다. 인간 얼굴 관련 작업에서 수반되는 과제들은 대개 더 세밀한 얼굴 속성(fine-grained facial attributes)과 데이터 분포 내의 허위 상관관계(spurious correlation)가 포함된 자연적인 인구통계학적 편향(demographic bias)을 수반한다. 따라서, 우리는 일반적인 얼굴 속성 분류(facial attribution classification) 작업 하에 CelebA Liu et al. (2015) 데이터셋을 활용한다. 다른 실험들과 일관되게, 우리는 Stable Diffusion 1.5를 사용하여 훈련 데이터를 합성하고, ResNet50을 30 에포크(epoch) 동안 처음부터(from scratch) 학습시킨다.

얼굴 속성 분류 (Facial Attribute Classification)

사람 얼굴 인식과 관련된 주요 과제 중 하나는 속성 분류(attribute classification)이다. 본 연구에서는 CelebA 데이터셋을 활용하여 세 가지 서로 다른 속성을 예측한다. 훈련 데이터를 합성하기 위해 "A [Attribute Name] person"을 기본 프롬프트 템플릿(prompt template)으로 사용한다. 우리는 CelebA 데이터셋의 하위 집합을 선택하고, 미소(Smiling), 매력적임(Attractive), 진한 화장(Heavy Makeup)이라는 세 가지 이진 분류(binary classifications)를 구성한다.

표 10: CelebA 얼굴 속성 분류 결과.

	Smiling	Attractive	Heavy Makeup
Real Data	$89.65$	$86.22$	$85.60$
Baseline	$76.90$	$65.11$	$73.35$
OURS	$86.93$	$74.74$	$82.55$

Tab. 10에 나타난 바와 같이, 미소(Smiling) 및 진한 화장(Heavy Makeup)과 같은 뚜렷한 얼굴 속성(facial attribute)의 경우, 우리 프레임워크에서 생성된 합성 데이터(synthetic data)가 훈련 데이터와 유사한 수준의 얼굴 속성을 나타낼 수 있음을 확인하였다. 매력적임(Attractive)과 같은 더 미묘한 개념의 경우, 합성 데이터와 실제 데이터 사이의 분포 변화(distribution shift)가 더 커서 결과가 다소 덜 최적화되는 경향을 보였다. 모든 경우에서 우리 합성 데이터는 베이스라인(baseline)을 상당한 차이로 능가하였다. 이는 세밀한 얼굴 특징(fine-grained facial features)에 적응하는 우리 프레임워크의 역량을 입증한다.

더 복잡한 얼굴 인식(More Complex Face Recognition) 분야의 향후 과제

우리는 주로 일반적인 얼굴 특징을 포착하는 데 있어 합성 데이터(synthetic data)의 유용성을 탐구하지만, 개별 인간 얼굴 인식(individual human face recognition) 영역을 깊이 있게 파고드는 것은 훨씬 더 도전적인 과제입니다. 이러한 복잡성은 개별 특이적 데이터의 극심한 부족과 그러한 맥락에서 요구되는 강화된 개인정보 보호(privacy preservation) 필요성에서 기인합니다. 우리는 이 분야의 중요성과 복잡성을 인식하며, 이를 향후 연구를 위한 중요한 경로로 식별합니다.

부록 H 추가 논의

H.1 세부 분류(Fine-grained Classification)에서 클래스 유사도 매칭(Class-likelihood Matching)의 의의

Sec. 4.1에서, 우리는 합성 데이터(synthetic data)가 베이스라인과 비교했을 때 자연 이미지 분류(예: ImageNet (Deng et al., 2009))보다 세밀한 분류 작업(예: CUB (Wah et al., 2011), Cars (Krause et al., 2013))에서 더 유의미한 우위를 점하는 것을 관찰했다. 이는 클래스 간의 더 세밀한 결정 경계(decision boundaries)가 요구되기 때문이다. 이는 클래스 확률 정렬(class-likelihood alignment) $q(y|\bm{x})=p_{\bm{\theta}}(y|\bm{x})$ 의 중요성을 강조한다. 또한, 이는 고품질 이미지를 합성하기 위해 생성 모델의 용량(capacity)을 단순히 높이는 것만으로는 이미지와 주석(annotation) 사이의 결합 분포(joint distribution) 간의 명시적인 정렬 없이는 어려운 이미지 분류 문제를 해결하기에 불충분하다는 것을 나타낸다.

H.2 더 나은 분포 외 일반화(Out-of-Distribution Generalization) 성능

OOD(Out-of-Distribution, 분포 외) 일반화 성능 Sec. 4.4을 평가한 결과, ImageNet-1K 성능을 확장함에 따라 합성 데이터(synthetic data)를 사용한 학습의 분포 내(in-distribution) 성능은 여전히 실제 데이터보다 열세임에도 불구하고, OOD 일반화 성능은 더 이른 임계점(즉, ImageNet-R (IN-R) (Hendrycks et al., 2021a) 및 ImageNet-A (IN-A) (Hendrycks et al., 2021b))에서 이미 실제 데이터에 대응하는 성능을 능가하는 것으로 나타났다. 우리는 목표 데이터 분포를 재현하기 위해 훈련 데이터를 합성하지만, 합성 데이터로 학습된 모델이 보여주는 우수한 OOD 일반화는 OOD 일반화 성능을 강화하는 데 있어 합성 데이터가 가진 더 큰 잠재력을 시사한다.

$\displaystyle\operatorname{Pr}_{S\sim D^{\|S\|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\geq t\text{ for some }f\in\mathcal{F}\right]$	$\displaystyle\leq\sum_{f\in\mathcal{F}}\operatorname{Pr}_{S\sim D^{\|S\|}}\left[\operatorname{Test}_{D}(f)-\operatorname{Train}_{S}(f)\geq t\right]$	(14)
	$\displaystyle=\sum_{f\in\mathcal{F}}\operatorname{Pr}_{\sim D^{\|S\|}}\left[\frac{1}{\|S\|}\sum\left(L_{i}-\mathbb{E}[L]\right)\geq t\right]$
	$\displaystyle\leq\|\mathcal{F}\|\exp\left(-2\|S\|t^{2}\right)$