Tuna-2: 멀티모달 이해 및 생성을 위한 픽셀 임베딩(Pixel Embeddings)이 비전 인코더(Vision Encoders)를 능가하다

Abstract

통합 멀티모달 모델(Unified multimodal models)은 일반적으로 사전 학습된 비전 인코더(vision encoders)에 의존하며, 이해와 생성을 위해 별개의 시각적 표현을 사용합니다. 이는 두 작업 간의 불일치를 초래하며, 원시 픽셀(raw pixels)로부터의 완전한 엔드투엔드(end-to-end) 최적화를 방해합니다. 본 논문에서는 픽셀 임베딩(pixel embeddings)을 기반으로 시각적 이해와 생성을 직접 수행하는 네이티브 통합 멀티모달 모델인 Tuna-2를 소개합니다. Tuna-2는 시각적 입력을 인코딩하기 위해 단순한 패치 임베딩(patch embedding) 층을 채택함으로써 모델 구조를 획기적으로 단순화하며, VAE나 표현 인코더(representation encoder)와 같은 모듈형 비전 인코더 설계를 완전히 배제합니다. 실험 결과, Tuna-2는 멀티모달 벤치마크에서 최첨단(state-of-the-art) 성능을 달성하였으며, 이는 통합된 픽셀 공간 모델링(pixel-space modelling)이 고품질 이미지 생성을 위한 잠재 공간(latent-space) 접근 방식과 충분히 경쟁할 수 있음을 입증합니다. 또한, 인코더 기반 변형 모델이 사전 학습 초기 단계에서 더 빠르게 수렴하는 반면, Tuna-2의 인코더 프리(encoder-free) 설계는 대규모 학습 시 특히 세밀한 시각적 지각(fine-grained visual perception)을 요구하는 작업에서 더 강력한 멀티모달 이해 능력을 보여줍니다. 이러한 결과는 멀티모달 모델링에 사전 학습된 비전 인코더가 필수적이지 않음을 보여주며, 엔드투엔드 픽셀 공간 학습이 생성과 지각 모두를 위한 더 강력한 시각적 표현을 향한 확장 가능한 경로를 제공함을 시사합니다.

그림 1: Tuna-2 아키텍처의 진화 및 멀티모달(multimodal) 성능 비교. 우리는 Tuna (Liu et al., 2025)에서 시각적 인코딩 구성 요소를 점진적으로 제거함으로써 이를 단순화한다. VAE(Variational Autoencoder)를 제거함으로써, 우리는 먼저 표현 인코더(representation encoder)에만 의존하는 픽셀 공간(pixel-space) UMM인 Tuna-R을 도출한다. Tuna-2는 표현 인코더를 완전히 우회하고 원시 이미지 입력을 위한 직접적인 패치 임베딩(patch embedding) 층을 활용함으로써 설계를 더욱 간소화한다. 픽셀 임베딩을 사용하는 Tuna-2는 다양한 멀티모달 벤치마크에서 Tuna-R과 Tuna 모두를 능가하는 성능을 보여준다. Liu et al., 2025

1 Introduction

시각적 이해(Visual understanding)와 생성(Generation)은 멀티모달 AI의 두 가지 핵심 역량입니다. 최근 연구들은 두 역량을 단일 프레임워크 내에 통합하는 것을 목표로 하는 네이티브 통합 멀티모달 모델(native unified multimodal models, UMMs) (Zhou et al., 2024; Deng et al., 2025; Liu et al., 2025)에 점점 더 집중하고 있습니다. 이러한 모델을 구축하는 데 있어 핵심적인 과제는 입력 이미지를 이해와 생성 모두를 효과적으로 지원하는 시각적 표현(visual representations)으로 인코딩하는 것입니다. 초기 접근 방식 (Deng et al., 2025; Chen et al., 2025c)은 분리된 표현을 채택하여, 이해를 위해서는 CLIP (Radford et al., 2021)과 같은 표현 인코더(representation encoders)를 사용하고 생성를 위해서는 VQ-VAE (Esser et al., 2021)와 같은 재구성 지향적 인코더(reconstruction-oriented encoders)를 사용했습니다. 이러한 설계로 인해 발생하는 표현 불일치(representation mismatch) 문제를 해결하기 위해, 보다 최근의 UMMs (Xie et al., 2025b; Liu et al., 2025)은 공유된 비전 인코더(vision encoder)를 통해 통합된 시각적 표현을 사용하여 두 과제를 모두 모델링하는 방향으로 나아가고 있습니다. Zhou et al., 2024 Deng et al., 2025 Liu et al., 2025 Deng et al., 2025 Chen et al., 2025c Radford et al., 2021 Esser et al., 2021 Xie et al., 2025b Liu et al., 2025

상당한 진전에도 불구하고, 분리형(decoupled) 및 통합형(unified) 시각적 표현 설계는 시각적 특징 추출을 위해 여전히 사전 학습된 비전 인코더(pretrained vision encoders) (Wan et al., 2025; Tschannen et al., 2025)에 크게 의존하고 있습니다. 이와 동시에, 멀티모달 이해 및 생성에 관한 최근 연구는 인코더 기반의 모듈형 설계에서 벗어나 더 단순한 단일 구조(monolithic)의 인코더 프리(encoder-free) 아키텍처로 이동하기 시작했습니다. 멀티모달 이해 분야에서는 최신 네이티브 시각-언어 모델(native vision-language models) (Diao et al., 2025)이 사전 학습된 표현 인코더를 제거하는 대신, 통합된 엔드투엔드(end-to-end) 아키텍처 내에서 이미지와 자연어를 정렬합니다. 시각적 생성 분야에서는 픽셀 공간 확산 모델(pixel-space diffusion models) (Hoogeboom et al., 2023; Chen et al., 2025b; Li and He, 2025)이 점점 더 높은 유연성과 강력한 확장성, 그리고 광범위한 작업에서 최첨단 성능을 보여주고 있으며, 이는 고충실도(high-fidelity) 이미지 합성에서도 사전 학습된 VAE 인코더가 더 이상 필수적이지 않을 수 있음을 시사합니다. Wan et al., 2025 Tschannen et al., 2025 Diao et al., 2025 Hoogeboom et al., 2023 Chen et al., 2025b Li and He, 2025

이러한 관찰에 근거하여, 우리는 자연스러우면서도 아직 거의 탐구되지 않은 질문을 던집니다. 즉, 사전 학습된 비전 인코더(pretrained vision encoders)를 완전히 배제하고, 가공되지 않은 픽셀(raw pixels)로부터 직접 엔드투엔드 네이티브 모델링(end-to-end native modelling)을 수행함으로써 통합된 멀티모달 모델(unified multimodal models)을 구축할 수 있는가 하는 점입니다.

우리는 인코더 모듈을 점진적으로 단순화하고 최종적으로 비전 인코더(vision encoders)를 완전히 제거하고자 시도하는 네이티브 통합 멀티모달 모델(native unified multimodal model)인 Tuna-2를 도입함으로써 이 질문에 긍정적인 답변을 제시한다. 먼저, 우리는 모델 구조 내에 표현 인코더(representation encoder)는 유지하면서 VAE 모델을 제거한 Tuna-R을 소개한다. Tuna-R은 표준적인 인코더 기반 대규모 멀티모달 모델(LMMs)과 유사한 멀티모달 이해 성능을 수행하며, $x$ 예측 목적 함수를 통한 픽셀 공간 흐름 매칭(pixel-space flow matching)으로 시각적 생성을 지원한다. 이어 우리는 인코더를 완전히 제거하고 이미지 및 비디오 토큰을 처리하기 위해 단일 트랜스포머 디코더(transformer decoder)만을 사용하여 구조를 더욱 단순화한 Tuna-2를 제안한다. 결과적으로 Tuna-2는 사전 학습된 인코더 모듈에 의존하지 않고, 가공되지 않은 픽셀(raw pixels)로부터 직접 엔드투엔드(end-to-end) 네이티브 통합 모델링을 가능하게 한다.

고차원 픽셀 공간(pixel space)에서 통합된 표현(unified representations)을 직접 학습하는 것은 압축된 잠재 공간(latent space)에서 학습하는 것보다 훨씬 더 어렵기 때문에, 우리는 학습을 안정화하고 더욱 견고한 픽셀 공간 표현의 학습을 장려하기 위해 마스킹 기반의 시각적 특징 학습(masking-based visual feature learning) 체계를 추가로 도입했습니다. 이러한 설계들이 결합되어 Tuna-2는 다양한 멀티모달 이해(multimodal understanding) 및 생성(generation) 벤치마크에서 최첨단(state-of-the-art) 성능을 달성할 수 있게 합니다. 더 중요한 것은, 우리의 통제된 비교를 통해 명확한 설계 통찰을 얻었다는 점입니다. 충분한 시각적 사전 학습(visual pretraining) 이후, 인코더가 없는(encoder-free) Tuna-2는 시각적 생성 측면에서 인코더 기반의 Tuna-R과 대등한 수준이 되는 반면, 멀티모달 이해 측면에서는 특히 세밀한 시각적 지각(fine-grained visual perception)을 요구하는 벤치마크에서 일관되게 이를 능가합니다. 이러한 결과는 사전 학습된 시각 인코더를 제거하는 것이 엔드투엔드(end-to-end) 사전 학습에서 더 강력한 세밀한 시각 표현을 학습하는 데 유리할 수 있음을 시사합니다. 그림 1 및 2에서 볼 수 있듯이, 이는 멀티모달 이해와 생성 모두에서 매우 경쟁력 있는 성능으로 이어집니다.

본 연구의 주요 기여는 다음과 같이 요약됩니다.

• 우리는 인코더가 없는(encoder-free) 설계를 통해 멀티모달 이해 및 생성을 지원하는 네이티브 통합 멀티모달 모델(native unified multimodal model)인 Tuna-2를 제안하며, 이는 광범위한 이해 및 생성 벤치마크에서 최첨단(state-of-the-art) 성능을 달성한다.
• 2. 우리는 Tuna-2와 인코더 기반의 픽셀 공간(pixel-space) UMM 변체인 Tuna-R 사이의 대조 실험을 수행하였으며, 충분한 멀티모달 사전 학습(multimodal pretraining) 이후 Tuna-2와 그 인코더 프리(encoder-free) 설계가 생성(generation) 측면에서 경쟁력이 있고, 이해(understanding) 측면에서는 특히 세밀하고 지각 집약적인(perception-intensive) 작업에서 우수하다는 것을 보여준다.
• 3. 우리는 픽셀 공간(pixel-space) UMM의 학습 역학(training dynamics)과 모델 동작을 연구하기 위해 포괄적인 절제 연구(ablation studies) 및 분석을 수행하며, 이를 통해 향후 네이티브 통합 멀티모달 모델(native unified multimodal models) 개발을 위한 유용한 통찰을 제공한다.

그림 2: Tuna-2는 완전히 인코더 프리(encoder-free) 구조임에도 불구하고, 고충실도(high-fidelity)의 텍스트-이미지 생성(text-to-image generation) 및 이미지 편집(image editing)을 수행할 수 있다.

2 Method

이 섹션에서는 픽셀 공간(pixel space)에서 시각적 이해와 생성을 모두 수행하는 네이티브 통합 멀티모달 모델(native unified multimodal model)인 Tuna-2를 소개한다. 먼저 섹션 2.1에서 Tuna-2를 도출하기 위해 비전 인코더(vision encoder) 구성 요소를 점진적으로 제거하는 접근 방식을 상세히 설명한다. 이어서 섹션 2.2에서는 마스크 특징 학습(masked feature learning) 체계를 설명하고, 섹션 2.3에서는 모델 학습 파이프라인(training pipeline)을 기술한다.

2.1 인코더 프리(Encoder-Free) 통합 모델을 향하여

그림 1에 나타난 바와 같이, Tuna (Liu et al., 2025)과 같은 통합된 시각적 표현을 갖춘 기존의 통합 멀티모달 모델(Unified Multimodal Models, UMMs)은 일반적으로 공동 시각-언어 모델링(joint vision-language modeling)을 위한 비전 인코더(vision encoder)와 LLM 디코더(LLM decoder)로 구성되며, 그 뒤에 자기회귀적 텍스트 생성을 위한 언어 모델링 헤드(language modelling head)와 이미지 생성을 위한 플로우 매칭 헤드(flow matching head)를 포함한 모달리티별 헤드(modality-specific heads)가 이어집니다. 본 연구에서는 기존 구조의 비전 인코더 구성 요소들을 점진적으로 단순화함으로써, 인코더가 없는(encoder-free) UMM 구조인 Tuna-2를 제안합니다. 이러한 구조적 단순화를 위한 우리의 설계 과정은 다음과 같습니다. Liu et al., 2025

표현 인코더 기반 아키텍처(Representation encoder-based architecture). 우선, 우리는 VAE 모델을 제거하고 비전 인코더(vision encoder)에 사전 학습된 표현 인코더(representation encoder)만을 사용하는 방식을 시도한다. 그림 1에서 볼 수 있듯이, 이는 시각-언어 모델링(vision-language modelling)의 표준적인 패러다임과 일치한다. 즉, 표현 인코더가 먼저 입력 이미지를 시각적 토큰(visual tokens)으로 인코딩하고, 이 토큰들이 LLM 디코더 내에서 텍스트 토큰과 결합되어 공동 시각-언어 모델링을 수행하는 방식이다. LLaVA (Liu et al., 2023)에서 처음 제안된 이 패러다임은 이후 Qwen3-VL (Bai et al., 2025a) 및 InternVL3.5 (Wang et al., 2025d)와 같은 연구들을 통해 검증 및 확장되었으며, 현재 멀티모달 이해(multimodal understanding) 분야에서 가장 대중적인 프레임워크로 자리 잡고 있다. 우리는 이러한 중간 설계를 Tuna-R이라 부른다. 우리의 최종 목표는 인코더 기반 아키텍처를 넘어서는 것이지만, Tuna-R은 Tuna-2와 통제된 비교(controlled comparison)를 가능하게 하는 중요한 중간 단계로 간주한다. Liu et al., 2023 Bai et al., 2025a Wang et al., 2025d

인코더 프리(Encoder-free, 비인코더) 구조. 둘째로, 우리는 표현 인코더(representation encoder)를 완전히 제거한 더욱 단순화된 구조를 고려하였으며, 이는 Tuna-2의 주요 설계 방식이 됩니다. 그림 1에서 볼 수 있듯이, 이 설계는 사전 학습된 비전 인코더를 이미지를 시각적 토큰으로 변환하는 단순한 패치 임베딩(patch embedding) 계층으로 대체하며, 이 토큰들은 이후 LLM 디코더에 의해 텍스트 토큰과 함께 공동으로 처리됩니다. 이와 유사한 인코더 프리 설계는 최근 Mono-InternVL (Luo et al., 2025) 및 NEO (Diao et al., 2025)와 같은 모델에서 탐구된 바 있습니다. 사전 학습된 표현 인코더를 제거함으로써, 이 설계는 고정된 입력 해상도나 미세한 저수준 시각적 세부 정보에 대한 제한적인 접근과 같은 내재된 귀납적 편향(inductive biases)을 피할 수 있습니다. 또한 이는 모델 구조를 단일 통합 트랜스포머(transformer)로 단순화합니다. 섹션 3에서는 Tuna-2와 Tuna-R을 비교하는 일련의 심층 분석을 제시하며, Tuna-2의 효과성과 확장성을 입증합니다. Luo et al., 2025 Diao et al., 2025

픽셀 공간(Pixel-space) 이미지 생성. 우리의 VAE-free(VAE를 사용하지 않는) 설계는 LLM 디코더와 언어 모델링 헤드(language modelling head)를 사용하여 멀티모달 이해 및 텍스트 생성을 직접 수행할 수 있게 해줍니다. 그러나 VAE를 배제한다는 것은 잠재 확산(latent diffusion) 구조를 따르는 기존의 UMM(Unified Multimodal Model) 및 생성 전용 모델의 설계를 더 이상 채택할 수 없음을 의미하기도 합니다. 픽셀 공간에서 이미지를 효과적으로 생성하기 위해, 우리는 픽셀 공간의 플로우 매칭(flow matching)을 위한 JiT (Li and He, 2025)의 $x$-예측 및 $v$-손실 패러다임을 채택합니다. 구체적으로, 소스 이미지 $x_{1}$, 샘플링된 노이즈 $x_{0}\sim\mathcal{N}(\mathbf{0},\mathbf{I})$, 그리고 타임스탬프 $t$이 주어졌을 때, 우리는 정류 플로우(rectified flow) (Liu et al., 2022; Lipman et al., 2022)와 그 선형 스케줄(linear schedule)을 사용하여 픽셀 공간 내의 노이즈 샘플을 구축합니다. Li and He, 2025 Liu et al., 2022 Lipman et al., 2022

$$x_{t}=tx_{1}+(1-t)x_{0},t\in[0,1].$$ (1)

Tuna-2는 노이즈가 포함된 이미지로부터 픽셀 공간(pixel space)에서 깨끗한 이미지를 직접 예측하도록 공식화된다:

$$x_{\theta}=\pi_{\theta}(x_{t},c,t),$$ (2)

여기서 $\pi_{\theta}$은 우리의 통합 모델(시각-언어 백본(vision-language backbone) 및 플로우 매칭 헤드(flow matching head))이며, $c$은 조건부 신호(텍스트-이미지 생성을 위한 텍스트 및 이미지 편집을 위한 텍스트+이미지)를 의미한다. JiT에서 제안된 바와 같이, 우리 모델은 $x_{\theta}$을 직접 예측하지만, 여전히 이를 속도 항(velocity term)인 $v_{\theta}$으로 변환하고 $v_{\theta}$을 학습 목표로 회귀(regress)시킨다.

$$v_{\theta} =\frac{x_{\theta}-x_{t}}{1-t},$$ (3)

$$\mathcal{L}_{\mathrm{flow}} =\mathbb{E}_{t,c,x_{1},x_{0}}||v_{\theta}-v||^{2}_{2},$$ (4)

여기서 $v$은 $v=x_{1}-x_{0}$에 의해 정의되는 정답 속도(ground truth velocity)이다. 추론(inference) 과정에서, 우리는 오일러 솔버(Euler solver)를 사용하여 노이즈가 더 많은 이미지 $t<t^{\prime}$로부터 속도 항 $v_{\theta}$에 기반한 $t^{\prime}$에서의 노이즈 제거 이미지(denoised image)를 예측하며, 이는 $x_{t^{\prime}}=x_{t}+(t^{\prime}-t)v_{\theta}$를 만족한다. 여기서 $v_{\theta}$은 식 3에 기반하여 우리 모델의 예측값 $x_{\theta}$으로부터 변환된 것이다.

그림 3: 제안하는 마스킹 기반 특징 학습(masking-based feature learning) 방식의 도식. 학습 과정에서, 우리는 다중 모달 이해(multimodal understanding)를 정규화(regularize)하고 시각적 생성을 위한 마스킹 예측(masked prediction)을 수행하기 위해 학습 가능한 마스크 토큰(learnable mask token)을 사용한다.

2.2 마스킹(Masking)을 통한 강건한 시각적 표현(Robust Visual Representations) 학습

VAE(Variational Autoencoder)를 제거하면 모델 구조가 단순해지고 완전한 엔드투엔드(end-to-end) 통합 멀티모달 학습이 가능해지지만, 이는 시각적 모델링의 영역을 콤팩트한 잠재 공간(latent space)에서 훨씬 고차원인 픽셀 공간(pixel space)으로 이동시킨다는 것을 의미합니다. 그 결과, 통합된 시각적 표현을 학습하는 것이 더 어려워집니다. 픽셀 공간 입력의 중복성(redundancy)이 증가함에 따라, 모델이 이해와 생성을 위해 진정으로 유용한 시각적 단서를 학습하기보다는 표면적인 지름길(shortcuts)에 의존하기 쉬워지기 때문입니다. 픽셀 공간에서 더욱 견고한 시각적 표현을 학습하기 위해, 우리는 마스킹 기반의 시각적 특징 학습 체계(masking-based visual feature learning scheme)를 도입합니다. 그림 3에서 볼 수 있듯이, 학습 과정에서 우리는 (선택적으로) 마스킹 비율에 따라 이미지 패치(image patches)의 하위 집합을 무작위로 선택하고, 이를 LLM 디코더에 입력하기 전에 마스킹된 시각적 토큰을 학습 가능한 마스크 토큰으로 대체합니다. 동일한 마스킹 연산이 생성과 이해 예제 모두에 적용되지만, 두 설정에서 서로 다른 역할을 수행합니다.

• 1. 생성 예시를 위해, 우리는 모델이 마스킹된 영역과 마스킹되지 않은 영역 모두에서 깨끗한 이미지 패치(image patches)를 예측하도록 합니다. 이는 (1) 부분적으로 관찰된 노이즈 이미지로부터 깨끗한 이미지를 예측해야 하는 모델에게 더 어려운 디노이징(denoising) 문제를 부여하며, (2) 학습 가능한 마스크 토큰(mask token)이 가시적인 문맥(context)에 기반하여 이미지 재구성(image reconstruction)에 유용한 정보를 흡수하도록 유도합니다.
• 2. 이해를 돕기 위한 예시로, 우리 모델은 마스킹된 시각적 입력(masked visual input)을 기반으로 정답 텍스트 응답(ground truth text response)을 예측한다. 이 경우, 마스킹은 모델이 부분적인 시각적 관찰 하에서 멀티모달 추론(multimodal reasoning)을 수행하도록 강제하는 정규화 메커니즘(regularization mechanism) 역할을 하며, 이는 더욱 견고한 시각적 표현(visual representations)으로 이어진다.

우리의 마스킹 기반 특징 학습(feature learning) 방식은 시각적 이해 및 생성 분야에서 사용되는 마스크 모델링(masked modelling) 방법들과 유사합니다. 예를 들어, 의미론적 학습(semantic learning)을 위한 MAE (He et al., 2022) 및 SigLIP 2 (Tschannen et al., 2025), 그리고 시각적 생성을 위한 MaskGIT (Chang et al., 2022) 및 DeTok (Yang et al., 2025a) 등이 이에 해당합니다. 실증적으로, 우리는 마스킹을 적용하는 것이 사전 학습(pretraining) 단계에서 모델의 성능을 향상시킨다는 것을 발견했습니다. He et al., 2022 Tschannen et al., 2025 Chang et al., 2022 Yang et al., 2025a

2.3 학습 파이프라인(Training Pipeline)

우리의 인코더 프리(encoder-free) 설계는 인코더 기반의 모듈형 접근 방식에서 흔히 사용되는 커넥터 계층(connector layers) 학습을 위한 별도의 단계를 필요로 하지 않으면서, Tuna-2를 완전히 엔드투엔드(end-to-end) 방식으로 학습할 수 있게 합니다. 아래에서 설명하듯이, 우리의 학습 파이프라인은 두 단계로 구성되며, 두 단계 모두 완전히 엔드투엔드 방식으로 수행됩니다.

1단계: 전체 모델 사전 학습(full model pretraining). 첫 번째 단계에서는 플로우 매칭 헤드(flow matching head)를 위한 강력한 초기화(initialization)를 구축하고, 통합된 멀티모달 이해 및 생성을 위해 픽셀 공간(pixel-space) 시각적 입력을 적응시키는 것을 목표로 한다. 이를 달성하기 위해, 우리는 이미지 캡셔닝(image captioning)과 텍스트-이미지 생성(text-to-image generation)이라는 두 가지 과업에 대해 전체 모델을 공동 학습시킨다.

1단계: 지도 미세 조정(Supervised Finetuning, SFT). 다음으로, 우리는 더 낮은 학습률(learning rate)을 사용하여 전체 모델에 대한 지도 미세 조정(SFT)을 수행한다. 우리는 이미지 편집(image editing), 이미지 지시 이행(image instruction-following), 그리고 고품질 이미지 생성(high-quality image generation)을 위한 데이터셋을 사용한다. 이 단계는 Tuna-2의 능력을 정교화하여 다양한 멀티모달(multimodal) 작업 전반에서 성능과 일반화(generalization) 능력을 향상시킨다.

1차 단계(Stage 1) 이전에 추가적인 정렬(alignment) 단계를 도입한 Tuna-R의 경우, 표현 인코더(representation encoder)와 LLM 디코더(LLM decoder) 사이에 커넥터 레이어(connector layer)가 포함되어 있습니다. 이 단계에서는 이미지 캡셔닝(image captioning) 및 텍스트-이미지 생성(text-to-image generation) 데이터를 사용하여 커넥터 레이어만을 짧은 기간 동안 학습시킵니다. 앞서 언급했듯이, Tuna-2는 인코더 프리(encoder-free) 설계 덕분에 이러한 추가 단계가 필요하지 않습니다.

3 Experiments

1. 실험 설정 (Experiment Setup)

thought 우리는 LLM 디코더(decoder)로 Qwen2.5-7B-Instruct (Qwen et al., 2024)를 채택하고, Tuna-2를 위해 16의 패치 임베딩(patch embedding) 크기를 사용한다. 1단계 사전 학습(pretraining)을 위해 멀티모달 이해(multimodal understanding)를 위한 이미지 캡셔닝(image captioning) 데이터 30%와 텍스트-이미지 생성(text-to-image generation) 데이터 70%로 구성된 5억 5천만 개의 자체 보유 이미지-텍스트 쌍을 사용한다. 또한, 전체 사전 학습 데이터의 20%를 차지하는 Nemotron (Bercovich et al., 2025)의 텍스트 전용 데이터를 포함한다. 전체 모델은 AdamW 옵티마이저(optimizer) (Loshchilov and Hutter, 2017)와 학습률(learning rate) $1\times 10^{-4}$을 사용하여 64개 노드에서 30만 스텝 동안 엔드투엔드(end-to-end) 방식으로 학습된다. 우리는 사전 학습의 마지막 40% 구간에서 제안된 마스킹 기반 특징 학습(masking-based feature learning) 전략을 채택하며, 훈련 예제의 50%에 마스킹을 적용하고 마스킹 비율을 0%에서 50% 사이에서 무작위로 샘플링한다. 2단계 지도 미세 조정(supervised finetuning, SFT)을 위해 이미지 지시 이행(image instruction-following), 이미지 편집(image editing), 고품질 이미지 생성을 포괄하는 선별된 SFT 코퍼스(corpus)를 사용한다. 구체적으로, 이미지 지시 이행을 위해 오픈 소스 FineVision (Wiedmann et al., 2025) 데이터셋에서 추출한 1,300만 개의 대화 예시를 포함한다. 이미지 편집의 경우 OmniEdit (Wei et al., 2024)에서 약 200만 개의 예시를 사용한다. 이 단계는 AdamW와 학습률 $2\times 10^{-5}$을 사용하여 5만 스텝 동안 학습된다. 모든 학습 단계에서 입력 시퀀스 길이는 GPU당 16k 토큰으로 패딩(pad)한다. Qwen et al., 2024 Bercovich et al., 2025 Loshchilov and Hutter, 2017 Wiedmann et al., 2025 Wei et al., 2024

Tuna-R의 경우, LLM 디코더(LLM decoder)로 동일한 Qwen2.5-7B-Instruct를 사용합니다. 우리는 Tuna의 방식을 따라 SigLIP 2 So400M (Tschannen et al., 2025)를 표현 인코더(representation encoder)로 채택합니다. Tuna-R의 커넥터 정렬(connector-alignment) 단계에서는 AdamW 옵티마이저와 $5\times 10^{-4}$의 학습률(learning rate)을 사용하여 3,000 스텝 동안 모델을 학습시킵니다. Tschannen et al., 2025

표 1: 멀티모달 이해(multimodal understanding) 벤치마크에서 Tuna-2와 베이스라인(baseline) 모델 간의 비교. 모델 크기가 13B를 초과하는 결과는 회색으로 표시됨. 굵은 글씨: 모든 UMM(Unified Multimodal Models) 중 최고 결과. 밑줄: 모든 UMM 중 두 번째로 좋은 결과.

Models	Size	General Benchmarks									Pixel-centric Benchmarks
		GQA	RealWorldQA	MMVet	MMMU	MMVP	SEED-Bench2+	AI2D	ChartQA	OCRBench	V*	CountBench	VisuLogic
Understanding-only Models (LMMs)
LLaVA-1.5 (Liu et al., 2023)	7B	62.0	54.8	32.9	35.7	-	-	55.5	17.8	31.8	-	-	-
Qwen-VL-Chat (Bai et al., 2023)	7B	57.5	49.3	47.3	37.0	-	-	57.7	49.8	48.8	-	-	-
LLaVA-OV (Li et al., 2024a)	7B	-	69.9	51.9	48.8	77.3	62.2	81.4	80.9	62.2	72.7	76.2	24.8
Qwen2.5-VL (Bai et al., 2025b)	7B	60.7	69.9	61.7	58.6	78.0	70.5	82.7	83.0	83.7	71.2	74.1	20.0
Composite UMMs
TokenFlow-XL (Qu et al., 2025)	14B	62.5	56.6	-	43.2	-	-	-	-	-	-	-	-
BLIP3-o (Chen et al., 2025a)	4B	-	60.4	-	46.6	-	-	-	-	-	-	-	-
Tar (Han et al., 2025)	7B	61.3	-	-	39.0	74.3	46.2	-	-	-	41.4	64.2	24.3
X-Omni (Geng et al., 2025)	7B	62.8	62.6	-	47.2	-	-	76.8	81.5	70.4	-	-	-
Native UMMs
BAGEL (Deng et al., 2025)	14B	66.4	72.8	67.2	55.3	85.0	71.9	89.2	78.5	73.3	70.2	82.5	41.7
Ming-UniVision (Huang et al., 2025a)	16B	59.4	59.1	64.2	40.3	71.0	56.8	82.8	76.7	72.4	48.2	76.8	26.7
Harmon (Wu et al., 2025d)	1.5B	58.9	49.8	-	38.9	61.7	41.6	57.0	29.8	11.2	41.9	67.0	25.1
JanusFlow (Ma et al., 2025b)	1.3B	60.3	41.2	36.2	29.3	67.7	39.8	54.2	42.4	53.2	42.9	78.6	22.0
Emu3 (Wang et al., 2024b)	8B	60.3	57.4	23.5	31.6	71.0	44.6	70.0	69.4	68.7	53.4	65.2	24.7
VILA-U (Wu et al., 2024)	7B	60.8	46.8	26.3	31.2	62.7	31.9	49.0	11.4	23.3	38.7	55.2	25.4
Janus-Pro (Chen et al., 2025c)	7B	62.0	58.0	41.1	41.0	73.3	56.3	71.3	25.8	59.0	47.6	53.2	23.8
Show-o2 (Xie et al., 2025b)	7B	63.1	64.7	39.6	48.9	76.7	61.3	78.6	52.3	32.4	44.5	63.5	26.9
OneCat (Li et al., 2025)	9B	63.1	65.2	52.2	41.9	71.3	61.6	77.8	81.2	79.0	63.4	34.2	24.9
Tuna (Liu et al., 2025)	7B	63.9	66.1	42.9	49.8	70.7	52.7	79.3	85.8	74.3	52.4	73.5	22.4
Tuna-R	7B	63.5	67.9	46.7	51.1	74.7	58.4	79.4	85.6	78.3	57.6	77.8	26.2
Tuna-2	7B	65.0	67.7	51.7	50.7	77.3	61.1	79.6	85.6	79.7	59.2	81.7	28.8

1표: GenEval 및 DPG-Bench에서의 이미지 생성 결과. “Col. Attr.”은 “색상 속성(Color Attribute)”을 의미한다. †는 GenEval에서 LLM 재작성기(LLM rewriters)를 사용한 방법들을 나타낸다. 굵은 글씨: 네이티브 UMM(native UMMs) 중 최고 결과. 밑줄: 두 번째로 좋은 결과.

Models	Size	GenEval							DPG-Bench
		1-Obj.	2-Obj.	Count	Colors	Position	Col. Attr.	Overall	Global	Entity	Attribute	Relation	Other	Overall
Generation-only Models
SD3-M (Esser et al., 2024)	2B	0.99	0.94	0.72	0.89	0.33	0.60	0.74	87.90	91.01	89.96	80.70	88.68	84.08
FLUX.1 [dev]† (Batifol et al., 2025)	12B	0.98	0.93	0.75	0.93	0.68	0.65	0.82	82.10	89.50	88.70	91.10	89.40	84.00
LongCat-Image (Team et al., 2025)	6B	0.99	0.98	0.86	0.86	0.75	0.73	0.87	89.10	92.54	92.00	93.28	87.50	86.80
Qwen-Image (Wu et al., 2025a)	20B	0.99	0.92	0.89	0.88	0.76	0.77	0.87	91.32	91.56	92.02	94.31	92.73	88.32
Seedream 3.0 (Gao et al., 2025)	-	0.99	0.96	0.91	0.93	0.47	0.80	0.84	94.31	92.65	91.36	92.78	88.24	88.27
Z-Image-Turbo (Cai et al., 2025)	6B	1.00	0.95	0.77	0.89	0.65	0.68	0.82	91.29	89.59	90.14	92.16	88.68	84.86
Composite UMMs
Tar (Han et al., 2025)	7B	0.99	0.92	0.83	0.85	0.80	0.65	0.84	83.98	88.62	88.05	93.98	84.86	84.19
BLIP3-o (Chen et al., 2025a)	8B	-	-	-	-	-	-	0.84	-	-	-	-	-	81.60
UniWorld-V1† (Lin et al., 2025a)	12B	0.98	0.93	0.81	0.89	0.74	0.71	0.84	83.64	88.39	88.44	89.27	87.22	81.38
OmniGen2† (Wu et al., 2025b)	7B	0.99	0.96	0.74	0.98	0.71	0.75	0.86	88.81	88.83	90.18	89.37	90.27	83.57
Native UMMs
MUSE-VL (Xie et al., 2025c)	7B	-	-	-	-	-	-	0.57	-	-	-	-	-	-
Transfusion (Zhou et al., 2024)	7B	-	-	-	-	-	-	0.63	-	-	-	-	-	-
Emu3 (Wang et al., 2024b)	8B	-	-	-	-	-	-	0.66	-	-	-	-	-	81.60
Show-o2 (Xie et al., 2025b)	7B	1.00	0.87	0.58	0.92	0.52	0.62	0.76	89.00	91.78	89.96	91.81	91.64	86.14
Janus-Pro (Chen et al., 2025c)	7B	0.99	0.89	0.59	0.90	0.79	0.66	0.80	86.90	88.90	89.40	89.32	89.48	84.19
HBridge† (Wang et al., 2025e)	7B	1.00	0.96	0.80	0.94	0.77	0.78	0.87	91.78	91.82	90.23	90.06	88.42	85.23
Ming-UniVision (Huang et al., 2025a)	16B	1.00	0.93	0.59	0.93	0.92	0.70	0.85	-	-	-	-	-	82.12
BAGEL† (Deng et al., 2025)	14B	0.98	0.95	0.84	0.95	0.78	0.77	0.88	88.94	90.37	91.29	90.82	88.67	85.07
Mogao (Liao et al., 2025)	7B	1.00	0.97	0.83	0.93	0.84	0.80	0.89	82.37	90.03	88.26	93.18	85.40	84.33
Tuna (Liu et al., 2025)	7B	1.00	0.97	0.81	0.91	0.88	0.83	0.90	90.42	91.68	90.94	91.87	90.73	86.76
Tuna-R	7B	1.00	0.95	0.82	0.89	0.86	0.79	0.88	86.00	91.80	91.03	93.48	84.89	86.35
Tuna-2	7B	0.99	0.96	0.80	0.91	0.84	0.76	0.87	89.50	91.40	92.07	91.91	88.81	86.54

표 3: GPT-5.4 및 Claude Opus 4.7 환경에서의 평가 결과. 품질(Quality)은 이미지의 사실성(realism)과 세밀한 디테일의 풍부함(fine-grained detail richness)을 측정하며, 다양성(Diversity)은 동일한 프롬프트(prompt)로부터 생성된 이미지들 간의 변동성을 측정한다. 굵은 글씨는 최적의 결과를, 밑줄은 두 번째로 좋은 결과를 나타낸다.

	GPT-5.4		Claude Opus 4.7
Models	Quality	Diversity	Quality	Diversity
Tuna	22.3%	20.6%	28.1%	28.2%
Tuna-R	35.7%	30.9%	37.2%	29.9%
Tuna-2	32.1%	48.4%	34.8%	41.9%

표 4: ImgEdit 데이터셋에 대한 이미지 편집(Image editing) 결과. 굵은 글씨는 통합 모델(unified models) 중 가장 우수한 결과를 나타내며, 밑줄은 두 번째로 우수한 결과를 나타낸다.

Models	Add	Adj.	Ext.	Rep.	Rm.	Bg.	Sty.	Hyb.	Act.	Total
Generation-only Models
FLUX.1	4.25	4.15	2.35	4.56	3.57	4.26	4.57	3.68	4.63	4.00
Qwen-Image	4.38	4.16	3.43	4.66	4.14	4.38	4.81	3.82	4.69	4.27
Unified Models
OmniGen	3.47	3.04	1.71	2.94	2.43	3.21	4.19	2.24	3.38	2.96
BAGEL	3.56	3.31	1.70	3.30	2.62	3.24	4.49	2.38	4.17	3.20
UniWorld	3.82	3.64	2.27	3.47	3.24	2.99	4.21	2.96	2.74	3.26
OmniGen2	3.57	3.06	1.77	3.74	3.20	3.57	4.81	2.52	4.68	3.44
GPT-Image	4.61	4.33	2.90	4.35	3.66	4.57	4.93	3.96	4.89	4.20
Tuna	4.43	4.48	2.46	4.65	4.55	4.52	4.69	4.22	4.76	4.31
Tuna-R	4.46	4.27	2.38	4.61	4.48	4.44	4.54	4.06	4.43	4.18
Tuna-2	4.34	4.13	2.22	4.53	4.42	4.36	4.58	3.91	4.28	4.09

3.2 주요 결과

이미지 이해(Image understanding). 우리는 Tuna-2의 이미지 이해 능력을 평가하기 위해 GQA (Hudson and Manning, 2019), RealWorldQA (xAI, 2024), MMVet (Yu et al., 2023), MMMU (Yue et al., 2024), MMVP (Tong et al., 2024), SEED-Bench2+ (Li et al., 2024b), AI2D (Kembhavi et al., 2016), ChartQA (Masry et al., 2022) 및 OCRBench (Liu et al., 2024)를 포함한 9개의 VQA(Visual Question Answering) 벤치마크로 구성된 종합적인 평가 세트를 활용한다. 표 1에 나타난 바와 같이, VAE(Variational Autoencoder) 모델을 제거한 후 Tuna-R과 Tuna-2는 모두 Tuna를 능가하며 모든 7B 규모의 네이티브 UMM(Unified Multimodal Model) 중에서 최첨단(state-of-the-art) 결과를 달성하였으며, 이는 우리의 픽셀 공간 통합 표현(pixel-space unified representations)의 효과를 입증한다. 특히, Tuna-2는 표현 인코더(representation encoder)를 단순한 패치화(patchify) 레이어로 교체한 후에도 Tuna-R보다 우수한 성능을 보인다. 이는 통합된 단일 구조(monolithic architecture)의 대규모 공동 학습이 모듈형 설정에서 사전 학습된 표현 인코더의 귀납적 편향(inductive bias)에 의존하는 것보다 더 나은 이해 성능을 달성할 수 있음을 시사한다. 우리는 섹션 3.5에서 Tuna-R과 Tuna-2를 비교하는 추가적인 분석을 제시한다. Hudson and Manning, 2019 xAI, 2024 Yu et al., 2023 Yue et al., 2024 Tong et al., 2024 Li et al., 2024b Kembhavi et al., 2016 Masry et al., 2022 Liu et al., 2024

픽셀 공간(pixel-space) 통합 모델의 이점을 더 깊이 이해하기 위해, 미세한 시각적 세부 사항에 대한 시각적 추론(visual reasoning)에 중점을 둔 몇 가지 픽셀 중심(pixel-centric) 벤치마크를 포함했습니다(예: 고해상도 이미지에서 매우 작은 객체 인식). 이러한 벤치마크에는 V* (Wu and Xie, 2024), CountBench (Paiss et al., 2023), 그리고 VisuLogic (Xu et al., 2025)가 포함됩니다. 표 1에서 볼 수 있듯이, Tuna-R과 Tuna-2는 모든 벤치마크에서 잠재 공간(latent-space) UMM(Unified Multimodal Models)들(예: Show-o2, Tuna 등)보다 우수한 성능을 보였으며, 이는 미세한 시각적 세부 사항을 추론할 때 픽셀 공간 시각 표현(pixel-space visual representations)이 필수적임을 나타냅니다. Wu and Xie, 2024 Paiss et al., 2023 Xu et al., 2025

이미지 생성. 우리는 GenEval (Ghosh et al., 2023) 및 DPG-Bench (Hu et al., 2024)에서 Tuna-2의 이미지 생성 성능을 평가한다. 표 2에 나타난 바와 같이, Tuna-R과 Tuna-2 모두 이러한 벤치마크에서 최첨단(state-of-the-art) 결과를 달성했으며, BAGEL, Mogao, Tuna와 같은 현대적 접근 방식들과 대등한 성능을 보여준다. 두 변체 중에서는 Tuna-R이 Tuna-2보다 일관되게 약간 더 나은 성능을 보이는데, 이는 표현 인코더(representation encoder)에 의해 도입된 의미론적 사전 지식(semantic prior)이 우리 방법이 더 강력한 이미지 생성 모델을 학습하는 데 도움이 된다는 것을 시사한다. 전반적으로 이러한 결과는 VAE(Variational Autoencoder) 없이 픽셀 공간(pixel space)에서 전체 이미지 생성을 수행함에도 불구하고, Tuna-2가 최근의 최첨단 통합 모델들과 경쟁력 있는 수준을 유지하고 있음을 보여주며, 이는 우리의 픽셀 공간 생성 설계의 효과성과 확장성을 강조한다. Ghosh et al., 2023 Hu et al., 2024

기존의 GenEval과 같은 이미지 생성 벤치마크는 주로 텍스트-이미지 정렬(text-image alignment)과 모델의 세상 지식(world knowledge)을 평가하기 때문에, 본 연구에서는 Tuna-2, Tuna-R, 그리고 Tuna가 생성한 이미지의 품질과 다양성을 평가하기 위해 LLM 판정(LLM-judge-based) 기반의 평가 방식을 추가로 채택하였다. 구체적으로, 1.5K개의 텍스트 프롬프트를 샘플링하고 각 모델에 프롬프트당 4개의 이미지를 생성하도록 요청하였다. 그 후 GPT-5.4 (OpenAI, 2026)와 Claude Opus 4.7 (Anthropic, 2026)를 판정 모델로 사용하여, 생성된 이미지의 품질과 다양성을 바탕으로 각 프롬프트에 대해 세 모델 중 가장 우수한 모델을 선정하였다. 여기서 품질(quality)은 주로 사실성(realism)과 세밀한 디테일 및 질감 충실도(texture fidelity)를 의미하며, 다양성(diversity)은 동일한 프롬프트 하에서 생성된 4개의 이미지가 얼마나 뚜렷한 시각적 변이를 보이는지를 측정한다. 결과는 표 4에 보고되었다. 두 LLM 판정 모델 모두에서 Tuna-2는 경쟁력 있는 이미지 생성 품질을 달성하여 Tuna-R과 대등하고 Tuna보다 우수한 성능을 보였으며, 특히 다양성 측면에서는 유의미하게 선호되었다. 이러한 결과는 우리의 인코더 프리(encoder-free) 설계가 매우 효과적이며, Tuna-2가 고품질이면서도 다양한 이미지를 생성할 수 있게 함을 입증한다. OpenAI, 2026 Anthropic, 2026

Tokenizer	Res.	rFID$\downarrow$	PSNR$\uparrow$	SSIM$\uparrow$
Specialized tokenizers
SD-VAE	256	1.06	28.62	0.86
GigaTok	256	0.51	21.32	0.69
VA-VAE	256	0.26	28.59	0.80
DC-AE	512	0.22	26.15	0.71
MAE-Tok	512	0.62	–	–
TexTok	512	0.73	24.45	0.66
FLUX.1[dev]-VAE†	512	0.06	33.65	0.93
Unified tokenizers
UniTok	256	0.38	–	–
TokenFlow	384	0.63	22.77	0.73
X-Omni†	512	8.30	15.66	0.38
MingTok†	512	0.53	23.49	0.61
RAE	256	0.61	19.20	0.44
PS-VAE	256	0.20	28.79	0.82
Tuna-R	512	0.12	32.22	0.93
Tuna-2	512	0.15	32.80	0.93

표 5: 다양한 시각적 토크나이저(visual tokenizers)에 따른 이미지 재구성(image reconstruction) 성능.

그림 4: 다양한 시각적 토크나이저(visual tokenizers)에 대한 정성적 결과.

- **이미지 편집(Image editing)**. 우리는 ImgEdit (Ye et al., 2025)에서 Tuna-2의 이미지 편집 능력을 추가로 평가하였다. 표 4에 나타난 바와 같이, Tuna-2는 통합 모델(unified models) 중에서 강력한 편집 성능을 달성하며, OmniGen (Xiao et al., 2025), BAGEL (Deng et al., 2025), UniWorld (Lin et al., 2025a), 그리고 OmniGen2 (Wu et al., 2025b)와 같은 이전의 베이스라인(baselines) 모델들을 능가하였다. Tuna 및 Tuna-R보다는 약간 뒤처지지만, Tuna-2는 비전 인코더(vision encoders)에 의존하지 않고 픽셀 공간(pixel space)에서 직접 편집을 수행함에도 불구하고, 강력한 생성 전용(generation-only) 및 통합 편집 시스템들과 대등한 경쟁력을 유지한다. 이러한 결과는 우리의 픽셀 공간 통합 모델링 프레임워크가 지시어 기반(instruction-guided) 이미지 편집을 효과적으로 지원할 수 있음을 시사하며, Tuna-2와 인코더 기반 변형 모델들 사이의 작은 격차는 사전 학습된 시각적 사전 지식(visual priors)이 여전히 세밀한 편집 충실도(fine-grained editing fidelity)를 높이는 데 이점을 제공할 수 있음을 나타낸다. Ye et al., 2025 Xiao et al., 2025 Deng et al., 2025 Lin et al., 2025a Wu et al., 2025b

이미지 재구성(Image reconstruction). Tuna-2의 이미지 생성 능력을 추가로 조사하기 위해, 우리는 모델이 픽셀 공간(pixel-space) 시각적 표현으로부터 입력 이미지를 충실하게 재구성할 수 있는지 확인한다. 이를 위해, 우리는 이미지 재구성 작업에 대해 경량 미세 조정(lightweight finetuning)을 수행하고 ImageNet 검증 세트 (Deng et al., 2009)에서 재구성 품질을 평가한다. 표 5에 나타난 바와 같이, Tuna-R과 Tuna-2 모두 강력한 재구성 성능을 달성하며, 통합 토크나이저(unified tokenizers) 중 1위를 차지함과 동시에 FLUX.1 [dev] (Batifol et al., 2025)의 VAE 모델과 같은 특화된 이미지 토크나이저에 근접하는 성능을 보여준다. 그림 4는 우리 모델이 RAE (Zheng et al., 2025)와 같은 다른 비 KL-정규화(non-KL-regularized) VAE 방식들보다 실질적으로 더 나은 재구성 결과를 생성함을 추가로 보여준다. 이러한 결과는 우리의 픽셀 공간 통합 시각적 표현이 VAE 모델에 의존하지 않고도 강력한 이미지 재구성 및 생성 품질을 지원할 수 있음을 나타낸다. Deng et al., 2009 Batifol et al., 2025 Zheng et al., 2025

그림 5: 모델 학습 과정 중 서로 다른 이해-생성 데이터 비율(understanding-generation data ratios)에 따른 이미지 생성(MSE) 및 언어 모델링(CE) 손실 곡선(loss curves) 비교.

3.3 절제 연구(Ablation Study): 모델 학습 역학(Model Training Dynamics)

우리의 공동 멀티모달 학습 패러다임(joint multimodal training paradigm)의 학습 역학을 더 잘 이해하기 위해, 생성 데이터와 이해 데이터 사이의 샘플링 비율을 변화시키며 Tuna-R과 Tuna-2 모두에 대해 일련의 사전 학습 절제 연구(pretraining ablation studies)를 수행했습니다. 우리는 $x:y$의 생성 대 이해 샘플링 비율을 나타내기 위해 $x_g y_u$ (예: )라는 표기법을 사용합니다. 그림 5에서 볼 수 있듯이, 생성 또는 이해 데이터의 비율을 높이면 해당 데이터의 학습 손실(training loss), 즉 플로우 매칭(flow matching)을 위한 MSE와 언어 모델링(language modelling)을 위한 교차 엔트로피 손실(cross entropy loss, CE)이 일관되게 감소합니다. 특히, MSE 손실은 샘플링 비율의 변화에 더 민감하게 반응하는 반면, CE 손실은 다양한 비율에 걸쳐 상대적으로 좁은 범위 내에서 변화합니다. 이는 두 작업 모두 해당 학습 데이터의 양을 확장함으로써 이득을 얻지만, 생성 목적 함수(generation objective)가 데이터 혼합에 더 큰 영향을 받는다는 것을 시사합니다. 또한 우리는 $7:3$ ()의 생성 대 이해 비율이 두 목적 함수 사이에서 최적의 절충안을 달성하여, 생성과 이해 성능 사이의 강력한 균형을 제공한다는 것을 관찰했습니다. 따라서 우리는 모든 실험에서 이 데이터 샘플링 비율을 채택합니다.

표 6: 사전 학습(pretraining) 과정에서 제안된 마스킹 기반 특징 학습(masking-based feature learning) 기법의 적용 여부에 따른 Tuna-R 및 Tuna-2의 절제 연구(ablation study) 결과.

Models	OCRBench	MMVP	CountBench	GenEval
Tuna	56.9	54.0	55.6	57.2
Tuna-R w/o Masking	58.3	56.7	57.2	55.7
Tuna-R w/ Masking	59.2	58.0	58.2	56.0
Tuna-2 w/o Masking	55.4	52.3	53.4	47.6
Tuna-2 w/ Masking	56.8	55.7	57.6	48.2

3.4 절제 연구(Ablation Study): 마스킹 기반 특징 학습(Masking-based Feature Learning)

제안된 마스킹 기반 특징 학습(masking-based feature learning) 전략의 효과를 검증하기 위해, 우리는 더 작은 규모의 Qwen-2.5-Instruct-1.5B 백본(backbone)을 사용하여 Tuna-R과 Tuna-2 모두에 대해 통제된 실험을 수행합니다. 우리는 이 전략이 모델이 기본적인 멀티모달 지식을 습득한 이후에 적용되는 표현 강화(representation enhancement) 전략 역할을 할 것으로 기대하기 때문에, 사전 학습(pretraining) 초기부터 이 목적 함수를 적용하지 않습니다. 대신, 먼저 모든 모델을 50k 스텝 동안 학습시킵니다. 그 후 각 모델 변형을 두 그룹으로 나눕니다. 한 그룹은 표준 사전 학습을 계속 진행하고, 다른 그룹은 50%의 확률로 마스킹 기반 특징 학습 목적 함수를 적용하며 사전 학습을 계속 진행합니다. 두 그룹 모두 추가로 50k 스텝 동안 더 학습됩니다. 표 6에 나타난 바와 같이, 이 전략은 두 모델 변형 모두에서 이해(understanding) 및 생성(generation) 벤치마크 성능을 일관되게 향상시킵니다. 우리는 또한 Tuna-2가 Tuna-R보다 마스킹 학습으로부터 더 많은 이득을 얻는다는 것을 관찰했습니다. 우리는 이러한 차이가 Tuna-R에 사용된 SigLIP 2 표현 인코더(representation encoder)와 관련이 있다고 가설을 세우는데, 이는 SigLIP 2 자체가 유사한 마스킹 예측 목적 함수로 사전 학습되었기 때문입니다. 또한, 결과는 시각적 인코딩 전에 이미지를 VAE 잠재 공간(latent space)으로 압축하는 방식(Tuna)이 비전 인코더를 통해 픽셀 수준의 입력을 직접 인코딩하는 방식(Tuna-R)과 비교했을 때, 시각적 이해에 있어 특정 정보 손실을 초래할 수 있음을 시사합니다. 이러한 발견을 바탕으로, 우리는 사전 학습의 마지막 40% 구간 동안 마스킹 기반 특징 학습 전략을 적용하여 멀티모달 이해와 생성 모두에서 더욱 견고한 시각적 표현 학습을 유도합니다.

그림 6: Tuna-R 및 Tuna-2에 대한 훈련 데이터셋 크기(모델이 소비한 토큰 수로 측정) 대비 모델 정확도 곡선.

3.5 분석: Tuna-R vs. Tuna-2

섹션 3.2의 실험 결과는 두 가지 흥미로운 사실을 보여줍니다. 첫째, 비전 인코더(vision encoders)가 없는 Tuna-2가 대부분의 이미지 이해(image understanding) 벤치마크에서 Tuna-R보다 우수한 성능을 보입니다. 둘째, 생성(generation) 작업에서는 Tuna-R이 Tuna-2와 비슷하거나 약간 더 강력한 성능을 달성합니다. 이러한 경향을 더 잘 이해하기 위해, 우리는 훈련 데이터 규모가 증가함에 따라 이해 및 생성 벤치마크에서 두 모델의 성능 곡선을 도식화했습니다. 그림 6에서 볼 수 있듯이, 세 가지 이해 벤치마크(OCRBench (Liu et al., 2024), MMVP (Tong et al., 2024), V* (Wu and Xie, 2024))에서 Tuna-R은 훈련 초기 단계에 실제로 Tuna-2보다 우수한 성능을 보입니다. 우리는 이러한 이점이 Tuna-R의 사전 학습된 표현 인코더(pretrained representation encoder)에서 기인한다고 믿으며, 이 인코더의 풍부한 의미론적 사전 지식(semantic priors)이 모델이 훈련 초기에 멀티모달 이해 능력을 더 빠르게 습득하도록 돕는 것으로 판단됩니다. 그럼에도 불구하고, Tuna-2는 나중에 이를 따라잡아 결국 Tuna-R을 능가합니다. 이는 Tuna-2의 단일 구조(monolithic)이자 인코더가 없는 설계가 대규모 통합 멀티모달 사전 학습(unified multimodal pretraining)의 이점을 얻기에 더 적합할 수 있으며, 이를 통해 더 강력한 멀티모달 이해 능력을 발달시킬 수 있음을 시사합니다. Liu et al., 2024 Tong et al., 2024 Wu and Xie, 2024

GenEval (Ghosh et al., 2023)에 대한 생성 평가(generation evaluation) 결과, Tuna-R이 전체 학습 과정에서 일관되게 Tuna-2보다 우수한 성능을 보이는 것을 관찰할 수 있다. 이는 표현 인코더(representation encoder)가 제공하는 의미론적 사전 지식(semantic priors)이 생성 성능을 향상시키는 데 중요한 역할을 한다는 것을 시사하며, 이는 REPA (Yu et al., 2024) 및 Tuna (Liu et al., 2025)의 이전 연구 결과와도 일치한다. 그러나 이러한 경향은 학습 데이터의 규모가 커짐에 따라 점차 약화된다. 그림에서 볼 수 있듯이, 두 모델 변형은 지도 미세 조정(SFT, Supervised Fine-Tuning) 이후 거의 동일한 성능을 달성한다. 전반적으로, 잠재 공간 생성(latent-space generation)과 비교했을 때, Tuna-R과 Tuna-2의 픽셀 공간 생성(pixel-space generation) 패러다임은 모두 경쟁력 있는 성능을 보여준다. Ghosh et al., 2023 Yu et al., 2024 Liu et al., 2025

그림 7: Tuna-R, Tuna-2 및 기타 베이스라인(baseline) 모델들의 어텐션 맵(attention map) 시각화. 붉은색 영역은 높은 어텐션 점수(attention scores)를 나타내며, 파란색 영역은 낮은 어텐션 점수를 나타낸다.

3.6 분석: 어텐션 맵(Attention Map) 시각화

서로 다른 모델들이 학습한 교차 모달 정렬(cross-modal alignment) 능력을 정성적으로 분석하고 비교하기 위해, 입력 프롬프트 내 선택된 핵심 단어들이 입력 이미지와 맺는 관계를 어텐션 맵(attention maps)으로 시각화하였다. 본 연구에서는 Tuna, Tuna-R, Tuna-2를 포함하는 Tuna 모델 제품군에 초점을 맞추었으며, 이를 ViT 기반 인코더를 갖춘 LLaVA-OneVision-1.5 (An et al., 2025) 및 Qwen2.5-VL (Bai et al., 2025b)와 같은 대표적인 인코더 기반 오픈 소스 LMM(Large Multimodal Models) 및 LLM 기반 인코더를 갖춘 Penguin-VL (Zhang et al., 2026a) 모델들과 비교하였다. 그 결과는 그림 7에 제시되어 있다. An et al., 2025 Bai et al., 2025b Zhang et al., 2026a

우리의 첫 번째 관찰 결과는 Tuna-2가 기본적인 지각(perception) 시나리오에서 더 정확한 시각-언어 정렬(vision-language alignment)을 보여준다는 것입니다. 예를 들어, “빛나는 창문” 사례에서 Tuna-2는 “빛나는”이라는 단어와 의미적으로 연관된 영역을 일관되게 강조하는 반면, 다른 모델들은 대개 거칠거나 불완전한 위치 파악(localization)만을 제공하는 경향이 있습니다. “보라색 물체” 사례의 경우, Tuna-2의 어텐션 활성화(attention activations)는 대상 물체와 잘 정렬되는 반면, 다른 방법들은 종종 분산된 어텐션이나 무관한 영역에서의 가짜 활성화(spurious activations)를 보여줍니다.

우리는 모델이 언어적 사전 지식(language priors)에 과도하게 의존하는지 평가하기 위해, 오해의 소지가 있는 언어적 문맥을 포함한 예시들을 추가로 구성하였다. 예를 들어, "강아지 카페" 사례에서 프롬프트는 고양이 카페 시나리오를 암시하지만, 이미지 속 실제 동물은 강아지이다. 일부 모델은 실제 시각적 대상 대신 이미지 내의 텍스트 단서(예: "강아지 카페" 표지판)에 의존하는 경향이 있다. 이와 대조적으로, Tuna-2는 실제로 관련 있는 시각적 영역에 주의(attention)를 집중하며, 오해의 소지가 있는 언어적 문맥 하에서도 더욱 견고한 교차 모달 정렬(cross-modal alignment)을 보여준다.

더욱 까다롭고 직관에 반하는 “축구 경기(football match)” 사례에서는 강력한 언어적 사전 정보(linguistic priors)와 눈에 띄는 시각적 방해 요소(visual distractors)를 모두 도입합니다. 구체적으로, 프롬프트에는 “축구 경기”, “선수들”, “차는 동작”과 같은 강력한 축구 관련 단서들이 포함되어 있습니다. 또한 이미지에는 방해 요소로서 크고 시각적으로 두드러진 축구공이 포함되어 있습니다. 그러나 선수가 실제로 차고 있는 물체는 유리컵입니다. 대부분의 모델은 텍스트 사전 정보나 눈에 띄는 방해 요소에 쉽게 현혹되어 잘못된 영역에 주목합니다. 이와 대조적으로, Tuna-2는 질문의 의미와 일치하는 핵심 물체를 정확하게 국지화(localize)하며, 이러한 직관에 반하는 설정에서 더 강력한 강건성(robustness)을 보여줍니다.

전반적으로, 인코더가 없는(encoder-free) 네이티브 멀티모달(native multimodal) 구조로서 Tuna-2는 모든 사례에서 더 정확하고 안정적인 어텐션 분포(attention distributions)를 생성합니다. 이러한 결과는 Tuna-2가 더 신뢰할 수 있는 시각적 표현(visual representations)을 학습하며, 이는 더 일관된 교차 모달 정렬(cross-modal alignment)과 오해의 소지가 있는 언어적 사전 지식(language priors) 및 시각적 방해 요소(visual distractors)에 대한 더 나은 강건성(robustness)으로 이어짐을 시사합니다.

4 관련 연구

4.1 통합 멀티모달 모델(Unified Multimodal Models)

통합 멀티모달 모델(Unified multimodal models, UMMs) (Xin et al., 2025; You et al., 2026; Tian et al., 2026; Tong et al., 2026; Zhang et al., 2026b; Yang et al., 2025b; Shi et al., 2025; Shen et al., 2025; Xie et al., 2025a; Niu et al., 2025; Wei et al., 2025a; Wang et al., 2025f; Wei et al., 2025b; Cui et al., 2025; He et al., 2025; Wang et al., 2025a; Hao et al., 2025; Team et al., 2025; AI et al., 2025; Wu et al., 2025c; Fan et al., 2025a)은 단일 프레임워크 내에서 멀티모달 이해와 생성을 통합하는 것을 목표로 한다. UMMs의 일반적인 접근 방식은 텍스트 생성을 위한 자기회귀(autoregressive, AR) 언어 모델 (Grattafiori et al., 2024; Bai et al., 2023)과 시각적 생성을 위한 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델 (Ho et al., 2020; Rombach et al., 2022)을 결합하는 것이다. AR 모델은 이해 능력에서 뛰어나지만, 고충실도(high-fidelity) 생성과의 통합은 대개 분리된 인코더(decoupled encoders) (Chen et al., 2025c; Liao et al., 2025; Deng et al., 2025)에 의존하며, 이는 표현의 불일치와 비효율성을 초래한다. 이 문제를 해결하기 위해 UniTok (Ma et al., 2025a), TokLip (Lin et al., 2025b), UniLip (Tang et al., 2025), UniFlow (Yue et al., 2025), UAE (Fan et al., 2025b), OpenVision 3 (Zhang et al., 2026c)와 같은 최근 연구들은 의미론적 이해와 시각적 재구성을 모두 위한 통합 비전 토크나이저(unified vision tokenizers)를 사전 학습한다. 한편, Show-o 시리즈 (Xie et al., 2024; Xie et al., 2025b), Tuna (Liu et al., 2025), Ming-UniVision (Huang et al., 2025b), Transfusion-RAE (Tong et al., 2026)와 같은 네이티브(native) UMMs는 사전 학습된 VAE (Wan et al., 2025)와 표현 인코더(representation encoders) (Zheng et al., 2025)를 사용하여 통합된 표현을 구축한다. 이러한 상당한 발전에도 불구하고, 최근의 네이티브 UMMs는 여전히 통합 표현을 구축하는 데 VAE 잠재 변수(latents)에 주로 의존하고 있으며, 이는 미세한 시각적 지각 및 추론에서의 모델 성능을 저해한다. 본 연구에서 우리는 Tuna-R 및 Tuna-2를 통해 픽셀 공간(pixel-space) UMMs를 체계적으로 조사한다. 본 연구와 동시에, SenseNova-U1 (Diao et al., 2026b)은 혼합 트랜스포머(mixture-of-transformer, MOT) (Liang et al., 2024) 스타일의 LLM 디코더를 갖춘 유사한 인코더 프리(encoder-free) 구조(Neo-Unify (Diao et al., 2026a))를 조사한다. Xin et al., 2025 You et al., 2026 Tian et al., 2026 Tong et al., 2026 Zhang et al., 2026b Yang et al., 2025b Shi et al., 2025 Shen et al., 2025 Xie et al., 2025a Niu et al., 2025 Wei et al., 2025a Wang et al., 2025f Wei et al., 2025b Cui et al., 2025 He et al., 2025 Wang et al., 2025a Hao et al., 2025 Team et al., 2025 AI et al., 2025 Wu et al., 2025c Fan et al., 2025a Grattafiori et al., 2024 Bai et al., 2023 Ho et al., 2020 Rombach et al., 2022 Chen et al., 2025c Liao et al., 2025 Deng et al., 2025 Ma et al., 2025a Lin et al., 2025b Tang et al., 2025 Yue et al., 2025 Fan et al., 2025b Zhang et al., 2026c Xie et al., 2024 Xie et al., 2025b Liu et al., 2025 Huang et al., 2025b Tong et al., 2026 Wan et al., 2025 Zheng et al., 2025 Diao et al., 2026b Diao et al., 2026a Liang et al., 2024

4.2 인코더 프리(Encoder-Free) 멀티모달 이해 및 생성

대규모 멀티모달 모델(Large multimodal models, LMMs)은 전통적으로 픽셀 공간 표현 인코더(pixel-space representation encoders)와 LLM 디코더를 결합하는 모듈형 설계를 채택해 왔습니다. LMM에 관한 초기 연구들은 Flamingo (Alayrac et al., 2022)의 크로스 어텐션(cross-attention)이나 LLaVA (Liu et al., 2023)의 MLP 커넥터(MLP connectors)와 같이 표현 인코더와 LLM 디코더 간의 통합 전략을 탐구했습니다. 이후의 연구들은 주로 LLaVA를 따랐으며, 이러한 패러다임을 더 큰 모델 (Wang et al., 2024a; Bai et al., 2025b; Wang et al., 2025d; An et al., 2026c), 데이터셋 (Zhang et al., 2024; Wiedmann et al., 2025; An et al., 2025), 그리고 다양한 이해 작업 (Cheng et al., 2024; Li et al., 2024c; Ren et al., 2025)으로 확장했습니다. 보다 최근에는 시각 및 언어 정보를 네이티브하게 처리하기 위해 인코더가 없는 단일 구조(monolithic, encoder-free)의 트랜스포머를 사용하는 대안적 설계가 등장했습니다 (Wang et al., 2025b; Li et al., 2026; Lei et al., 2025; Shukor et al., 2025). Fuyu (Bavishi et al., 2023), EVE (Diao et al., 2024), Chameleon (Team, 2024), Mono-InternVL (Luo et al., 2025) 및 NEO (Diao et al., 2025)는 단순한 MLP 또는 패치 임베딩(patch embedding) 레이어를 사용하여 원시 이미지 픽셀을 패치로 토큰화하고, 단일 트랜스포머를 사용하여 이러한 이미지 패치와 언어 토큰을 공동으로 처리합니다. 본 연구에서 우리는 표현 인코더 기반 설계와 단일 구조 설계 모두를 픽셀 공간 UMM(Universal Multimodal Models)에 통합할 수 있으며, 이를 통해 멀티모달 이해 작업에서 높은 성능을 달성할 수 있음을 보여줍니다. Alayrac et al., 2022 Liu et al., 2023 Wang et al., 2024a Bai et al., 2025b Wang et al., 2025d An et al., 2026c Zhang et al., 2024 Wiedmann et al., 2025 An et al., 2025 Cheng et al., 2024 Li et al., 2024c Ren et al., 2025 Wang et al., 2025b Li et al., 2026 Lei et al., 2025 Shukor et al., 2025 Bavishi et al., 2023 Diao et al., 2024 Team, 2024 Luo et al., 2025 Diao et al., 2025

최근의 시각적 생성 모델 (Yang et al., 2026; Chen et al., 2024; An et al., 2026a; An et al., 2026b; Zhou et al., 2025; Qiu et al., 2025)은 일반적으로 KL 또는 VQ 정규화가 적용된 VAE(Variational Autoencoders, 변분 오토인코더) (Rombach et al., 2022; Esser et al., 2024; Wu et al., 2025a; Esser et al., 2021; Sun et al., 2024)를 사용하여 압축된 잠재 공간(latent space)에서 작동합니다. 픽셀 공간(pixel-space)에서의 확산(diffusion)이나 플로우 매칭(flow matching)이 더 어려운 것으로 여겨지기도 하지만, PixelFlow (Chen et al., 2025b), PixNerd (Wang et al., 2025c), DiP (Chen et al., 2025d), PixelDiT (Yu et al., 2025), JiT (Li and He, 2025)와 같은 최근 연구들은 픽셀 공간 플로우 매칭이 잠재 확산 모델(latent diffusion models)과 대등하거나 이를 능가할 가능성이 있음을 점점 더 시사하고 있습니다. 그러나 이러한 연구들은 대개 소규모 설정(예: ImageNet (Russakovsky et al., 2015)에서의 클래스 조건부 생성)에 국한되어 있습니다. 본 연구에서는 Tuna-2를 통해 픽셀 공간 플로우 매칭이 대규모 통합 멀티모달 사전 학습(multimodal pretraining)으로 확장될 수 있으며, 자유 형식의 텍스트-이미지 생성 및 이미지 편집을 지원할 수 있음을 입증합니다. Yang et al., 2026 Chen et al., 2024 An et al., 2026a An et al., 2026b Zhou et al., 2025 Qiu et al., 2025 Rombach et al., 2022 Esser et al., 2024 Wu et al., 2025a Esser et al., 2021 Sun et al., 2024 Chen et al., 2025b Wang et al., 2025c Chen et al., 2025d Yu et al., 2025 Li and He, 2025 Russakovsky et al., 2015

5 Conclusion

우리는 VAE 인코더나 잠재 확산(latent diffusion)에 의존하지 않고 픽셀 공간(pixel space)에서 직접 멀티모달 이해 및 시각적 생성을 수행하는 네이티브 통합 멀티모달 모델(native unified multimodal models) 제품군인 Tuna-2를 소개한다. 통합 시각-언어 백본(vision-language backbone)과 픽셀 공간 플로우 매칭(flow matching) 헤드를 결합함으로써, Tuna-2는 단일 프레임워크 내에서 이미지 이해, 텍스트-이미지 생성 및 이미지 편집을 모두 지원한다. 나아가 우리는 표현 인코더(representation encoder) 기반 변체와 인코더가 없는 단일 구조(encoder-free monolithic) 변체 두 가지로 Tuna-2를 구현하였으며, 두 설계 모두 멀티모달 이해 및 생성 벤치마크에서 강력한 성능을 달성함을 보여주었다. 실험 결과, Tuna-2는 세밀한 시각적 이해(fine-grained visual understanding) 벤치마크에서 Tuna 및 Show-o2와 같은 기존의 잠재 공간 통합 모델을 능가하는 동시에, 이미지 생성에서는 최첨단(state-of-the-art) 통합 모델들과 대등한 성능을 유지함을 입증했다. 전반적으로 이러한 결과는 픽셀 공간 통합 멀티모달 모델링의 효과성과 확장성을 강조하며, 향후 네이티브 통합 멀티모달 모델(UMMs)을 위한 유망한 방향을 제시한다.