개선된 대규모 언어 확산 모델(Improved Large Language Diffusion Models)

Abstract

현대의 대규모 언어 모델(Large Language Models)은 주로 자기회귀적 분해(autoregressive factorization)와 인과적 주의(causal attention)를 통해 학습됩니다. 본 논문에서는 완전한 양방향 주의(fully bidirectional attention)를 통해 처음부터 학습된 8B 매스커드 확산 언어 모델(masked diffusion language model)인 iLLaDA를 제시합니다. iLLaDA는 사전 학습(pre-training)과 지도 미세 조정(supervised fine-tuning, SFT) 전반에 걸쳐 매스커드 확산 목적 함수(masked diffusion objective)를 유지하며, 사전 학습은 12T 토큰으로, 미세 조정은 25B 토큰 규모의 지시어 말뭉치(instruction corpus)를 사용하여 12 에포크(epochs) 동안 수행했습니다. 또한, 효율성을 위해 가변 길이 생성(variable-length generation)을 사용하고, 다지선다형 평가(multiple-choice evaluation)를 위한 신뢰도 기반 점수(confidence-based scoring)를 도입했습니다. LLaDA와 비교했을 때, iLLaDA는 일반, 수학 및 코드 벤치마크 전반에서 성능이 향상되었습니다. 예를 들어, iLLaDA-Base는 BBH에서 21.6점, ARC-Challenge에서 14.9점 향상되었으며, iLLaDA-Instruct는 MATH에서 14.5점, HumanEval에서 16.5점 향상되었습니다. 비자기회귀적(non-autoregressive) 학습 방식임에도 불구하고, iLLaDA는 여러 벤치마크에서 Qwen2.5 7B와 대등한 경쟁력을 유지했습니다. 이러한 결과는 처음부터 수행하는 완전 양방향 확산 학습이 강력한 언어 모델을 구축하기 위한 경쟁력 있는 경로임을 보여줍니다. 모델 가중치 및 코드: https://github.com/ML-GSAI/LLaDA.

1 Introduction

현재 거대 언어 모델(Large Language Models, LLMs)은 자기회귀(autoregressive) 패러다임 [zhao2023survey, brown2020language, chatgpt, dubey2024llama]이 지배하고 있다. 최근에는 언어 생성의 대안적 접근 방식으로 확산 언어 모델(diffusion language models)이 점점 더 많은 관심을 받고 있다. [austin2021structured, lou2023discrete, shi2024simplified, sahoo2024simple, ou2024your]의 마스크된 확산 공식(masked diffusion formulation)을 따라, LLaDA는 완전 양방향 주의 집중(fully bidirectional attention) [nie2026large]을 통해 기초부터 언어 모델을 학습한다. 이는 비자기회귀(non-autoregressive) 모델도 인컨텍스트 학습(in-context learning) 및 지시 이행(instruction-following)과 같은 핵심적인 LLM 능력을 습득할 수 있음을 보여주며, 언어 지능이 반드시 자기회귀 모델에 의존해야 한다는 일반적인 믿음에 도전한다.

이러한 개념적 함의를 넘어, 양방향 확산 언어 모델(bidirectional diffusion language models)은 역전 및 양방향 추론(bidirectional reasoning) [nie2026large, nie2024scaling], 장기 계획(long-horizon planning) [ye2025beyondplanning], 그리고 멀티모달(multimodal) 또는 옴니-모델링(omni-modeling) 분야에서 강점을 보여왔다. 최근 연구들은 양방향 확산 사전 학습(bidirectional diffusion pre-training)이 반복 학습 시 제한된 데이터를 더 효과적으로 활용할 수 있으며, 이를 통해 데이터가 제한된 환경에서 확산 언어 모델이 자기회귀(autoregressive) 모델보다 우수한 성능을 발휘할 수 있음을 보여준다 [prabhudesai2025diffusion, ni2025diffusion]. 그러나 LLaDA는 여전히 초기 단계의 대규모 시도였으며, 그 성능은 Qwen2 [qwen2] 및 Qwen2.5 [qwen2.5]와 같은 강력한 자기회귀 모델에 비해 뒤처져 있어 개선을 위한 상당한 여지가 남아 있다. [you2025llada, yang2025mmada, you2026lladao, xin2025luminadimoo]

우리는 처음부터 학습된 80억 개의 파라미터를 가진 완전 양방향 마스크 확산 언어 모델(fully bidirectional masked diffusion language model)인 iLLaDA(improved LLaDA)를 소개한다. 사전 학습(pre-training)을 위해, iLLaDA는 말뭉치(corpus)를 12조 개의 토큰으로 확장하고, 캐시 방식의 추론 메모리를 줄이기 위해 그룹화된 쿼리 어텐션(grouped-query attention) [ainslie2023gqa]을 사용하며, 파라미터 수를 줄이기 위해 입력 및 출력 임베딩을 결합(tied input/output embeddings)하고, 대규모 학습을 위한 학습률 스케줄(learning-rate schedule)을 수정한다. 사후 학습(post-training)에서 iLLaDA는 가변 길이 생성을 위한 지도 미세 조정(SFT, Supervised Fine-Tuning) 전략을 수정하고, 250억 개의 토큰으로 구성된 지시어 말뭉치(instruction corpus)를 12 에포크(epochs) 동안 학습한다. 추론 및 평가를 위해, iLLaDA는 효율성을 위한 가변 길이 생성과 다지선다형 벤치마크를 위한 신뢰도 기반 점수 산정(confidence-based scoring)을 사용한다.

실험 결과, 이러한 변화는 LLaDA를 실질적으로 개선하는 것으로 나타났다. 처음부터 학습된 LLaDA 및 Qwen2.5 [ye2025dream]에서 미세 조정(fine-tuned)된 Dream을 포함한 기존의 양방향 확산 언어 모델(bidirectional diffusion language models)과 비교했을 때, iLLaDA는 기본(base) 및 지시어 튜닝(instruction-tuned) 평가 모두에서 가장 우수한 평균 성능을 확보했다. Qwen2.5 7B [qwen2.5]과 비교했을 때, iLLaDA-Base는 평균적으로 약간 더 우세하며, iLLaDA-Instruct는 여전히 Qwen2.5 7B Instruct에 뒤처진다. 절제 연구(Ablations)를 통해 신뢰도 기반 점수(confidence-based scoring)가 다지선다형 평가(multiple-choice evaluation)를 개선하며, iLLaDA가 여러 에포크(epochs)에 걸친 지도 미세 조정(SFT, Supervised Fine-Tuning)을 통해 지속적으로 이득을 얻는다는 점이 추가로 확인되었다.

2 Approach

이 섹션에서는 iLLaDA의 학습 및 추론 절차를 설명한다. 우리는 LLaDA [austin2021structured, lou2023discrete, shi2024simplified, sahoo2024simple, ou2024your, nie2026large]의 마스크 확산(masked diffusion) 공식을 유지하면서, 스케일링(scaling), 사후 학습(post-training), 그리고 평가에 중요한 몇 가지 실질적인 변경 사항을 적용한다.

2.1 사전 학습(Pre-training)

iLLaDA는 LLaDA와 동일한 사전 학습 목표(pre-training objective)를 따릅니다. 길이 $L$인 깨끗한 시퀀스(clean sequence) $x_{0}$이 주어지면, 마스킹 비율(masking ratio) $t\sim U[0,1]$를 샘플링하고, 각 토큰을 확률 $t$로 마스크 토큰(mask token) M으로 독립적으로 교체하여 손상된 시퀀스(corrupted sequence) $x_{t}$를 얻습니다. 모델은 모든 마스킹된 토큰을 예측하도록 학습됩니다:

$$\mathcal{L}(\theta)\triangleq-\mathbb{E}_{t,x_{0},x_{t}}\left[\frac{1}{t}\sum_{i=1}^{L}\textbf{1}[x_{t}^{i}=\textrm{M}]\log p_{\theta}(x_{0}^{i}\mid x_{t})\right].$$ (1)

이 목적 함수는 이산 데이터(discrete data) [shi2024simplified, sahoo2024simple, ou2024your]에 대한 가능성 기반 마스크 확산(likelihood-based masked diffusion) 목적 함수이며, 여기서 지시 함수(indicator function) $\textbf{1}[\cdot]$은 손실이 마스킹된 토큰에 대해서만 계산되도록 보장합니다. 이는 고정된 마스킹 비율을 가진 마스크 언어 모델링(masked language modeling) [devlin2018bert]과는 차이가 있습니다.

iLLaDA의 백본(backbone)은 밀집 트랜스포머(dense Transformer)이며, 이는 RMSNorm [zhang2019root], SwiGLU [shazeer2020glu], RoPE [su2024roformer]를 사용하고 어텐션(attention)이나 MLP 편향(bias)을 사용하지 않습니다. 멀티 헤드 어텐션(multi-head attention)을 사용하는 LLaDA와 대조적으로, iLLaDA는 그룹화된 쿼리 어텐션(grouped-query attention, GQA) [ainslie2023gqa]을 사용합니다. 최근 연구에 따르면 KV-캐시(KV-cache)와 유사한 메커니즘을 확산 언어 모델(diffusion language models) [ma2025dkvcache, nguyentri2025attention, cheong2026entropycache, yang2025diffusionvar, qian2026d3llm]에 적용할 수 있음이 밝혀졌으며, 이러한 캐시 방식의 구현 하에서 GQA는 캐시된 키/값(key/value) 상태의 메모리 점유량을 줄여줍니다. 파라미터 수를 더욱 제어하기 위해, iLLaDA는 입력 임베딩(input embedding)과 LM-헤드(LM-head) 파라미터를 공유(tie)합니다. iLLaDA와 LLaDA의 구조적 차이는 표 1에 요약되어 있습니다.

우리는 최대 시퀀스 길이(maximum sequence length)를 8192로 설정하여 iLLaDA를 사전 학습(pre-train)한다. 마스크 확산 언어 모델(masked diffusion language models) [nie2024scaling]의 무작위 길이 학습(random-length training) 방식에서 착안하여, 8192 토큰 길이의 시퀀스를 $30\%$의 확률로 두 개의 더 짧은 세그먼트로 무작위로 분할한다. 각 배치에는 가변 길이의 예시들을 패킹(pack)하며, 공통된 길이로 패딩(padding)하지 않고도 예시들을 구분할 수 있는 누적 시퀀스 오프셋(cumulative sequence offsets)을 사용하는 FlashAttention 기반의 가변 길이 어텐션 커널(variable-length attention kernel) 1 1 1 https://docs.pytorch.org/docs/2.12/nn.attention.varlen.html을 통해 어텐션을 계산한다. 학습률(learning rate)은 $2\times 10^{-4}$까지 선형적으로 웜업(warm up)한 후 일정하게 유지한다. 훈련 중 사전 학습 손실(pretraining loss)이 더 이상 감소하지 않는 것을 확인했을 때, 우리는 최소 학습률 $5\times 10^{-6}$을 갖는 코사인 감쇠 스케줄(cosine decay schedule)로 전환하였으며, 그 이후 사전 학습 손실이 계속해서 개선되었다. 우리는 가중치 감쇠(weight decay) 0.1을 적용한 AdamW 옵티마이저(optimizer) [loshchilov2017decoupled]를 사용한다.

표 1: iLLaDA와 LLaDA 간의 구조(Architecture) 비교.

iLLaDA 8B LLaDA 8B Layers 32 32 Model dimension 4096 4096 Attention heads 32 32 Key/Value heads 8 32 FFN dimension 14,336 12,288 Vocabulary size 155,136 126,464 Maximum sequence length 8192 4096 Embedding and LM-head Tied Untied Total parameters 7.62B 8.02B Non-embedding parameters 6.98B 6.98B

1.2 지도 미세 조정(Supervised Fine-Tuning)

1차 연구들 [nie2026large, zhu2025llada, you2025llada]은 일반적으로 프롬프트(prompt)와 그에 대응하는 전체 참조 응답(reference response)을 연결하여 각 SFT(Supervised Fine-Tuning, 지도 미세 조정) 사례를 구성한다. 훈련 과정에서 프롬프트 토큰은 노출된 상태로 유지되며, 마스크(mask)는 응답 영역 내에만 적용된다. 각 미니 배치(mini-batch) 내에서, 더 짧은 응답들은 가장 긴 응답의 길이에 맞추기 위해 $|\text{EOS}|$ 토큰으로 패딩(padding)된다.

- iLLaDA는 사전 학습(pre-training)과 동일한 데이터 처리 및 마스킹 체계(masking scheme)를 사용한다. 우리는 각 지시어(instruction) 예시를 프롬프트-응답(prompt-response) 시퀀스로 구성하고 그 뒤에 단일 종료 토큰인 $|\text{EOS}|$을 배치하며, 형식화된 모든 예시를 하나의 연속적인 지시어 말뭉치(corpus)로 연결한 뒤 이 말뭉치에서 8192개 토큰의 학습 시퀀스를 샘플링한다. 그 다음, 우리는 전체 시퀀스에 무작위 마스크를 적용하고 식 ( 1 )을 최적화하며, 이 과정에서 프롬프트 토큰, 응답 토큰, 그리고 $|\text{EOS}|$ 토큰이 모두 마스킹될 수 있다. 또한, 우리는 사전 학습과 동일한 가변 길이 학습(random-length training)을 사용한다. 이러한 지도 미세 조정(SFT, Supervised Fine-Tuning) 형식은 섹션 2.3에서 설명된 가변 길이 블록 생성(variable-length block generation)을 자연스럽게 지원한다.

1차 미세 조정(SFT, Supervised Fine-tuning) 코퍼스는 약 250억 개의 토큰을 포함하며, 12 에포크(epoch) 동안 미세 조정을 수행했습니다. 섹션 3.2에 제시된 바와 같이, 절제 연구(ablation study) 결과 iLLaDA는 SFT 에포크 수가 증가함에 따라 지속적으로 성능이 향상되는 것으로 나타났습니다. SFT 과정에서 학습률(learning rate)은 먼저 $5\times 10^{-6}$까지 선형적으로 웜업(warm-up)된 후 일정하게 유지되며, 마지막 $10\%$ 동안 $5\times 10^{-7}$까지 선형적으로 감소(decay)합니다. 우리는 가중치 감쇠(weight decay) 0.1을 적용한 AdamW 옵티마이저(optimizer) [loshchilov2017decoupled]를 사용했습니다.

2.3 Inference

1LLaDA는 LLaDA [nie2026large]와 동일한 확률적 정식화(probabilistic formulation)를 사용한다. 구체적으로, 두 모델 모두 식 (1)의 마스크 확산 목적 함수(masked diffusion objective)를 통해 학습되며, 이는 모델 분포의 음의 로그 가능도(negative log-likelihood)에 대한 상한값에 해당한다.

1많은 언어 모델 벤치마크는 HellaSwag [zellers2019hellaswag], PIQA [bisk2020piqa], ARC-Challenge [clark2018think]와 같이 객관식 과제(multiple-choice tasks)로 구성된다. 주어진 접두사(prefix) $p$와 유한한 후보 문장 집합에 대해, 평가는 각 후보에 점수를 부여하고 그중 가장 높은 점수를 받은 것을 선택하는 방식으로 이루어진다. iLLaDA의 경우, 우리는 결정론적 신뢰도 기반 점수 규칙(deterministic confidence-based scoring rule)을 사용하며, 이는 객관식 과제에서 로그 가능도(log-likelihood)의 상한선보다 실증적으로 더 나은 성능을 보였다.

길이가 $L$인 후보 이어지는 문장(candidate continuation) $y$이 주어졌을 때, 우리는 모든 부분이 마스킹된(all-masked) 후보에서 시작하여 정답(ground-truth) 토큰을 하나씩 반복적으로 공개한다. 단계 $k$에서, 남아 있는 마스킹된 위치 $\mathcal{M}_{k-1}$ 중에서 모델이 가장 높은 신뢰도(confidence)를 부여하는 토큰을 선택한다.

$$i_{k}=\arg\max_{i\in\mathcal{M}_{k-1}}p_{\theta}(y^{i}\mid p,\tilde{y}_{k-1}),\quad S_{\mathrm{conf}}(y\mid p)=\sum_{k=1}^{L}\log p_{\theta}(y^{i_{k}}\mid p,\tilde{y}_{k-1}),$$ (2)

10. $\tilde{y}_{k-1}$은 공개된 정답(ground-truth) 토큰과 그 외의 마스크(masks)를 포함한다. 이 신뢰도 점수(confidence score)는 가능도 추정치(likelihood estimate)가 아니라, 유한한 후보 답변 집합을 비교하기 위한 작업 특화형 점수 대용치(scoring surrogate)이다.

자유 형식 생성(open-ended generation)을 위해, iLLaDA는 가변 길이 생성(variable-length generation)을 사용한다. 프롬프트가 주어지면, 우리는 마스크 토큰(mask tokens) 블록을 추가하고 이 블록 내에서 확산 샘플러(diffusion sampler)를 실행한다. 각 샘플링 단계에서 모델은 모든 마스크된 위치를 예측하며, 우리는 LLaDA 및 MaskGIT [chang2022maskgit]의 저신뢰도 재마스킹(low-confidence remasking) 전략을 따라, 신뢰도가 높은 예측을 가시적 토큰(visible tokens)으로 전송하고 신뢰도가 낮은 위치는 마스크 상태로 유지한다. 블록이 디코딩되면 $|\text{EOS}|$ 또는 기타 중단 토큰(stop token)이 나타날 경우 생성이 종료되며, 그렇지 않으면 새로운 마스크 블록이 추가되고 최대 생성 예산(maximum generation budget)에 도달할 때까지 프로세스가 지속된다.

3 Experiments

이 섹션에서는 표준 벤치마크를 통해 iLLaDA의 기본 및 지시 이행 능력(instruction-following capabilities)을 평가하고, 이어서 다지선다형 채점(multiple-choice scoring) 및 SFT(Supervised Fine-Tuning, 지도 미세 조정) 기간에 대한 절제 연구(ablation studies)를 수행한다. 연구 결과, iLLaDA는 기존의 확산 언어 모델(diffusion language models)보다 실질적으로 향상된 성능을 보였으며, 여러 추론 벤치마크에서 강력한 자기회귀(autoregressive) 베이스라인과 대등한 경쟁력을 유지하는 것으로 나타났다.

표 2: 기본 모델의 벤치마크 결과. † 및 ‡로 표시된 결과는 각각 nie2026large 및 ye2025dream의 결과이다. Dream의 경우, 18T은 Qwen2.5 사전 학습 토큰(pre-training tokens)을, 0.6T은 확산 미세 조정(diffusion fine-tuning) 토큰을 의미한다.

iLLaDA 8B LLaDA 8B^† Dream 7B^‡ Qwen2.5 7B^‡ Model Diffusion Diffusion Diffusion AR Training tokens 12T 2.3T 18T + 0.6T 18T General Tasks MMLU 74.8 65.9 69.5 71.9 BBH 71.3 49.7 57.9 63.9 ARC-C 60.8 45.9 59.8 51.5 Hellaswag 76.6 70.5 73.3 79.0 Mathematics & Science GSM8K 81.9 70.3 77.2 78.9 Math 38.4 31.4 39.6 41.1 Code HumanEval 50.0 35.4 57.9 56.7 MBPP 57.8 40.0 56.2 63.6 Average 63.9 51.1 61.4 63.3

표 3: 지시형 모델(Instruct Models)의 벤치마크 결과. † 및 ‡로 표시된 결과는 각각 nie2026large 및 ye2025dream의 결과이다.

iLLaDA 8B LLaDA 8B^† Dream 7B^‡ Qwen2.5 7B^‡ Model Diffusion Diffusion Diffusion AR General Tasks MMLU 71.6 65.5 67.0 76.6 MMLU-Pro 52.3 37.0 43.3 56.3 MMLU-Redux 76.4 68.9 76.3 75.7 Mathematics & Science GSM8K 89.0 77.5 81.0 91.6 Math 56.7 42.2 39.2 75.5 Code HumanEval 65.9 49.4 55.5 84.8 MBPP 58.0 41.0 58.8 79.2 Avg. 67.1 54.5 60.2 77.1

3.1 벤치마크 결과 (Benchmark Results)

우리는 기본(base) 및 지시어 튜닝(instruction-tuned) 설정 모두에서 iLLaDA를 평가한다. 벤치마크 세트는 일반적인 언어 이해 및 추론을 위한 MMLU [hendrycks2020measuring], BBH [suzgun2022challenging], ARC-Challenge [clark2018think], HellaSwag [zellers2019hellaswag]; 수학적 추론을 위한 GSM8K [cobbe2021training], MATH [hendrycks2021measuring]; 그리고 코드 생성(code generation)을 위한 HumanEval [chen2021evaluating], MBPP [austin2021program]를 포함한다. 지시어 튜닝 모델의 경우, 더 도전적인 다중 작업 이해(multi-task understanding) 벤치마크인 MMLU-Pro [wang2024mmlupro]와 MMLU의 오류를 교정하여 재주석한 MMLU-Redux [gema2024done]를 추가로 보고한다. 우리는 대표적인 확산 언어 모델(diffusion language models)인 LLaDA 8B [nie2026large] 및 Dream 7B [ye2025dream], 그리고 자기회귀(autoregressive) 모델인 Qwen2.5 7B [qwen2.5]와 비교한다.

표 2은 기본 모델들을 비교한 결과이다. iLLaDA는 모든 작업에서 LLaDA를 실질적으로 개선하며, 특히 BBH, ARC-Challenge, GSM8K, HumanEval, MBPP에서 큰 성능 향상을 보였다. Dream 7B과 비교했을 때, iLLaDA는 대부분의 일반 및 수학 벤치마크에서 더 강력한 결과를 달성한 반면, HumanEval에서는 Dream이 여전히 더 우세하다. Qwen2.5 7B과 비교했을 때, iLLaDA는 확산 공식(diffusion formulation)을 사용함에도 불구하고 경쟁력 있는 성능을 보였으며, 표에 보고된 모델들 중 MMLU, BBH, ARC-Challenge, GSM8K에서 가장 우수한 결과를 얻었다.

표 3은 지시어 튜닝(instruction-tuned) 결과를 보고합니다. iLLaDA는 SFT(지도 미세 조정, Supervised Fine-Tuning) 이후 대부분의 벤치마크에서 LLaDA 및 Dream보다 우수한 성능을 지속적으로 유지하며, 특히 GSM8K, MATH, HumanEval에서 개선 효과가 두드러지게 나타납니다. Qwen2.5 7B과 비교했을 때, iLLaDA는 여러 수학 및 코드 벤치마크에서 여전히 뒤처져 있으나, MMLU-Redux에서는 경쟁력 있는 결과를 달성했으며 확산 언어 모델(diffusion language models)과 강력한 자기회귀(autoregressive) 베이스라인 간의 격차를 실질적으로 좁혔습니다. 표 2에서 iLLaDA Base가 이미 Qwen2.5 Base와 대등한 성능을 보이고 있기 때문에, 지시어 설정(instruct setting)에서 남은 격차는 주로 SFT 이후 Qwen2.5에 적용된 추가적인 강화 학습 정렬(reinforcement-learning alignment) 때문인 것으로 판단됩니다. iLLaDA를 위한 강화 학습 정렬은 향후 과제로 남겨둡니다. 평가 세부 사항은 부록 A를 참조하십시오.

3.2 절제 연구 (Ablation Studies)

우선 다지선다형 평가(multiple-choice evaluation)를 위한 점수 산정 규칙(scoring rule)을 절제(ablate)하여 분석하였다. 표 4에 나타난 바와 같이, 신뢰도 기반 점수 산정(confidence-based scoring)은 가능성 기반(likelihood-style) 다지선다형 기본 모델(baseline)보다 일관되게 성능이 향상되었으며, PIQA에서 1.3, ARC-Challenge에서 0.6, HellaSwag에서 2.3의 성능 향상을 보였다. 이러한 결과는 섹션 2.3의 다지선다형 평가에서 신뢰도 기반 점수 산정을 사용하는 근거가 된다.

우리는 SFT(Supervised Fine-tuning, 지도 미세 조정) 기간의 효과를 추가로 연구하였다. 그림 1은 SFT 에포크(epoch) 수가 증가함에 따라 성능이 전반적으로 향상됨을 보여주며, 이는 특히 추론 중심의 벤치마크에서 iLLaDA를 위해 긴 SFT를 사용하는 것이 유효함을 뒷받침한다. 이러한 관찰은 데이터 제약 환경에서의 확산 언어 모델(diffusion language models)에 관한 최근 연구들 [prabhudesai2025diffusion, ni2025diffusion]과 일치한다. 예를 들어, ni2025diffusion는 확산 언어 모델이 10억 개의 고유 토큰을 96 에포크 동안 학습하는 것과 같은 극단적인 반복 사전 학습(pre-training) 설정에서도 지속적으로 개선될 수 있음을 보여준다. 우리의 결과는 SFT에서도 이와 유사한 데이터 재사용 효과(data-reuse effect)가 나타남을 시사하며, 이는 SFT의 지시어 코퍼스(instruction corpus)가 사전 학습 코퍼스보다 훨씬 작고 따라서 실제적인 지시어 튜닝(instruction tuning)에 더 밀접하게 관련되어 있기 때문이다. 계산 자원의 제약으로 인해 우리는 12 SFT 에포크 이상으로 학습을 진행하지 않았다.

표 4: 다중 선택 점수 규칙(Multiple-Choice Scoring Rules)의 절제 연구(Ablation Results) 결과.

Scoring rule PIQA ARC-C Hellaswag Likelihood 77.2 60.2 74.3 Confidence 78.5 60.8 76.6

그림 1: SFT(Supervised Fine-Tuning, 지도 미세 조정) 에포크(epoch) 절제 연구. 우리는 GSM8K, MATH, 그리고 MMLU-Pro 데이터셋에서 SFT 에포크에 따른 iLLaDA의 성능을 평가한다.

4 결론 및 고찰

우리는 처음부터 학습된(trained from scratch) 80억 개의 파라미터를 가진 완전 양방향 확산 언어 모델(fully bidirectional diffusion language model)인 iLLaDA를 제시한다. iLLaDA는 사전 학습(pre-training) 규모를 12조 개의 토큰까지 확장하며, 모델 설계, 학습률 스케줄(learning-rate schedule), 지도 미세 조정(SFT, Supervised Fine-Tuning) 형식, 신뢰도 기반 다중 선택 점수(confidence-based multiple-choice scoring), 그리고 가변 길이 생성(variable-length generation)을 포함한 실질적인 레시피의 여러 부분을 업데이트한다. 또한, 우리는 iLLaDA가 여러 에포크(epoch)에 걸쳐 지도 미세 조정의 혜택을 지속적으로 받는다는 것을 확인했다. 기본 모델(base) 및 지시어 튜닝(instruction-tuned) 평가 전반에 걸쳐, 이러한 변화는 일반, 수학 및 코드 벤치마크에서 LLaDA 대비 상당한 성능 향상을 가져왔으며, 이는 처음부터 수행하는 완전 양방향 확산 학습이 강력한 언어 모델링 성능을 달성할 수 있음을 시사한다.

이 보고서에는 몇 가지 한계점이 남아 있다. 첫째, iLLaDA는 강화 학습(reinforcement learning)을 통한 추가적인 정렬(alignment) 과정을 거치지 않았으며, 이는 iLLaDA-Instruct와 강력한 자기회귀(autoregressive) 지시 이행 모델 사이의 잔여 격차를 설명하는 부분적인 요인이 될 수 있다. VRPO, diffu-GRPO, MDPO, ESPO [zhu2025llada, zhao2025d1, he2025mdpo, ou2025principled]와 같이 마스크드 확산 거대언어모델(masked diffusion LLMs)을 위해 개발된 최근의 강화 학습 방법론들은 iLLaDA에 직접 적용될 수 있으며, iLLaDA의 지시 이행 및 추론 능력을 더욱 향상시킬 가능성이 높다. 둘째, 제한된 연산 자원으로 인해 본 연구는 8B 규모에 국한되어 있으며, 자기회귀 모델과 완전히 대등한 비교를 제공하지 않는다. 대신, 우리는 12T 토큰의 사전 학습(pre-training)에 연산 자원을 할당했다. 강화 학습을 통한 정렬 및 더 큰 규모의 연구는 향후 과제로 남겨둔다.

부록 A 평가 세부 사항

이 부록은 제 3 절의 평가에 대한 추가적인 세부 정보를 제공한다.

iLLaDA-8B-Base의 경우, BBH, GSM8K, MATH, HumanEval, 그리고 MBPP에 대해 개방형 생성(open-ended generation) 방식을 사용한다. BBH, GSM8K, MATH, MBPP의 경우 최대 생성 길이(maximum generation length)를 1024로, 블록 길이(block length)를 32로 설정했다. HumanEval의 경우, 준자기회귀 블록 샘플링(semi-autoregressive block sampling)이 해당 벤치마크의 성능을 저하시키는 것을 확인했기 때문에 최대 생성 길이와 블록 길이를 모두 512로 설정했다.

iLLaDA-8B-Instruct의 경우, 벤치마크별로 특화된 추론 설정을 사용한다. 모델이 단일 정답 기호만 생성하면 되는 MMLU 및 MMLU-Redux의 경우, 최대 생성 길이(maximum generation length)와 블록 길이(block length)를 각각 4/4 및 3/3으로 설정했다. GSM8K 및 HumanEval의 경우, 최대 생성 길이를 2048로, 블록 길이를 32로 설정했다. MMLU-Pro 및 MATH의 경우, 최대 생성 길이를 4096으로, 블록 길이를 32로 설정했다. MBPP의 경우, 최대 생성 길이를 2048으로, 블록 길이를 16으로 설정했다.

iLLaDA-8B-Instruct의 경우, 일부 난도가 높은 문제에서 모델이 "잠시만요, 다시 확인해 보겠습니다(Wait, let me check again)"와 같은 문구를 반복적으로 생성하며 최종 답변을 내놓지 못하는 반복적 추론 루프(repetitive reasoning loops)가 관찰됩니다. 우리는 이러한 현상이 추론 모델(reasoning models)에 의해 생성된 구조화된 사고 과정(structured chain-of-thought traces)을 포함하는 일부 SFT(Supervised Fine-Tuning, 지도 미세 조정) 코퍼스 때문이라고 판단합니다. 이러한 루프를 완화하기 위해, 생성 길이가 길어짐에 따라 우리는 사고 중단 토큰(stop-thinking token)인 를 출력할 확률을 점진적으로 높여, 모델이 사고 과정을 종료하고 최종 답변을 도출하도록 유도합니다.