월드 상태 레지스터(World State Registers)를 활용한 스트리밍 다중 에이전트 자기회귀 확산 모델(Streaming Multi-Agent Autoregressive Diffusion Model)

우리는 Solaris (Savva et al., 2026)의 다중 에이전트 월드 모델(multi-agent world-model) 설정을 채택한다. 여러 에이전트가 공유된 세계 내에서 활동하며, 모델은 과거의 관측과 행동으로부터 각 에이전트의 미래 비디오 스트림을 예측한다. 우리는 생성된 모든 텐서(tensor)에 플레이어 축(player axis)을 추가함으로써 단일 플레이어 잠재 비디오 확산 파이프라인(latent video diffusion pipeline)을 확장한다. 이는 동기화된 다중 에이전트 생성을 위한 조밀한 텐서 설정을 제공한다. $P$개의 에이전트가 있을 때, 단계별 관측과 행동은 각각 $\mathbf{x}^{t}=(\mathbf{x}^{t}_{1},\ldots,\mathbf{x}^{t}_{P})$와 $\mathbf{a}^{t}=(\mathbf{a}^{t}_{1},\ldots,\mathbf{a}^{t}_{P})$이다. $N$개의 잠재 프레임(latent frames)으로 구성된 클립은 $\mathbf{x}\in\mathbb{R}^{P\times N\times H\times W\times C}$를 형성한다. 조건부 입력인 $c$은 첫 번째 프레임의 시각적 임베딩(visual embedding), 마스킹된 첫 번째 프레임의 잠재 변수, 그리고 각 에이전트의 행동 시퀀스를 묶은 것이며, 구체적인 차원은 실험 단계로 미루기로 한다. 각 단계별 목표는 아래 하위 섹션에서 소개한다.

다음으로, 우리는 별도의 에이전트 간 상태 경로(cross-agent state pathway)로서 세계 상태 레지스터(world state registers)를 도입한다. 이 레지스터들은 공유된 세계에 대한 잠재적 정보를 포착하는 학습 가능한 토큰(learnable tokens)이다. 이들은 에이전트들 간에 공유되며, 새로운 프레임이 생성됨에 따라 점진적으로 업데이트된다. 레지스터는 인과적 트랜스포머(causal transformer) 내에서 프레임 토큰과 나란히 존재하므로, 단 한 번의 순전파(forward pass)를 통해 다음 프레임을 노이즈 제거(denoise)하는 동시에 에이전트 간 세계 상태를 갱신할 수 있다. 우리는 또한 레지스터와 프레임 토큰에 별도의 가중치를 할당하면서도, 교차된 시퀀스(interleaved sequence)에 대해 공동 주의(joint attention)를 유지하는 트랜스포머 혼합(Mixture-of-Transformers, MoT) 설계를 사용한다. 상세한 구현 방식은 부록 B.2에 제공된다.

우리 모델은 표준적인 단일 에이전트 사전 학습(single-agent pretraining)을 기반으로 3단계 학습 커리큘럼을 따릅니다. 1단계(양방향 학습, Bidirectional Training)에서는 동기화된 다중 에이전트 클립(multi-agent clips)을 사용하여 멀티 플레이어 교사 모델(multi-player teacher)을 미세 조정(finetuning)합니다. 교사 모델은 전체 시간적 문맥(temporal context)을 보유하며, 양방향 어텐션(bidirectional attention)을 통해 에이전트 간의 장면 구조를 학습합니다. 2단계(인과적 학습, Causal Training)에서는 인과적 어텐션(causal attention)과 레지스터 감독(register supervision)을 적용한 플로우 매칭 목적 함수(flow matching objective)를 지속함으로써, 이 교사 모델을 인과적 학생 모델(causal student)로 변환합니다. 3단계(셀프 포싱, Self-Forcing)에서는 학생 모델이 자신의 예측을 바탕으로 전개(roll out)됩니다. 각 생성된 프레임 이후에 모델은 업데이트된 레지스터를 확정하며, 이 과정에서 프레임 드리프트(frame drift)와 함께 레지스터 드리프트(register drift)가 노출됩니다. 이 단계는 상태 감독(state supervision)을 유지하면서 양방향 교사 모델로부터 DMD 방식의 분포 매칭(distribution matching)을 활용합니다.

1단계(Stage 1)에서는 양방향 및 교차 플레이어 어텐션(cross-player attention)을 통해 모든 플레이어의 잠재 시퀀스(latent sequences)를 공동으로 노이즈를 제거하는 다중 플레이어 양방향 교사 모델(multi-player bidirectional teacher)을 학습시킨다. 이 교사 모델은 공유된 레이아웃, 상대적 플레이어 움직임, 그리고 교차 뷰 일관성(cross-view consistency)을 포함한 동기화된 장면 구조에 대한 전체 시간적 추정치를 제공한다. 우리는 시각적 생성 사전 지식(visual generation prior)을 유지하면서 모델을 동기화된 다중 플레이어 데이터에 적응시키기 위해, 사전 학습된 단일 플레이어 모델로부터 이를 초기화한다. 우리는 이 교사 모델을 속도장(velocity field) $\mathbf{v}_{\theta}(\mathbf{x}_{t},c,t)$를 예측하는 조건부 플로우 매칭(conditional flow matching) 목적 함수를 통해 학습시킨다.

이 단계에서, 우리는 양방향(bidirectional) 방식인 1단계 체크포인트로부터 인과 모델(causal model)을 초기화하고, 위에서 정의된 것과 동일한 플로우 매칭 손실(flow matching loss)을 사용하여 학습을 이어간다. Solaris (Savva et al., 2026) 및 Diffusion Forcing (Chen et al., 2024)을 따라, 우리는 각 플레이어와 잠재 프레임(latent frame)에 대해 독립적인 노이즈 수준을 샘플링하고, 블록 수준의 인과 마스크(block-level causal mask)를 적용하며, 오직 가장 최근의 $W$개 과거 잠재 프레임에 대해서만 슬라이딩 윈도우(sliding window)를 유지한다. 이러한 학습은 학생 모델에게 각 새로운 프레임이 행동 입력(action input)과 과거 프레임에 조건화되는 자기회귀 생성(autoregressive generation) 능력을 부여한다. 그러나 이러한 설계는 국소적 컨텍스트 윈도우(context window)를 넘어서는 세계 모델링(world modeling)을 구축하지 못하며, 따라서 에이전트들 사이에 공유되는 논리적으로 일관된 세계를 유지하지 못할 수 있다.

이 문제를 해결하기 위해, 우리는 국소적 프레임 이력(local frame history)에만 의존하는 대신 세계 상태(world state)를 명시적으로 모델링한다. 세계 상태는 특정 시점에서의 지속적인 정보를 나타내며, 모든 플레이어의 현재 시야에서 보이지 않을 수 있는 전체적인 레이아웃(global layout), 객체 구성(object configuration), 그리고 에이전트 상태(agent status)를 포함한 공유된 장면을 요약한다. 이러한 상태를 롤아웃 단계(rollout steps)를 통해 유지함으로써, 월드 모델(world model)은 에이전트 간의 예측을 동기화하고 논리적으로 일관된 에이전트 간 상호작용을 보존할 수 있다.

실제적으로, 우리는 세계 상태 레지스터(World State Registers, WSR)를 학습 가능한 $K$ 토큰들의 집합 $\mathbf{r}_{i}\in\mathbb{R}^{K\times d}$로 정의한다. WSR을 갖는 월드 모델(World Models)의 스트리밍(Streaming) 메커니즘을 다음과 같이 공식적으로 정의한다.

롤아웃(rollout) 과정에서, 각 레지스터 $\mathbf{r}_{i}$은 컨텍스트 프레임(context frame) $\mathbf{x}_{i}$이 생성된 후 커밋(commit)되며, 이는 다음 컨텍스트 프레임을 조건화하는 프레임 $i$를 통한 상태 요약(state summary) 역할을 수행한다.

Diffusion Forcing (Chen et al., 2024)의 인과적 마스킹(causal masking)에서 영감을 얻어, 우리는 프레임 토큰(frame tokens)과 레지스터 그룹(register groups)을 $[\mathbf{x}_{0},\mathbf{r}_{0},\mathbf{x}_{1},\mathbf{r}_{1},\ldots,\mathbf{x}_{F-1},\mathbf{r}_{F-1}]$과 같이 교차하여 배치한다. 이러한 순서는 상태 수준(state level)에서 롤아웃(rollout)을 인과적으로 만든다. 즉, 확정된 레지스터(committed register)가 다음 프레임보다 앞서며, 프레임은 해당 레지스터를 조건으로 한다. 구체적으로, $\mathbf{r}_{i}$가 $\mathbf{x}_{i+1}$보다 앞서며 이를 조건화하므로, 시퀀스 전반에 걸쳐 상태 업데이트와 프레임 예측이 교대로 진행된다. $W$ 크기의 지역 어텐션 윈도우(local attention window)와 결합하면, 각 레지스터 쿼리(register query)는 자신의 확정 단계에서 끝나는 동일한 지역 컨텍스트 프레임들과 바로 직전의 레지스터를 함께 참조한다. 따라서 $\mathbf{r}_{i}$에 대한 레지스터 쿼리는 그림 2 (C)에 표시된 바와 같이 $[\mathbf{x}_{i-W+1},\ldots,\mathbf{x}_{i}]$ 및 $\mathbf{r}_{i-1}$을 참조한다.

2단계(Stage 2)는 단일 학습 목적 함수(training objective) 내에서 플로우 매칭(flow matching) 손실과 레지스터(register) 감독을 유지합니다. 여기서 플로우 매칭 항은 확정된 레지스터 하에서 인과적 학생 프레임 수준 감독(causal student frame-level supervision)을 제공합니다. 그러나 이 신호만으로는 WSR 경로가 어떤 정보를 유지해야 하는지 명시하지 않습니다. 따라서 우리는 그림 2 (D)에 표시된 바와 같이, 각 확정된 레지스터를 보조 세계 상태 예측(auxiliary world state predictions)으로 근거를 마련합니다. 각 감독 유형 $m\in\mathcal{M}$, 예측 헤드 출력 $h_{m}(\mathbf{r}_{i})$, 동일한 단계 목표 $\mathbf{y}_{i}^{m}$, 그리고 지표 $d_{m}$는 예측, 목표, 그리고 거리 계산을 명시적으로 만듭니다. 본 실험에서 우리는 세 가지 감독 신호를 사용합니다:

1. 1. 에이전트 상태(Agent status). 헤드는 시뮬레이터 상태 벡터(simulator state vector) $\hat{\mathbf{y}}_{i}^{\mathrm{agent}}=h_{\mathrm{agent}}(\mathbf{r}_{i})$를 예측하며, 타겟 $\mathbf{y}_{i}^{\mathrm{agent}}$은 위치, 속도 및 방향(orientation)을 포함한다. 우리는 $d_{\mathrm{agent}}=\|\hat{\mathbf{y}}_{i}^{\mathrm{agent}}-\mathbf{y}_{i}^{\mathrm{agent}}\|_{2}^{2}$를 사용한다.
2. 2. 조감도(Bird’s-eye-view) 지도. 헤드는 정렬된 조감도 타겟 $\mathbf{y}_{i}^{\mathrm{bev}}$에 의해 지도되는 조감도 $\hat{\mathbf{y}}_{i}^{\mathrm{bev}}=h_{\mathrm{bev}}(\mathbf{r}_{i})$을 예측한다. 우리는 $d_{\mathrm{bev}}=1-\cos(\hat{\mathbf{y}}_{i}^{\mathrm{bev}},\phi_{\mathrm{DINOv2}}(\mathbf{y}_{i}^{\mathrm{bev}}))$를 사용하며, 여기서 $\phi_{\mathrm{DINOv2}}$은 고정된 DINOv2 인코더(encoder) (Oquab et al., 2024)를 의미한다.
3. 3. 장면 텍스트(Scene text). 헤드(head)는 토큰 로짓(token logits) $\hat{\mathbf{y}}_{i}^{\mathrm{text}}=h_{\mathrm{text}}(\mathbf{r}_{i})$을 예측하며, 대상 $\mathbf{y}_{i}^{\mathrm{text}}$은 텍스트로 된 장면 묘사(scene description)이다. 우리는 $d_{\mathrm{text}}=\mathrm{CE}(\hat{\mathbf{y}}_{i}^{\mathrm{text}},\mathbf{y}_{i}^{\mathrm{text}})$를 사용한다.

플로우 매칭 손실(flow matching loss)과 더불어, 우리는 다음과 같은 목적 함수(objective)를 통해 학생 모델(student)을 학습시킨다.

여기서 합계는 롤아웃(rollout) 단계와 세 가지 타겟 유형에 대해 범위가 지정되며, 우리는 2단계(Stage 2)에서 $\lambda_{\mathrm{state}}$을 기본적으로 1로 설정합니다. 2단계 목적 함수에서 $\mathcal{L}_{\mathrm{flow}}$은 프레임 생성 플로우 매칭 손실(frame-generation flow matching loss)로 유지되는 반면, $\mathcal{L}_{\mathrm{reg}}$는 확정된 레지스터(committed registers)에 명시적인 상태 타겟을 할당합니다. 예측 헤드(prediction heads)는 훈련 시에만 사용되는 모듈이며 추론 시에는 폐기되므로, 이러한 지도(supervision)는 롤아웃 비용을 변화시키지 않습니다. 우리는 섹션 4.3에서 이러한 지도 유형들을 절제 연구(ablate)합니다.

우리는 추론 롤아웃(inference rollout)을 배포 시 우리 월드 모델(world model)이 사용하는 자기회귀(autoregressive) 절차로 정의한다. 각 단계에서 모델은 현재 프레임의 KV 캐시(KV cache), 가장 최근에 기록된 레지스터(register), 그리고 행동 입력(action input)으로부터 다음 잠재 프레임(latent frame)을 디노이징(denoises)한다. 그 다음, 모델은 생성된 프레임을 캐시에 추가하고, 업데이트된 월드 상태를 요약하기 위해 월드 상태 레지스터를 갱신한다. 알고리즘 3.3은 이러한 추론 롤아웃을 제시하며, 그림 2 (B)는 동일한 프레임 레지스터 루프를 시각화한다.

하지만 Stage 2 모델은 아직 장기적 전개(long-horizon rollout)를 수행할 준비가 되지 않았습니다. 교사 강요(Teacher forcing) 방식은 학생 모델을 실제 정답(ground truth) 기반의 인과적 문맥으로 훈련시키지만, 추론 시에는 모델이 스스로 생성한 프레임과 확정된 레지스터(committed registers)를 사용하기 때문에 프레임 및 상태 오류가 전개 과정 전반에 걸쳐 전파될 수 있습니다. Self-Forcing 방식에 이어, Stage 3에서는 훈련 중에 이러한 전개를 시뮬레이션하고 학생 모델을 스스로 생성한 이력에 노출시킴으로써 이러한 불일치 문제를 해결합니다. 우리는 self-forcing 훈련 루프를, 먼저 학생 모델을 생성된 문맥 프레임과 확정된 레지스터에서 실행한 다음, 그 결과로 나온 깨끗한 예측(clean prediction)에 self-forcing 목적 함수를 적용하는 전개로 정의합니다. 알고리즘 3.3이 이 루프를 요약합니다.

Self-Forcing (Huang et al., 2025)의 DMD 생성기 목적 함수(generator objective)를 적용하여, 우리는 $\epsilon\sim\mathcal{N}(0,I)$를 위해 새로운 노이즈 $\hat{\mathbf{x}}_{t}=(1-t)\hat{\mathbf{x}}_{0}+t\epsilon$을 가하여 롤아웃 예측(rollout prediction)을 교란시키고, 학생 모델(student)을 다음을 통해 학습시킨다.

여기서 $\mathrm{sg}(\cdot)$은 스톱 그래디언트(stop gradient)를 의미하며, $s_{\mathrm{real}}$은 스테이지 1의 교사 모델(teacher)로부터 초기화된 고정된 스코어 네트워크(frozen score network)이고, $s_{\mathrm{fake}}$는 학생 롤아웃(student rollouts)에 대한 학습 가능한 비평가(trainable critic)입니다. 프레임 $\mathbf{x}_{i}$이 롤아웃 중에 $\mathbf{r}_{i}$을 커밋하기 때문에, 스테이지 3은 완료된 컨텍스트 프레임의 세계 상태(world states)를 인코딩하는 레지스터들에 대해 동일한 레지스터 손실(register loss)을 재사용합니다.

우리는 마찬가지로 3단계(Stage 3)에서 $\lambda_{\mathrm{state}}$을 기본적으로 1로 설정한다. 실제 적용 시, 우리는 Solaris (Savva et al., 2026)을 따라 $1000\to 750\to 500\to 250\to 0$ 타임스텝(timesteps)을 가진 4단계 디노이징 스케줄(denoising schedule)을 사용하며, 확률적 경사 절단(stochastic gradient truncation)을 위해 롤아웃(rollout) 과정 중 초기 종료 디노이징 단계를 샘플링한다. 이 단계에서 우리는 DMD 손실(DMD loss)만으로는 안정성을 개선하기에 충분하지 않다는 것을 발견했는데, 이는 WSR 모델링 또한 드리프트(drift) 현상을 겪기 때문이다. 따라서 우리는 2단계(Stage 2)에 비해 선택된 헤드당 레지스터 감독 가중치(per-head register supervision weights)를 높였으며, 이는 더 나은 레지스터를 학습하고 긴 호라이즌(long horizon) 롤아웃을 안정화하는 데 도움이 된다.

훈련 데이터. 우리는 SolarisEngine (Savva et al., 2026)에 기반한 데이터 수집 파이프라인을 구축하였다. 우리는 광범위한 에이전트 상태 정보(agent status information)와 추가적인 조감도(bird’s-eye view) 카메라 영상을 포함하는 약 126시간 분량의 동기화된 2인용 영상을 수집하였다. 또한, Qwen2.5-VL-72B-Instruct (Bai et al., 2025)을 사용하여 각 4프레임 클립의 장면 텍스트(scene text)를 추가로 주석(annotate) 처리하였다. 상세한 데이터 수집 및 주석 과정은 부록 A에 제공된다.

평가. 본 연구에서는 Solaris 원본 테스트 세트(original test split) (Savva et al., 2026)를 사용하여 모델을 평가한다. 각 클립에 대해, 모델은 두 플레이어의 첫 번째 프레임 관측값(observations)과 전체 행동 시퀀스(action sequences)를 입력받은 후, 나머지 롤아웃(rollout)을 생성한다. 우리는 각 평가 범주에 대해 VLM 정확도(VLM accuracy)와 FID(Frechet Inception Distance)를 보고한다. VLM 정확도는 생성된 비디오가 상대적 물체 위치 및 플레이어 간 일관성(cross-player consistency)과 같은 질의된 세계 관계(world relation)를 유지하는지 측정하며, FID는 시각적 사실성(visual realism)과 분포 충실도(distributional fidelity)를 측정한다. 이 두 축을 어느 하나를 대체하지 않고 요약하기 위해, 우리는 보조적인 세계 점수(world score)를 함께 보고한다.

여기서 $K=5$. 본 연구에서는 VLM(Vision-Language Model, 시각-언어 모델) 정확도를 퍼센트 포인트(percentage points)로 보고하며, 가독성을 위해 비율에 100을 곱한다. WorldScore는 상한이 없고 FID(Fréchet Inception Distance)의 척도에 민감하게 반응하기 때문에, 이를 보조적인 순위 지표(auxiliary ranking metric)로만 사용한다. VLM 정확도와 FID가 주요 지표로 유지된다.

우리는 우리의 WorldWeaver 다중 에이전트 세계 모델(multi-agent world model)을 다음과 같은 베이스라인(baselines)과 비교한다: (1) Frame concat: Multiverse (team, 2025)를 따라 두 플레이어의 관측값(observations)을 채널 차원(channel dimension)을 따라 연결하는 세계 모델입니다. (2) Solaris (Savva et al., 2026): 프레임 토큰(frame tokens)의 시퀀스를 확장하고 플레이어 간 양방향 어텐션(bidirectional attention)을 사용하여 다중 에이전트 관측값을 동기화하는 다중 에이전트 세계 모델입니다. 공정한 비교를 위해, 우리는 Solaris 모델을 우리 모델과 동일한 훈련 데이터로 재학습시켰습니다.

표 1에 나타난 바와 같이, WorldWeaver는 통합 월드 점수(aggregate world score)를 105.1로 개선하며 이전 최고 기록을 큰 차이로 경신했습니다. VLM(시각-언어 모델) 정확도의 향상은 상태 민감형(state-sensitive) 범주에서 가장 두드러지게 나타났습니다. Solaris 베이스라인과 비교했을 때, 그라운딩(Grounding)은 81.3에서 93.8로, 빌딩(Building)은 9.4에서 28.1로, 일관성(Consistency)은 57.8에서 76.6으로 상승했습니다. 이러한 향상은 지속성 레지스터(persistent registers)가 시각적 충실도(visual fidelity)를 높이는 것 이상의 역할을 수행함을 시사합니다. 즉, 이는 모델이 플레이어와 롤아웃 단계(rollout steps) 전반에 걸쳐 논리적으로 일관되고 검증 가능한 월드 모델(world model)을 유지하도록 돕는 것입니다.

그림 3은 에이전트 통계(agent statistics), 조감도(bird’s-eye-view) 지도, 장면 텍스트(scene text)를 포함하여 디코딩된 세계 상태와 함께 생성된 세계를 시각화합니다. 에이전트 통계의 경우, 우리는 위치와 궤적(trajectories)을 선택적으로 시각화합니다. 조감도 지도의 경우, 예측된 DINOv2 (Oquab et al., 2024) 특징을 RGB 이미지로 투영하기 위해 PCA(주성분 분석)를 사용합니다. WSR 롤아웃(rollout)은 WorldWeaver가 논리적으로 일관된 세계를 생성하고 에이전트 간 정보를 더 잘 동기화할 수 있게 합니다. 또한, WSR은 각으로 생성된 청크(chunk)가 나타내는 상태를 점검하는 더 해석 가능한 방식을 제공합니다.

핵심적인 문제는 세계 상태 레지스터(world state registers)를 어떻게 감독할 것인가뿐만 아니라, 왜 명시적인 감독이 필요한가 하는 점이다. 이상적으로는, 레지스터가 확산 손실(diffusion loss)만으로도 에이전트 특화 상태와 전역 장면 정보를 모두 학습할 수 있어야 한다. 그러나 실제로는 이 신호가 어떤 정보를 세계 상태로 저장해야 하는지 명시하지 않는다. 따라서 우리는 레지스터가 의미 있고 유용한 세계 상태 정보를 인코딩하도록 유도하는 보완적인 감독 신호를 추가한다.

우리는 세계 상태 레지스터(world state registers)가 국소적 역학(local dynamics), 전역 기하학(global geometry), 그리고 교차 모달 의미론(cross-modal semantics)을 인코딩해야 한다는 가설을 세운다. 따라서 우리는 세 가지 감독 유형을 다음과 같이 구현한다. (1) 개별 상태 감독(individual-state supervision)의 경우, 레지스터는 각 플레이어의 위치, 속도 및 방향을 포함한 에이전트 통계(agent statistics)를 예측한다. 이러한 목표는 레지스터에 에이전트별 명시적인 좌표 신호를 제공하며, 이를 통해 지속적인 상태가 각 플레이어에 대한 검증 가능한 운동 정보를 포함하고 있는지 테스트할 수 있게 한다. (2) 전역 3D 감독(global 3D supervision)을 위해, 우리는 외부 중심적 관점(allocentric viewpoint)에서 장면 레이아웃과 객체 분포를 노출하는 조감도(bird’s-eye view)를 사용한다. 이 신호는 레지스터가 현재 프레임에서 보이는 자기중심적(egocentric) 증거뿐만 아니라, 두 플레이어가 공유하는 공간 구조를 유지하도록 요구한다. (3) 전역 교차 모달 감독(global cross-modal supervision)을 위해, 우리는 현재 프레임의 시각적 상태를 언어로 설명하는 장면 텍스트(scene text)를 부착한다. 이 목표는 국소적 역학 및 전역 기하학을 보완하며, 레지스터가 롤아웃(rollouts) 전반에 걸쳐 범주, 속성 및 고차원 콘텐츠를 유지하도록 요구한다.

Solaris (Savva et al., 2026) 베이스라인에서 시작하여, 우리는 먼저 명시적인 감독 없이 레지스터(registers)를 활성화하고, 그 다음 각 신호를 추가한 뒤, 마지막으로 표 2에 보고된 바와 같이 결합된 설정을 평가합니다. 다른 모든 하이퍼파라미터(hyperparameters)는 섹션 4.1의 기본값을 유지합니다. 먼저, 레지스터만으로도 이미 도움이 된다는 점을 관찰할 수 있습니다. 명시적인 상태 목표(state target)가 없을 때, 월드 스코어(world score)는 81.0에서 93.8로 향상됩니다. 우리는 이러한 이득이 레지스터가 지속적인 월드 상태(persistent world state)를 암묵적으로 구축하기 때문이라고 봅니다. 왜냐하면 레지스터는 매 단계마다 로컬 윈도우(local window)에서 정보를 재계산하는 대신, 에이전트 간 정보를 전달하기 위한 전용 슬롯을 제공하기 때문입니다.

그러나 세계 상태(world-state) 목표를 명시적으로 모델링하는 것은 베이스라인(baseline)과 비교하여 성능을 더욱 향상시킬 수 있습니다. 세 가지 지도 학습(supervised) 변형 모델 모두가 베이스라인(81.0)을 능가하는데, 이는 이 모델들이 레지스터(registers)가 무엇을 인코딩해야 하는지, 그리고 롤아웃 단계(rollout steps) 전반에 걸쳐 어떻게 검증 가능하게 유지되어야 하는지를 명시하기 때문입니다. 반면, 베이스라인은 이러한 선택을 전적으로 픽셀 손실(pixel loss)에 맡깁니다. 우리는 단일 지도 신호 중 장면 텍스트(scene text)가 가장 큰 도움이 되며, 세계 점수(world score)를 103.2까지 높인다는 것을 확인했습니다. 세 가지 신호를 모두 결합하면 세계 점수가 93.8에서 105.1로 더욱 상승하며, 평균 VLM 정확도는 높아지고 평균 FID는 낮아집니다. 이러한 결과는 우리의 가설을 뒷받침하며, 멀티 에이전트 세계 모델(multi-agent world model) 설정에서 세계 상태 레지스터를 활성화하는 것의 중요성을 강조합니다.

최근의 멀티모달 생성(multimodal generation) (Mo et al., 2025) 연구들에 기반하여, 우리는 아키텍처를 서로 다른 토큰 역할 간의 충돌이 발생하는 잠재적 원인으로 간주한다. 이론적으로 밀집 트랜스포머(dense transformer)는 픽셀 컨텍스트 프레임(pixel context frames)을 렌더링하고 정확한 세계 상태 레지스터(world state registers)를 생성하는 데 동일한 파라미터를 사용할 수 있다. 그러나 레지스터 토큰은 세계에 대한 은닉된 정보를 나타내기 위한 것이고, 프레임 토큰은 주로 국소적인 시각 정보를 전달한다. 레지스터가 더 풍부한 상태 정보를 인코딩하게 되면 이러한 기능적 차이를 조절하기가 더 어려워진다. 우리는 레지스터와 프레임 토큰을 처리할 때 별도의 양식 특화 가중치(modality-specific weights)를 사용하되, 공유된 어텐션 메커니즘(shared attention mechanism)을 통해 이들이 상호작용할 수 있도록 하는 MoT 설계를 따른다.

표 3은 명시적인 지도(explicit supervision)가 없는 레지스터(registers)를 사용하는 경우와 장면 텍스트(scene text) 지도를 사용하는 레지스터를 사용하는 경우라는 두 가지 설정에서 밀집(dense) 백본과 MoT(Mixture-of-Transformers) 백본을 비교합니다. 결과에 따르면 MoT가 자동으로 유리한 것은 아닙니다. 명시적인 지도가 없을 때, MoT는 밀집 백본보다 통합 월드 점수(aggregate world score)를 개선하지 못합니다. 장면 텍스트 지도가 주어지면 양상은 달라집니다. 밀집 모델은 월드 점수가 91.3으로 떨어지는 반면, MoT는 103.2에 도달합니다. 이러한 대비는 월드 상태 레지스터(world state registers)의 더 풍부한 의미론적 표현(semantic representations)을 시각적 토큰(visual tokens)과 동일한 파라미터화(parameterization)로 처리하기가 더 어렵다는 것을 시사합니다. 따라서 레지스터가 뚜렷한 의미론적 월드 상태를 보유할 때, 레지스터와 프레임(frame) 연산을 분리하는 것이 유용해집니다.

또한, 우리는 3단계(Stage 3) 학습 과정에서 MoT 모델의 학습 역학(training dynamics)을 조사한다. 가중치 파라미터(weight parameters)를 분리함으로써 더욱 제어된 학습 프로세스를 구현할 수 있다. 실험 결과, 3단계 학습에서 레지스터 손실(register loss)은 DMD 증류 손실(DMD distillation loss)보다 더 느리게 수렴하며, 레지스터 손실은 주로 레지스터 트랜스포머(register transformer)를 업데이트하고 DMD 증류 손실은 주로 시각 트랜스포머(visual transformer)를 업데이트한다는 것을 확인했다. 따라서 1500 스텝 이후에는 분리된 학습률(LR) 스케줄을 적용하며, 3단계 학습 동안 시각 트랜스포머의 가중치 파라미터는 동결(freeze)하고 레지스터 트랜스포머의 가중치 파라미터만 업데이트한다. 그림 4에서 보듯이, 평균 VLM 정확도는 63.8에서 68.1로 향상된다. 이 결과는 WSR 기반의 다중 에이전트 월드 모델링(multi-agent world modeling)에서 MoT가 중요하다는 것을 시사한다.

이 파이프라인이 완전하게 계측된(fully instrumented) 시뮬레이터 데이터를 넘어 더 실제적인 세계 모델링(world modeling)으로 확장될 수 있는지는 자연스러운 의문이다. 에이전트 상태(agent stats)나 조감도 지도(bird’s-eye-view maps)와 같은 명시적인 세계 상태 주석(world-state annotations)이 포함된 실제 세계 데이터를 수집하는 것은 여전히 어려운 과제이다. 따라서 우리는 준지도 학습(semi-supervised) 설정을 채택한다. 즉, 조감도 지도가 포함된 클립은 라벨이 지정된 것으로, 그렇지 않은 클립은 라벨이 없는 것으로 간주한다. 이러한 설정은 원시 비디오(raw videos)는 풍부하지만 명시적인 세계 상태 라벨은 제한적인 미래의 실제 데이터 체계(data regimes)를 위한 대리 지표(proxy) 역할을 한다.

실험 설정에서 우리는 레이블이 지정된 데이터 세트(labeled set)를 1,000개의 비디오 클립으로 고정하고, 레이블이 없는 비디오 클립(unlabeled video clips)의 양을 점진적으로 늘렸다. 레이블이 있는 샘플은 확산 손실(diffusion loss)과 레지스터 감독 손실(register supervision losses)을 모두 받으며, 레이블이 없는 샘플은 확산 목적 함수(diffusion objective)만을 통해 비디오 생성기(video generator)를 학습시킨다. 우리는 조류의 눈 시점(bird’s-eye view) 감독을 적용하며, 2단계(Stage-2) 학습 길이를 제외하고 기본 학습 하이퍼파라미터(hyperparameters)를 사용한다. 이때 레이블 데이터에 대한 과적합(overfitting)을 방지하기 위해 2단계 학습 길이는 60,000단계 대신 20,000단계를 사용한다. 표 4을 보면, 레이블이 없는 데이터를 추가함에 따라 전체 월드 점수(aggregate world score)가 레이블이 없는 데이터가 없을 때의 63.2에서 5,000개의 레이블 없는 클립이 있을 때 82.3으로, 10,000개의 레이블 없는 클립이 있을 때 90.3으로 향상됨을 알 수 있다. 우리는 표 전반에 걸쳐 VLM(시각-언어 모델) 정확도와 FID(프레임워크 내의 이미지 품질 지표) 모두에서 일관된 개선을 관찰하였으며, 이는 소규모의 감독 학습 데이터 세트가 레지스터(registers) 내에 숨겨진 월드 상태(hidden world state)를 고정해 줄 때, 레이블이 없는 롤아웃(rollout) 데이터가 여전히 생성 품질을 향상시킬 수 있음을 시사한다. 전반적으로, 우리의 접근 방식은 명시적인 월드 상태 레이블을 수집하기 어려운 환경에서 유망한 방향을 제시한다.