비디오 게임 품질 보증(QA)에서 자율 에이전트 기반의 기하학적 클리핑(Geometry Clipping) 감지를 위한 시각-언어 모델(VLM) 평가

Abstract

본 연구에서는 기하학적 클리핑(geometry clipping)에 초점을 맞춘 에이전트 기반 게임 품질 보증(Quality Assurance, QA) 파이프라인에서 시각-언어 모델(Vision-Language Models, VLMs)의 활용을 연구한다. 본 평가에서 맞춤형 탐색 에이전트는 게임 레벨을 이동하며 시각적 관측 데이터를 수집하고, 자동화된 주석 파이프라인은 프레임 단위의 클리핑 라벨을 제공한다. 이러한 구성은 수동 주석 작업 없이 통제된 이상 탐지(anomaly detection) 과제에서 최신 VLMs를 평가할 수 있게 한다. 우리는 제로샷 프롬프팅(zero-shot prompting) 설정 하에서 6종의 최신 VLMs(Gemini, GPT, Qwen, Gemma, Llama, Ministral)를 벤치마킹하고, 4가지 프롬프트 변형에 대한 모델들의 민감도를 분석한다.

연구 결과에 따르면, 시각-언어 모델(VLMs)은 기하학적 클리핑(geometry clipping)과 관련된 시각적 단서를 포착할 수 있지만, 근접 접촉 기하학(near-contact geometry)이나 부분적 폐쇄(partial occlusions)와 같이 시각적으로 모호한 프레임에서는 모두 상당한 양성 오류(false positives)를 생성하는 것으로 나타났다. Gemini-3.1-Flash는 가장 우수한 전반적 정확도를 기록했으며 프롬프트 변화에 가장 강건(robust)한 성능을 보인 반면, 오픈 소스 모델들은 프롬프트 설계에 따라 정밀도-재현율(precision–recall)의 변동 폭이 크게 나타났다. 이러한 결과는 현재의 VLMs가 단독 버그 탐지기보다는 다단계 질의응답(QA) 파이프라인 내에서 재현율이 높은 후보 필터로 활용되는 것이 가장 적합함을 시사한다.

I Introduction

품질 보증(QA, Quality Assurance)은 현대 비디오 게임 개발에서 가장 중요한 과제 중 하나로, 복잡한 상호작용 시스템이 다양한 시나리오에서 의도한 대로 작동하도록 보장하는 역할을 합니다. 그러나 게임의 규모와 복잡성이 커짐에 따라, 모든 요소를 수동으로 테스트하는 것은 점점 더 어렵고 시간이 많이 소요되는 작업이 되고 있습니다. 게임은 가능한 상태의 조합 폭발(combinatorial explosion)을 특징으로 하기 때문에, 출시 전에 모든 잠재적 문제를 찾아내는 것이 어렵습니다. 그 결과, 시각적 이상 현상(예: 렌더링 아티팩트, 누락된 오브젝트, 클리핑 또는 경계 이탈)이 출시된 제품에 그대로 남아 사용자 경험에 부정적인 영향을 미치고 출시 후 유지보수 비용을 증가시키는 경우가 많습니다. 이러한 확장성 문제를 해결하기 위해, 인간의 개입을 최소화하면서 게임 환경을 탐색할 수 있는 게임 플레이 에이전트(game playing agents)가 활발하게 개발되고 있습니다 [1, 2, 3, 4, 5]. 이러한 에이전트는 대규모 상태 공간을 가로지를 수 있으며, 확장 가능하거나 목표 지향적인 탐색을 통해 수동 QA보다 더 넓은 테스트 범위를 확보할 수 있게 하지만, 에이전트 그 자체만으로는 QA의 핵심 요소인 버그 탐지를 해결해 주지는 못합니다.

기존의 학습 기반 비디오 게임 버그 탐지 방식은 프레임 시퀀스로부터의 시계열 이상 탐지(temporal anomaly detection)와 라벨링되거나 합성된 예시로 학습된 지도 학습(supervised) 모델을 탐구해 왔다 [6, 7]. 그러나 이러한 방식들은 종종 게임별 데이터나 소규모 지도 학습 데이터셋에 의존하기 때문에, 다양한 시각적 스타일 전반에 걸쳐 일반화하는 능력이 제한될 수 있다. 더욱이, 게임별 버그 라벨을 확보하는 것이 어렵기 때문에 지도 학습 방식은 실제 적용이 어려울 수 있다. 최근의 시각-언어 모델(Vision-Language Models, VLMs)의 발전은 시각적 이해와 자연어 추론을 결합함으로써 유망한 대안을 제시한다 [8]. VLMs는 방대한 학습 데이터셋으로부터 학습하고 추론 시점의 문맥(inference-time context)을 활용함으로써 다양한 환경에서의 일반화를 가능하게 한다. VLMs가 자동화된 게임 품질 보증(QA)에서 유망함을 보여주고 있음에도 불구하고, 최근의 VLM 중심 벤치마크는 현재의 모델들이 특정 유형의 버그를 탐지하는 데 어려움을 겪고 있음을 나타낸다 [9, 10, 11]. 최근의 노력에도 불구하고, 실제 게임 QA를 위해 이들의 기존 역량을 어떻게 가장 잘 활용할 수 있을지는 아직 명확하지 않다.

그림 1: 클리핑 버그(clipping bugs)의 예시(오른쪽)와 그와 관련된 객체 ID(object ID) 및 클리핑 주석 마스크(clipping annotation masks)가 중첩된 시각화 자료(왼쪽).

본 연구의 주요 동기는 범용 시각-언어 모델(VLM, Vision-Language Models)을 활용한 자동화된 에이전트 기반의 비디오 게임 이상 탐지(anomaly detection)가 도메인 특화 학습 없이도 자동화된 게임 품질 보증(QA)을 위한 효과적이고 확장 가능한 솔루션이 될 수 있는지 조사하는 것이다. 우리는 그림 1에 나타난 바와 같이, 기하학적 클리핑(geometry clipping) 이상을 도전적이지만 대표적인 문제로 설정하여 집중한다. 본 연구의 기여도는 (i) 자율 탐색과 VLM 기반 이상 탐지를 통합하는 엔드투엔드(end-to-end) 파이프라인을 구축한 것, 그리고 (ii) 프롬프트 민감도 및 실패 모드(failure modes) 분석을 포함하여 이 과업에 대한 최첨단 폐쇄형 및 오픈소스 VLM을 대상으로 한 체계적인 평가를 수행한 것이다.

II 실험 설정

우리가 제안하는 게임 레벨 테스트 에이전트(agent)는 두 가지 주요 구성 요소로 기반을 둡니다. 첫째는 게임 월드의 커버리지를 최대화하기 위해 에이전트의 이동을 제어하는 탐색(exploration) 구성 요소이며(섹션 II-A), 둘째는 수집된 데이터를 처리하여 버그나 이상 현상을 감지하는 시각-언어 모델(VLM, Vision-Language Models) 기반의 탐지 구성 요소입니다. 이 두 구성 요소/에이전트가 게임 레벨과 상호작용하는 방식은 그림 2에 도식화되어 있습니다.

그림 2: 시스템 구조(System architecture).

본 연구에서 제시하는 시스템과 실험은 고도 엔진(Godot Engine)의 오픈 소스 자산, 구체적으로는 고도 제3인칭 슈팅(Godot Third-Person Shooter) 데모 프로젝트 ⟦1 1 1⟧ https://godotengine.org/asset-library/asset/678를 사용한다. 우리는 실험을 지원하기 위해 이 프로젝트를 소폭 수정하였다.

II-A 탐색 에이전트(Exploration Agent)

이 시스템의 목적은 에이전트(agent)가 환경을 탐색하고 게임 오브젝트(game objects)와 상호작용하면서, 레벨의 모든 도달 가능한 영역을 효율적으로 훑을 수 있도록 하는 것이다. 이는 인간 테스터가 균형 있게 완벽하게 수행하기 어려운 작업이다. 이 시스템은 캐릭터를 제어하는 두 단계의 추상화(abstraction) 수준으로 구성된다.

저수준 제어(Low-level control): 확률적 개루프 정책(stochastic open-loop policy)이 에이전트의 움직임을 제어하며, 이를 통해 탐색적 행동과 주변 엔티티(entity)와의 상호작용을 가능하게 한다.

상위 관리자(High-level manager): 이 구성 요소는 정보 획득을 최대화하는 것을 목표로, 주어진 시간 지평(time horizon) 내에서 탐색할 다음 영역을 결정한다. 이러한 관리자는 [1, 12]에서 영감을 얻었다. 우리는 게임의 개발 단계 동안 유효한 [1]의 탐색 에이전트(exploration agents)가 가진 가정과 목적 함수를 따르되, 확장성(scalability)을 유지하기 위해 [12]에서 제안된 지도 표현(map representations)을 사용한다.

II-B 버그 생성 및 주석(Annotation)

[13]에서 영감을 얻어, 우리는 수동적이고 확장성이 낮은 레이블링 방식을 대체하기 위해 수정된 Godot 4 엔진 기반의 자동화된 주석(annotation) 파이프라인을 구축하였다.

기하학적 클리핑(Geometry Clipping): 이 흔한 오류는 겉보기에 고체인 물체의 메쉬(mesh)가 시각적으로 서로 교차할 때 발생한다. 우리의 파이프라인은 셰이더(shader)를 사용하여 각 프레임에서 시각적으로 드러나는 버그 영역의 이진 마스크(binary masks)를 생성한다. 그림 1에서 볼 수 있듯이, 마스크는 클리핑 사례에서 교차하는 물체들 사이의 경계를 표시한다. 본 연구에서는 실제 개발 환경에서 버그로 간주될 수 있는 보다 심각한 사례들에 집중한다. 우리의 셰이더 설정은 모든 시각적인 기하학적 클리핑 경계를 감지하기 때문에, 일반적으로 버그로 간주되지 않는 미세하거나 가짜(spurious)인 발생 사례를 제거하기 위해 추가적인 필터링을 적용한다. 우리는 어노테이션 마스크 영역으로부터 프레임 단위의 클리핑 라벨을 계산하며, 인지하기에 너무 작은 교차는 제외하도록 임계값(threshold)을 적용한다.

II-C 데이터셋 (Dataset)

제안된 테스트 시스템은 철저한 탐색과 지속적인 이상 탐지(anomaly detection)를 위해 설계되었으나, 본 실험 설정에서는 더 균형 잡히면서도 다양한 데이터셋을 확보하기 위해 탐색 에이전트(exploration agent)가 수집한 데이터를 나중에 다운샘플링(downsampled)하여 사용한다. 이를 위해, 우리는 일부 객체에 대해 콜라이더(colliders)를 무작위로 활성화하거나 비활성화하면서 탐색 에이전트를 실행하고, 6 Hz의 빈도로 프레임을 샘플링한다. 그 다음, 에이전트가 생성한 지도를 사용하여 중복된 프레임을 제거한다. 즉, 이산화된(discretised) 각 위치에 대해, 정상 프레임은 하나만 유지하고 이상(클리핑, clipping) 프레임은 존재하는 경우 모두 유지한다. 이 과정을 통해 최종적으로 2,420개의 정상 프레임과 클리핑 버그가 포함된 516개의 프레임으로 구성된 데이터셋을 얻는다.

글리치(glitch, 클리핑)를 탐지하는 시각-언어 모델(VLMs)의 성능을 보다 정밀하게 분석하기 위해, 우리는 일반 프레임(normal frames)을 수동으로 검토하여 두 개의 하위 집합으로 분류했다: 500개의 쉬운 예시(easy examples)와 500개의 어려운 예시(hard examples)이다. 쉬운 하위 집합은 시각적으로 모호함이 없으며, 클리핑이나 기타 아티팩트(artifacts)의 징후가 전혀 나타나지 않는 일반 프레임을 포함한다. 어려운 하위 집합은 클리핑 오류를 포함하지 않는 일반 프레임이지만, 조명, 물체의 배치, 가려짐(occlusion) 또는 로봇의 포즈(pose)와 같은 요인으로 인해 모호하게 보일 수 있으며, 이는 인간 검토자에게도 혼란을 줄 수 있는 사례들이다. 또한, 선택 편향(selection bias)을 제거하기 위해, 2,420개의 일반 프레임 풀에서 무작위로 500개의 일반 프레임을 선택한 집합도 함께 고려한다.

표 I: 다양한 일반 프레임 분할(normal-frame splits) 및 프롬프트 변형(prompt variants)에 따른 프레임 단위 글리치(glitch) 검출 결과(%). 일반 프롬프트(generic prompt)의 경우, 분할 간에 동일한 버그 프레임이 나타나므로 재현율(Recall)은 고정되어 있다.

	Generic Prompt							Prompt Sensitivity (Random Split)
		Easy		Hard		Random		Specific		Stepwise		Context
Model	Rec.	Acc.	Prec.	Acc.	Prec.	Acc.	Prec.	Rec.	Prec.	Rec.	Prec.	Rec.	Prec.
Qwen3-VL	65.8	76.0	82.7	52.3	51.8	60.7	59.7	50.4	69.8	95.6	50.2	38.6	61.1
Gemma-4	86.0	76.2	71.9	51.6	50.9	61.0	57.3	84.8	65.8	80.8	66.2	17.8	89.9
Ministral-3	84.4	77.0	73.5	58.2	55.4	67.7	63.3	97.2	50.0	98.2	49.8	97.6	50.1
Llama-4 Scout	68.2	80.8	91.2	55.8	54.6	67.4	67.1	88.6	57.6	99.6	50.7	39.8	63.8
Gemini-3.1 Flash	82.0	85.0	87.2	60.7	57.5	71.6	67.9	91.4	68.3	92.4	67.2	94.0	65.6
GPT-5.5	74.0	80.4	84.9	55.4	53.9	65.6	63.4	53.8	71.2	39.4	71.1	25.6	76.6

III 결과 및 고찰

우리는 폐쇄형 및 오픈소스 모델 제품군을 아우르는 6개의 시각-언어 모델(VLM, Vision-Language Models)을 평가한다. 폐쇄형 모델은 Gemini-3.1-Flash-Lite-Preview와 OpenAI GPT-5.5이다. 오픈소스 모델은 Qwen3-VL-30B-A3B-Instruct-GGUF, Gemma-4-31B-it-GGUF, Llama-4-Scout-17B-16E-Instruct, 그리고 Ministral-3-14B-Instruct-2512-GGUF이다. 오픈소스 모델들은 Unsloth 프레임워크를 사용하여 구현되었다. 모든 모델은 이전 연구 [10, 11]을 따른 일반적인 결함 탐지(glitch-detection) 프롬프트를 사용하여 제로샷(zero-shot) 설정으로 질의된다. 또한, 보고된 결과가 단일 프롬프트 구성에 국한되지 않도록 섹션 III-C에 기술된 세 가지의 대안 프롬프트 세트를 평가한다.

III-A 평가 프로토콜(Evaluation Protocol)

Section II-C에서 설명된 세 개의 일반 프레임(normal-frame) 하위 집합을 사용하여, 각 하위 집합을 동일한 500개의 버그 프레임(bug frames)과 쌍을 짓고 버그 클래스를 양성(positive)으로 처리함으로써 균형 잡힌 500–500 분할을 구성한다. 사용된 프롬프트(prompt)에 대한 민감도를 평가하기 위해, 우리는 네 가지 프롬프트 변형을 평가한다: 시각적 이상을 표시하도록 모델에 요청하는 일반적인 글리치(glitch) 프롬프트, 과업을 기하학적 교차(geometry intersection)로 좁히는 특정 클리핑(clipping) 프롬프트, 분류하기 전에 장면을 묘사하도록 요청하는 단계별 분석(stepwise analysis) 프롬프트, 그리고 게임 맥락 정보와 예시를 추가하는 특정 플러스 컨텍스트(specific plus context) 프롬프트이다.

표 I은 균형 잡힌 프레임 수준(frame-level) 탐지 결과를 요약한다. 왼쪽 열은 Easy, Hard, Random 분할(split)에 걸친 일반 프롬프트(generic prompt)의 정확도(accuracy), 정밀도(precision), 재현율(recall)을 나타낸다. 각 분할에서 동일한 500개의 버그 프레임(bug frames)이 사용되기 때문에, 특정 모델에 대한 재현율은 고정된다. 따라서 분할 간의 차이는 정상 프레임(normal-frame) 하위 집합과 그에 따른 거짓 양성(false positives) 수의 변화를 반영한다. 오른쪽 열은 Random 분할에서 나머지 프롬프트 변형(prompt variants)에 대한 정밀도와 재현율을 나타낸다.

III-B 일반 프롬프트(Generic Prompt)를 고려한 탐지 성능

(a) 쉬운 분할 (Easy split)

(b) 하드 스플릿(Hard split)

그림 3: 쉬움(easy) 및 어려움(hard) 분할 데이터셋에서 추출한 일반 프레임의 예시. 쉬운 프레임(a)은 캐릭터가 주변에 기하학적 구조(geometry)가 없는 개방된 공간에 위치하며, 클리핑(clipping) 현상이 전혀 없는 상태를 보여준다. 어려운 프레임(b)은 캐릭터가 벽과 모서리 근처에 위치하여 시각적 모호성을 유발하며, 이는 시각-언어 모델(VLMs)이 빈번하게 클리핑으로 오분류하는 사례를 보여준다.

부정적인 사례가 시각적으로 명확하게 구분되는 쉬운 분할(easy split) 데이터셋(그림 3(a))에서 모든 모델은 가장 우수한 성능을 기록했다. Gemini는 $85.0\%$의 정확도(accuracy)와 $87.2\%$의 정밀도(precision)로 선두를 차지했으며, Llama는 낮은 재현율(recall, $68.2\%$)을 감수하면서도 가장 높은 정밀도($91.2\%$)를 달성했다. 반대로, Gemma와 Ministral은 모두 $84\%$ 이상의 재현율을 기록했으나, 상대적으로 낮은 정밀도(각각 $71.9\%$ 및 $73.5\%$)를 보였다. 이러한 결과는 정상 프레임이 오류가 있는 프레임과 시각적으로 뚜렷하게 구분될 때, 시각-언어 모델(VLMs)이 클리핑(clipping)을 신뢰성 있게 감지할 수 있음을 확인해 준다.

하드 스플릿(hard split)에서 성능이 대폭 저하된다. 이 프레임들에는 정답(ground-truth) 클리핑이 포함되어 있지 않지만, 객체 경계 근처에 위치한 캐릭터, 부분적 폐쇄(partial occlusions), 또는 교차 기하학(intersection geometry)과 시각적으로 유사한 좁은 카메라 각도가 특징적으로 나타난다(그림 3(b)). 모든 모델의 정밀도(precision)가 현저하게 떨어지는데, $87.2\%$에서 $57.5\%$ 사이의 Gemini, $91.2\%$에서 $54.6\%$ 사이의 Llama, $71.9\%$에서 $50.9\%$ 사이의 Gemma가 이에 해당한다. 반면 재현율(recall)은 구조적으로 변하지 않고 유지된다. 이러한 변화의 일관된 방향은 추가적인 거짓 양성(false positives)이 무작위 오분류이 아니라 공간적으로 모호한 콘텐츠에 의해 발생한다는 것을 나타낸다.

무작위 분할(random split)은 탐색 에이전트(exploration agent)가 수집한 일반 프레임(normal frames)의 자연스러운 분포를 반영하여 가장 현실적인 작동 지점(operating point)을 제공한다. 결과는 일관되게 쉬운 수준(easy)과 어려운 수준(hard)의 양극단 사이에서 나타났으며, 이는 하드 세트(hard set)가 대표성 있는 샘플이라기보다 스트레스 테스트(stress test) 역할을 수행함을 확인시켜 준다. 이 분할 데이터에서 Gemini는 $71.6\%$의 정확도(accuracy)와 $67.9\%$의 정밀도(precision)를 기록하며 가장 우수한 성능을 보였고, 그 뒤를 Ministral과 GPT가 이었다.

III-C 프롬프트 민감도(Prompt Sensitivity)

프롬프트 민감도(Prompt sensitivity)는 모델마다 상당한 차이를 보인다. Gemini-3.1 Flash는 네 가지 프롬프트 모두에서 높은 재현율(Recall, $82{-}94\%$)과 안정적인 정밀도(Precision, $66{-}68\%$)를 유지하며 가장 견고한 성능을 보였다. 또한, 모든 프롬프트 변형에서 가장 높은 정확도(Accuracy)를 기록했으며, 특히 특정 클리핑(clipping) 프롬프트에서 $74.5\%$로 정점을 찍었다. GPT-5.5는 이와 반대되는 경향을 보였다. 프롬프트가 구체화될수록 재현율은 급격히 감소($74.0\%$에서 문맥이 강화된 프롬프트의 $25.6\%$까지)하는 반면, 정밀도는 상승($76.6\%$까지)했다. 이는 모델이 상세한 지침을 받을 때 지나치게 보수적으로 변함을 시사하며, 정확도는 중간 수준을 유지했다. 오픈 소스 모델 중에서는 Gemma-4의 재현율이 세 가지 프롬프트에서 $80\%$ 이상을 유지했으나, 문맥이 강화된 프롬프트에서는 $17.8\%$로 급락했다. 반면 Ministral-3는 특정 및 단계별(stepwise) 프롬프트에서 최고 수준에 가까운 재현율($>97\%$)을 달성했으나, 정밀도와 정확도는 무작위 추측(near-chance) 수준인 $\approx$ 50%를 기록했다. 이러한 결과는 프롬프트 설계가 모델별로 특이적인 매개변수이며, 정밀도와 재현율 사이의 절충점(trade-off)을 극적으로 변화시킬 수 있음을 시사한다.

III-D 고찰

정밀도-재현율 절충 관계 (Precision–recall trade-offs)

평가된 모델들은 품질 보증(QA) 배포를 위한 유용한 작동 지점(operating points) 범위를 포괄한다. Gemma ( $86.0\%$ ) 및 Ministral ( $84.4\%$ )과 같은 고재현율(high-recall) 모델은 대다수의 실제 버그를 포착하지만, 특히 모호한 프레임에서 많은 오탐(false alarms)을 생성한다. Llama와 같은 보수적인 모델은 쉬운 정상 데이터(easy normals)에서 정밀도(precision)를 선호하지만 ( $91.2\%$ ), 실제 버그의 상당 부분을 놓친다 ( $68.2\%$ 재현율). Gemini는 세 가지 분할 데이터 모두에서 가장 높은 정확도(accuracy)와 정밀도를 달성하면서도, 고재현율 오픈소스 모델에 근접한 재현율을 유지하고 난이도가 높은(hard) ( $57.5\%$ vs. $50.9{-}55.4\%$ ) 및 무작위(random) ( $67.9\%$ vs. $57.3{-}63.3\%$ ) 분할에서 유의미하게 높은 정밀도를 확보함으로써 최적의 절충안을 제공한다. 실제 적용 시 선호되는 작동 지점은 하류 공정(downstream) 비용에 따라 달라진다. 즉, 인간의 검토 역량이 제한적일 때는 고정밀도 모델이 분류(triage) 부담을 줄여주고, 버그가 출시되는 것을 방지하는 것이 우선일 때는 고재현율 모델이 더 넓은 범위의 커버리지를 보장한다.

위양성(False positives)의 원인

쉬운 분할(easy splits)에서 어려운 분할(hard splits)로 갈수록 일관되게 나타나는 정확도의 하락은 평가된 모든 모델이 공유하는 체계적인 실패 모드를 드러냅니다. 현재의 시각-언어 모델(VLMs)은 표면 간의 국소적 공간 근접성을 클리핑(clipping, 모델링 오류로 인해 물체가 뚫고 나오는 현상)의 증거로 의존하는 경향이 있으며, 실제 메쉬(mesh)의 교차와 단순한 시각적 인접성을 구분하는 데 필요한 깊이 추론(depth reasoning) 능력이 부족한 것으로 보입니다. 이러한 관찰은 세밀한 공간 추론(fine-grained spatial reasoning)에서 나타나는 VLMs의 알려진 한계 [9, 10]와 일치합니다. 표시된 프레임들에 대한 정성적 검토는 이러한 해석을 뒷받침합니다. 많은 거짓 양성(false positives) 사례는 그림 4에서 확인되듯 캐릭터가 벽 근처에 서 있거나 전경의 기하학적 구조에 의해 부분적으로 가려진 경우를 포함하는데, 이는 기하학적으로 의심스럽기는 하지만 클리핑 버그로 간주되지는 않는 구성입니다.

그림 4: Gemini-Flash-3.1의 예측을 시각화한, 에이전트(Agent)가 생성한 Godot TPS 데모 프로젝트 레벨 지도.

게임 QA(Quality Assurance, 품질 보증) 파이프라인에 대한 시사점.

이러한 연구 결과는 현재 형태의 시각-언어 모델(Vision-Language Models, VLMs)이 단독 버그 탐지기(bug detectors)로 활용되기보다는, 다단계 질의응답(QA) 파이프라인 내에서 높은 재현율(high-recall)을 가진 후보 필터로 배치될 때 가장 효과적임을 시사한다. 실제적인 워크플로우에서는 VLM의 예측을 활용하여 의심스러운 프레임을 식별하고, 이를 인간 검토자의 후속 검증, 연속된 프레임 간의 시간적 집계(temporal aggregation), 또는 2단계 분류기(second-stage classifier)로 전달하는 방식을 취한다. 이 방식은 실제 버그에 대한 광범위한 포괄성을 보장하는 동시에, 모호한 프레임에서 발생하는 위양성(false positives)은 더 정밀한 후속 단계로 미루는 구조이다. 탐색 에이전트(exploration agent)가 데이터 수집을 담당하고 VLM이 초기 스크리닝을 담당하는 우리 파이프라인의 분리된 설계는 이러한 단계적 접근 방식을 자연스럽게 지원하며, 탐색 전략을 수정하지 않고도 탐지 백엔드를 교체하거나 보강할 수 있게 한다.

IV 결론 및 향후 과제

본 연구는 에이전트 기반의 게임 QA(Quality Assurance, 품질 보증) 파이프라인에서 기하학적 클리핑(geometry clipping) 감지를 위해 6종의 VLM(Vision-Language Models, 시각-언어 모델)을 평가하였다. 연구 결과, VLM은 명확한 기하학적 교차와 관련된 글리치(glitch)를 식별할 수 있는 것으로 나타났다. 그러나 모든 모델은 시각적으로 모호한 프레임에서 상당한 오분류율을 보였다. 이러한 낮은 성능은 기존 VLM의 특정 작업 관련 문맥이나 도메인 지식(domain knowledge)의 한계에서 기인한 부분도 있으나, 많은 사례가 인간 테스터조차 단일 프레임만으로는 판단하기에 본질적으로 어려운 경우이기도 하다(그림 1 및 3(b)의 도전적인 사례 참조). 따라서 향후 평가에서는 정답 레이블(ground truth labels)뿐만 아니라 인간의 수행 능력도 고려해야 한다. 왜냐하면 인간 테스터가 이 기술이 지원하고자 하는 최종 사용자이기 때문이다.

이 평가의 주요 한계점은 단일 프레임 주석(single-frame annotations)에 의존한다는 것입니다. 실제 상황에서 클리핑 버그(clipping bugs)는 종종 시공간적 특성을 지니며, 여러 프레임에 걸쳐 지속되거나 캐릭터 또는 카메라의 움직임 중에 나타나거나, 플레이어의 상호작용에 따라 달라질 수 있습니다. 단일 프레임만으로도 명백한 클리핑 아티팩트(clipping artifacts)를 식별하기에는 충분할 수 있지만, 더 미묘하거나 일시적인 사례는 시간적 맥락(temporal context)을 필요로 할 수 있으며, 다중 프레임을 고려한 시각-언어 모델(VLM) 성능 평가는 여기서 보고된 단일 프레임 결과와 다를 수 있습니다. 또한, 본 벤치마크는 단일 게임 환경에서 한 가지 유형의 버그만을 다루고 있으므로, 다른 이상 유형 및 시각적 스타일로의 일반화(generalisation)는 여전히 연구되어야 할 과제로 남아 있습니다.

여기에서 보고된 지표는 실제 배포 가능한 수준의 성능 추정치라기보다, 시각-언어 모델(VLM, Vision-Language Model)의 역량을 특성화(characterisation)한 것으로 이해해야 한다. 향후 연구에서는 벤치마크를 추가적인 버그 범주로 확장하고, 지능형 프레임 샘플링(intelligent frame sampling) 및 비디오 기반 추론(video-based reasoning)을 탐구하며, 대안적인 탐지 백엔드(detection back-ends)를 조사할 예정이다.