GBQA: 품질 보증 엔지니어(Quality Assurance Engineers)로서의 대규모 언어 모델(LLMs)을 평가하기 위한 게임 벤치마크

게임 환경은 $\mathcal{E}=(\mathcal{S},\mathcal{A},T,s_{0})$으로 정의되며, 여기서 $\mathcal{S}$은 상태 공간(state space), $\mathcal{A}$는 에이전트(agent)가 수행 가능한 행동 공간(action space), $T:\mathcal{S}\times\mathcal{A}\rightarrow\mathcal{S}$은 상태 전이 함수(state transition function), $s_{0}\in\mathcal{S}$는 초기 상태를 나타낸다. 선택적으로, 게임 구축 과정에서 생성된 설계 문서와 소스 코드를 포함하는 문서 컨텍스트(documentation context) $\mathcal{D}$가 에이전트에게 제공될 수 있다. 각 타임 스텝(time step) $t$에서 에이전트는 상태 $s_{t}$을 관찰하고 행동 $a_{t}\in\mathcal{A}$을 선택하며, 환경은 $s_{t+1}=T(s_{t},a_{t})$으로 전이된다. 에이전트는 여러 턴에 걸쳐 환경과 상호작용하며 탐색 궤적(exploration trajectory) $\tau=(s_{0},a_{0},s_{1},a_{1},\ldots,s_{N})$을 형성한다.

$\mathcal{B}=\{B_{1},B_{2},\ldots,B_{M}\}$을 환경에 존재하는 실제 버그(ground-truth bugs)의 집합이라고 하자. 에이전트(agent)가 $\mathcal{E}$을 탐색한 후, 에이전트는 버그 보고서(bug reports)의 집합인 $\mathcal{R}=\{R_{1},R_{2},\ldots,R_{K}\}$를 생성한다. 여기서 각 보고서 $R_{i}$은 관찰된 이상 현상에 대한 자연어 설명과 이를 재현하기 위한 단계(steps to reproduce)를 포함한다. 에이전트의 목표는 $\mathcal{R}$를 통해 $\mathcal{B}$의 커버리지(coverage)를 최대화하는 것이며, 이를 통해 환경 내의 모든 버그가 탐지되고 소프트웨어 엔지니어가 이를 재현 및 수정할 수 있을 만큼 충분히 상세하게 기술되도록 하는 것이다. 일반적인 절차는 알고리즘 1에 요약되어 있으며, 공식적인 평가 프로토콜(evaluation protocol)은 섹션 3.4에 정의한다.

$\mathcal{D}=\varnothing$일 때, 에이전트는 플레이어 탐색 모드(Player Exploring Mode)로 작동하며, 플레이어의 관점에서 버그를 발견하기 위해 오직 상호작용을 통한 관찰에만 의존합니다. $\mathcal{D}$이 제공되면, 에이전트는 품질 보증 모드(Quality Assurance Mode)로 작동하며, 설계 사양과 소스 코드를 활용하여 정보에 기반한 사양 중심의 테스트(specification-driven testing)를 수행합니다. 우리는 섹션 5에서 두 모드를 모두 평가합니다.

확장 가능하고 제어 가능한 벤치마크 구축을 지원하기 위해, GBQA의 모든 환경은 전문 게임 스튜디오를 모사하는 계층적 다중 에이전트 협업 시스템(hierarchical multi-agent collaboration system)에 의해 개발됩니다. 이 시스템은 프로듀서 에이전트(Producer Agent)와 전문적인 게임 스튜디오의 작업 팀들을 모사하는 여러 작업 팀으로 구성됩니다. 프로듀서 에이전트는 고수준의 게임 개념을 구조화된 제안서로 분해하고, 이를 디자인, 프로그래밍, 아트 에셋(art asset) 제작을 담당하는 전문 팀들에 배분합니다. 각 팀 내에서는 팀 리드 에이전트(Team Lead Agent)가 의존성 및 우선순위에 따라 과업을 추가로 분해하고, 작업자 에이전트(worker agents)에게 하위 과업을 할당하며 진행 상황을 조율합니다. 모든 에이전트는 재사용 가능한 기술을 갖춘 지원 플랫폼을 공유합니다. 에이전트 기술 패러다임(Agent Skills paradigm) (Zhang et al., 2025)에 따라, 각 기술은 구조화된 지침과 실행 가능한 도구를 갖춘 독립적인 모듈로 구성되어 에이전트가 필요에 따라 기능을 탐색하고 로드할 수 있게 합니다. 이러한 다중 에이전트 프레임워크는 디자인 사양, 에셋 제작, 코드 구현 전반에 걸쳐 구조적 일관성을 보장합니다. 전체적인 아키텍처와 더 상세한 운영 원칙은 부록 A에 제공됩니다.

모든 게임 환경은 경량 웹 애플리케이션으로 배포됩니다. 통일되고 에이전트 친화적인 인터페이스를 보장하기 위해, 우리는 엄격한 프론트엔드-백엔드 분리 구조(frontend-backend separation architecture)를 채택합니다. 백엔드는 핵심 게임 로직을 캡슐화하고, 상호작용을 위한 API 엔드포인트를 노출하며, 에이전트의 행동으로 인해 발생하는 상태 전이(state transitions)를 처리합니다. 프론트엔드는 인간 플레이어를 위해 백엔드로부터 수신한 게임 상태 업데이트를 렌더링하고, 수동 플레이 테스트를 위한 표준 인터페이스를 제공합니다. QA 에이전트가 게임과 상호작용할 때, 에이전트는 오직 백엔드 엔드포인트를 통해서만 작동하며, 이는 에이전트의 행동 공간(action space)을 구성하는 호출 가능한 도구 역할을 합니다. 이러한 설계는 게임 상태와 가용한 행동을 모두 포함하는 에이전트의 관측 공간(observation space)이 프론트엔드 인터페이스를 통해 인간 테스터가 인지하는 것과 의미론적으로 동일함을 보장합니다.

단순하게 구성된 환경이 생성되는 것을 방지하기 위해, 우리는 반복적 복잡성 확장(iterative complexity scaling) 메커니즘을 도입한다. 게임의 초기 버전이 생성되면, QA 에이전트(QA agent)가 예비 테스트를 수행하여 버그 발견 가능성을 추정한다. 만약 감지된 버그 수가 사전 정의된 임계값 $\tau$ 미만이면, 시스템은 구조적 복잡성을 높이기 위해 추가적인 게임플레이 기능, 메커니즘 상호작용(mechanical interactions) 또는 서사적 분기(narrative branches)를 자동으로 도입한다. 이 과정은 버그 수가 $\tau$ 이상이 될 때까지 반복된다. 이와 동시에, 각 게임은 최소 하나 이상의 완전하게 작동하는 게임플레이 궤적(gameplay trajectory)을 포함하도록 보장되어, 생태적 타당성(ecological validity)을 확보하고 해결 불가능하거나 고장 난 상태가 발생하는 것을 방지한다.

우리는 GBQA를 구축하기 위해 빌더(builder)를 구체화(instantiate)하였다. GBQA는 30개의 다양한 게임 환경과 6가지 핵심 게임 장르인 액션(Action), 어드벤처(Adventure), 역할 수행(Role-Playing), 전략(Strategy), 시뮬레이션(Simulation), 퍼즐(Puzzle)에 걸쳐 총 124개의 인간이 검증한 버그로 구성된 벤치마크이다. 추가적인 통계 및 게임 사례는 부록 D에 제공된다.

우리는 에이전트가 생성한 버그 리포트(bug reports) 집합 $\mathcal{R}$를 실제 버그(ground-truth bug) 집합 $\mathcal{B}$과 비교하여 평가한다. 비평 에이전트(critic agent) $f:\mathcal{R}\times\mathcal{B}\rightarrow\{0,1\}$는 $R_{i}$의 설명과 $B_{j}$의 주석(annotation) 사이의 의미적 대응 관계를 바탕으로, 리포트 $R_{i}$가 실제 버그 $B_{j}$를 성공적으로 식별했는지 여부를 판단한다. 우리는 성공적으로 탐지된 버그의 집합을 $\mathcal{B}^{+}=\{B_{j}\in\mathcal{B}\mid\exists\,R_{i}\in\mathcal{R},\;f(R_{i},B_{j})=1\}$로 정의한다. 주요 평가 지표는 다음과 같이 정의되는 재현율(Recall)이다.

우리는 자율적 버그 발견(autonomous bug discovery)의 핵심 목표이 결함 커버리지(defect coverage)를 극대화하는 것이기 때문에 재현율(recall)을 우선시한다. 실제 품질 보증(QA) 워크플로우에서 미검출된 결함은 실제 운영 환경까지 지속될 수 있는 반면, 허위 보고는 인간 검토자에 의해 효율적으로 걸러낼 수 있으므로 미검출(false negatives)은 허위 양성(false positives)보다 훨씬 더 높은 비용을 초래한다.

에이전트는 명시적인 추론(reasoning)과 환경 행동(environment actions)을 교차시키는 ReAct 패러다임 (Yao et al., 2023)을 따릅니다. 각 단계 $t$에서 에이전트는 관측값 $o_{t}$이 주어지면, 현재 상태 및 예상 결과에 관한 추론 흔적(reasoning traces)을 생성하고, 가용한 도구 세트에서 행동 $a_{t}$을 선택하며, 다음 관측값 $o_{t+1}$으로 전이합니다.

이상 징후에 대한 민감도를 높이기 위해, 우리는 표준 ReAct 방식을 단계 수준의 성찰 및 검증(reflection and verification) 메커니즘을 통해 보완한다. 각 전이(transition) $(o_{t},a_{t},o_{t+1})$ 이후, 에이전트는 관찰된 결과가 올바른 게임 동작에 대한 내부적 기대와 일치하는지 비판적으로 평가한다.

불일치를 감지하면, 에이전트(agent)는 (i) 트리거링 액션(triggering action, 유발 동작), (ii) 관찰된 동작, (iii) 기대되는 동작, 그리고 (iv) 잠재적 위반 유형으로 구성된 예비 버그 가설을 수립한다. 에이전트는 즉각적으로 보고하는 대신, 표적 재현 시도(targeted reproduction attempts)를 통해 뒷받침하는 증거를 수집하는 국소적 검증 단계(local verification phase)를 시작한다. 재현 가능성과 편차 크기에 기반하여 신뢰도 점수(confidence score)가 부여되며, 임계값을 초과하는 후보들만 최종 버그 보고로 승격됨으로써 오탐(false positives)을 완화한다. 이러한 메커니즘은 에이전트의 역할을 수동적인 궤적 생성기(trajectory generator)에서 능동적인 행동 검증기(behavioral verifier)로 전환하며, 에이전트의 추론 과정을 자율적 버그 발견이라는 목적과 긴밀하게 정렬시킨다.

장기적 시계(long-horizon) 버그 탐지에서 거대언어모델(LLM)의 컨텍스트 윈도우(context-window) 제한을 극복하기 위해, 우리는 단기적인 궤적 추적(trajectory tracking)과 장기적인 경험 축적(experiential accumulation)을 분리하는 계층적 메모리 구조(hierarchical memory architecture)를 도입한다.

세션 내 메모리(In-Session Memory). 단일 게임 플레이 세션 내에서, 에이전트(agent)는 게임 상태의 변화를 추적하는 구조화된 작업 메모리(working memory)를 유지한다. 상호작용 이력이 길어짐에 따라, 이전 궤적(trajectory) 세그먼트들은 요약 모듈(summarization module)을 통해 주기적으로 압축된다. 이러한 요약본은 방문한 장소, 획득한 아이템, 발생한 이벤트, 해결되지 않은 이상 현상, 그리고 잠정적인 버그 가설을 포함하여 의미적으로 중요한 정보를 유지한다.

충실도(fidelity)와 확장성(scalability)을 조화시키기 위해, 우리는 가장 최근의 $k$번의 상호작용 단계는 상세하게 유지하고, 더 오래된 단계는 압축된 상태 요약(state summaries)으로 대체하는 슬라이딩 윈도우(sliding-window) 전략을 채택한다. 이러한 설계는 모델의 컨텍스트 제약(context constraints) 내에서 장기적 추론(long-horizon reasoning)을 가능하게 한다. 중요한 점은, 요약 과정이 단순히 추출 방식이 아니라 추상화 지향적(abstraction-oriented)이라는 것이다. 즉, 이는 가공되지 않은 텍스트 로그보다는 인과 구조(예: “아이템 X를 집은 후, 이벤트 Y가 가능해짐”)를 보존한다. 이러한 추상화는 지연된 효과(delayed effects)와 다단계 불일치(multi-step inconsistencies)에 대한 추론을 지원한다.

세션 간 메모리(Cross-Session Memory). 종합적인 질의응답(QA) 작업은 종종 서로 다른 초기 조건에서 게임을 재시작하고 재탐색하는 것을 요구한다. 이러한 실제적인 테스트 워크플로우를 반영하기 위해, 우리는 각 게임에 대해 지속적인 세션 간 메모리 저장소(persistent cross-session memory store)를 유지한다.

각 세션이 끝날 때마다, 에이전트는 축적된 경험을 탐색된 영역, 확인된 버그, 해결되지 않은 가설, 탐색되지 않은 분기, 그리고 우선순위 테스트 대상 등을 포착하는 구조화된 요약으로 증류(distill)한다. 이 요약은 후속 세션의 초기 컨텍스트(context)에 주입된다. 세션 내 궤적 관리(intra-session trajectory management)와 세션 간 지식 축적(inter-session knowledge accumulation)을 분리함으로써, 에이전트는 여러 번의 재시작을 거치며 일관된 테스트 전략을 점진적으로 구축한다. 이러한 계층적 메모리 설계는 탐색 효율을 높이고 중복된 범위를 줄이며, 무작위적인 방황이 아닌 체계적인 테스트를 유도한다.

모델. 우리는 인스트럭트(instruct) 및 씽킹(thinking) 변형 모델을 포함하여, 오픈 소스 및 폐쇄형 계열을 아우르는 다양한 최첨단 LLM(대규모 언어 모델) 제품군을 평가한다. 모든 모델은 공식적으로 권장되는 디코딩 파라미터(decoding parameters)를 사용하며, 그렇지 않을 경우 그리디 샘플링(greedy sampling)을 기본 전략으로 채택한다.

설정. 각 모델은 섹션 4에서 설명된 기본 에이전트(baseline agent)의 백본(backbone) 역할을 수행한다. 섹션 3.1에서 정의된 바와 같이, 우리는 각 모델을 플레이어 탐색 모드(Player Exploring Mode)와 품질 보증 모드(Quality Assurance Mode) 모두에서 평가한다. GBQA의 각 게임에 대해, 에이전트에게는 최대 $T$회의 상호작용 단계(interaction steps) 예산이 주어진다. 우리는 탐색의 범위가 버그 탐지 범위(bug detection coverage)에 미치는 영향을 조사하기 위해, 두 모드 모두에서 네 가지 단계 예산($T\in\{50,100,200,500\}$)을 기준으로 평가를 진행한다.

지표(Metrics). 우리는 비평가 에이전트(critic agent)에 의한 자동 평가를 통해 산출되는 재현율(Recall)을 주요 지표로 채택한다.

앞서 설명한 설정에 따라, 우리는 광범위한 주요 거대언어모델(LLM, Large Language Models)을 비교하였다. 표 1은 모든 단계 예산(step budgets)에 걸쳐 두 가지 테스트 모드에서 각 모델의 성능을 보고한다. 실험 결과는 모드와 모델 제품군(model families)에 따른 몇 가지 통찰과 패턴을 보여준다.

어려운 벤치마크. 자율적 버그 발견(Autonomous bug discovery)은 평가된 모든 모델에게 여전히 매우 어려운 과제로 남아 있다. 가장 우수한 성능을 보인 구성인 '500단계의 품질 보증 모드(Quality Assurance Mode)를 적용한 Claude-4.6-Opus'조차 48.39%의 정확도에 그쳐, 절반 이상의 버그를 찾아내지 못했다. 이는 버그 발견이 일반적인 코드 생성(code generation)이나 이슈 해결(issue resolution)보다 훨씬 더 어려운 역량임을 확인시켜 준다. 후자(일반적인 코드 생성 및 이슈 해결)의 경우, 최첨단 모델(frontier models)들이 SWE-Bench Verified (Chowdhury et al., 2024)와 같은 유사한 벤치마크에서 일상적으로 70% 이상의 성능을 기록하기 때문이다. SWE-Bench Verified와 GBQA에서 나타난 최첨단 모델의 성능에 대한 상세한 비교는 부록 B에 제공된다.

확장 법칙(Scaling Law). 모델 크기에 따른 일관된 성능 향상(예: Qwen3 시리즈)에서 알 수 있듯이 표준적인 확장 경향이 이 설정에서도 유지되지만, 추론 능력은 단순히 모델 규모를 키우는 것보다 더 높은 매개변수 효율성(parameter-efficient)을 보이는 것으로 나타났다. 예를 들어, Qwen3-32B-Thinking(33.87%)은 훨씬 더 큰 Llama-3.1-70B(14.52%)를 크게 능가하며, 심지어 거대한 Qwen3-235B-A22B(18.55%)와 대등한 수준이다. 이는 지속적인 다단계 추론(multi-step reasoning)과 동적 상태 검증(dynamic state verification)을 요구하는 버그 발견의 경우, 매개변수 확장(parameter scaling) 단독보다는 추론 시간 확장(inference-time scaling)이 더 중요하다는 것을 시사한다.

테스트 모드. 품질 보증(Quality Assurance, QA) 모드는 모든 평가 모델과 단계 예산(step budgets)에서 플레이어 탐색(Player Exploring) 모드보다 일관되게 우수한 성능을 보였다. 설계 아티팩트(design artifacts)와 소스 코드에 대한 접근은 명세 기반 테스트(specification-driven testing)를 가능하게 하며, 이를 통해 에이전트가 정밀한 행동 기대치를 설정하고 결과적으로 더 세밀한 위반 사항을 탐지할 수 있게 한다. 그럼에도 불구하고, 포괄적인 문서가 제공됨에도 불구하고 성능은 여전히 상당히 최적화되지 않은 수준이다. 이러한 지속적인 격차는 주요 병목 현상이 컨텍스트 정보의 부족이 아니라, 현재의 대규모 언어 모델(LLM)이 가진 두 가지 내재적 한계에 있음을 시사한다: (i) 복잡한 다단계 추론 과정에서의 환각(hallucinations) 및 논리적 불일치에 대한 취약성, 그리고 장기 과업(long-horizon tasks)에서의 오류 누적 및 상태 추적의 모호성; 그리고 (ii) QA 특화 강화 학습(RL) 훈련의 부족으로 인한 체계적인 테스트 휴리스틱(testing heuristics)의 뚜렷한 결핍이다. 결과적으로, 이러한 모델들은 숙련된 QA 엔지니어들이 일상적으로 사용하는 구조화되고 효율적이며 가설 기반의 탐색 전략이 부족하다.

GBQA의 실용적 유용성을 입증하기 위해, 우리는 완전 자율형 탐지-패치(detection-to-patch) 파이프라인에 대한 사례 연구를 수행한다. 추가적인 실험 세부 사항 및 결과는 부록 E에 제공된다.

벤치마크 주석(Benchmark Annotation)을 위한 IAA 분석. GBQA의 버그 주석(bug annotations) 신뢰도를 정량화하기 위해, 우리는 Krippendorff의 $\alpha$ (Krippendorff, 2018)을 활용하여 검사자 간 일치도(Inter-Annotator Agreement, IAA) 분석을 수행하였다. 표 2에 나타난 바와 같이, 3명의 검사자가 378개의 후보 주석을 각각 유효한 버그 또는 비버그로 독립적으로 라벨링하였다. 해당 데이터셋은 0.901의 전체 $\alpha$을 달성하였으며, 이는 버그 특성화(bug characterization)에 내재된 주관성에도 불구하고 라벨링 지침이 전문가들의 판단을 성공적으로 표준화했음을 나타낸다.

평가자로서의 비평가 에이전트(Critic Agent). 자동화된 평가 파이프라인을 추가로 검증하기 위해, 우리는 별도의 검증 세트(held-out validation set)에서 인간의 평가 점수와 일치도를 피어슨 상관계수(Pearson correlation coefficient) (Pearson, 1901)를 사용하여 측정하였다. 표 3에 보고된 바와 같이, 4개의 모든 백본 LLM(backbone LLMs)이 높은 상관도를 기록하였으며, 이는 비평가 에이전트가 인간 평가를 대신할 신뢰할 수 있는 대리 지표(proxy) 역할을 수행함을 확인시켜 준다. GPT-5.2가 가장 높은 상관도($\rho=0.903$)를 기록하였으며, 따라서 모든 결과 보고를 위한 기본 백본으로 채택되었다.

우리는 개별적인 구조적 구성 요소들의 기여도를 분리하여 파악하기 위해, 품질 보증 모드(Quality Assurance Mode) 하에서 Claude-4.6-Opus를 활용하여 절제 실험(ablation experiments)을 수행한다.

단계 예산(Step Budget) 분석. 우리는 난이도 수준에 따라 계산 비용과 버그 발견 사이의 절충 관계(trade-off)를 연구하기 위해 단계 예산 $T$을 변화시켰다. 그림 3에서 볼 수 있듯이, 쉬운(Easy) 버그는 대부분 첫 300단계 내에 발견되는 반면, 중간(Medium) 난이도의 버그는 이와 유사하지만 더 낮은 궤적을 보이며 500단계에서 약 30%에 도달한다. 어려운(Hard) 버그는 단계 예산에 가장 강하게 의존하며, 뚜렷한 포화 추세(saturation trend)를 보이지 않는다. 이러한 패턴은 쉬운 버그는 지각적 확인(perceptual checking)을 필요로 하고, 중간 난이도의 버그는 단기적 규칙 추론(short-horizon rule inference)을 필요로 하는 반면, 어려운 버그는 긴 상호작용에 걸친 지속적인 상태 추적(sustained state tracking)을 필요로 한다는 것을 보여준다.

메모리 절제(Memory Ablation). 그림 4에서 알 수 있듯이, 네 가지 실험 구성이 존재하는데, 즉 메모리 없음(no memory), 세션 내 메모리(in-session memory, IS), 세션 간 메모리(cross-session memory, CS), 그리고 전체 메모리 모듈(full memory module, IS+CS)이다. 메모리가 없으면 에이전트(agent)는 테스트된 상태를 빈번하게 재방문하게 되어, 조기 회상 포화(recall saturation)를 초,하게 된다. IS 메모리는 세션 내 루프(loop)를 제거하지만, 세션 간 재탐색을 필요로 한다. 반대로, CS 메모리는 웜스타트(warm-start) 탐색을 가능하게 하지만 세션 내 중복성을 완화하지 못한다. 전체 메모리 모듈은 세션 간의 전략적 초기화와 세션 내 루프 방지를 통합한다. 결과적으로, 전체 메모리 모듈의 성능 추세선은 다른 메모리 설정보다 일관되게 우세하며, 동일한 단계 예산(step budgets)에서 세션 전반에 걸쳐 뚜렷한 이득을 보이며, 이는 세션 내 궤적 추적(intra-session trajectory tracking)과 세션 간 지식 축적(inter-session knowledge accumulation)의 상호 보완적인 이점을 입증한다.