자동화된 비디오 게임 테스트를 위한 LLM 에이전트(LLM Agents) 활용

Abstract

MMORPG(Massively Multiplayer Online Role-Playing Games, 대규모 다중 접속 온라인 역할 수행 게임) 테스트는 게임의 복잡성과 빈번한 업데이트 특성으로 인해 게임 개발에서 매우 중요하지만 노동 집약적인 작업입니다. 기존의 자동화된 게임 테스트 방식은 이러한 풍부하고 개방적인 환경에서 높은 상태 커버리지(state coverage)와 효율성을 확보하는 데 어려움을 겪으며, 기존의 LLM(Large Language Model, 거대언어모델) 기반 게임 플레이 방식은 복잡한 게임 상태-행동 공간(state-action spaces)과 길고 복잡한 과업을 이해하는 데 있어 얕은 추론 능력에 머무는 한계가 있습니다. 이러한 과제를 해결하기 위해, 본 논문에서는 지능형 MMORPG 테스트를 위한 효과적인 LLM 기반 에이전트 프레임워크인 TITAN을 제안합니다. TITAN은 다음의 네 가지 핵심 구성 요소를 통합합니다: (1) 고차원 게임 상태를 인지하고 추상화하며, (2) 가용한 행동을 선제적으로 최적화 및 우선순위화하고, (3) 행동 추적 메모리(action trace memory)와 성찰적 자기 교정(reflective self-correction)을 통해 장기적 추론(long-horizon reasoning)을 가능하게 하며, (4) LLM 기반 오라클(oracles)을 사용하여 진단 보고서와 함께 잠재적인 기능 및 로직 버그를 탐지합니다.

우리는 TITAN을 구현하고, PC와 모바일 플랫폼을 모두 아우르는 두 개의 대규모 상용 MMORPG(다중 사용자 온라인 역할 수행 게임)를 대상으로 이를 평가했다. 실험 결과, TITAN은 기존의 자동화된 게임 테스트 방식과 비교하여 현저히 높은 작업 완료율(95%)과 버그 탐지 성능을 달성했다. 절제 연구(Ablation study)를 통해 TITAN의 각 핵심 구성 요소가 전체 성능에 실질적으로 기여한다는 점을 추가로 입증했다. 특히, TITAN은 기존의 테스트 방식으로는 식별하지 못한 4개의 미지의 버그를 찾아냈다. 우리는 이러한 결과에 대해 심도 있는 논의를 제공하며, 이는 지능형 범용 테스트 시스템을 발전시키기 위한 새로운 방향을 제시한다. 또한, TITAN은 8개의 실제 게임 QA(품질 보증) 파이프라인에 배포되어, LLM(대규모 언어 모델) 기반 게임 테스트 프레임워크으로서의 실질적인 영향력을 입증했다.

핵심어 Large Language Model(거대언어모델), 게임 테스트(Game Testing), 테스트 에이전트(Testing Agents)

1 Introduction

온라인 게임의 품질을 확보하는 것은 소프트웨어 공학(software engineering) 분야에서 매우 중대한 과제이다. 현대의 MMORPG(대규모 다중 접속 온라인 역할 수행 게임)는 방대한 오픈 월드, 비선형적 과업 수행, 수많은 상호작용이 가능한 NPC(non-player characters, 비플레이어 캐릭터), 그리고 지속적으로 진화하는 게임플레이 메커니즘 Claypool and Claypool (2006)을 특징으로 한다. 이러한 게임에서 버그를 철저하게 테스트하는 것은 비용이 많이 들고 시간이 오래 걸리며, 종종 불완전하게 이루어진다 Albaghajati and Ahmed (2020); Politowski et al. (2021). 기존 연구들 Insights (2025)에 따르면, 품질 보증(QA, quality assurance)은 게임 개발 예산의 대부분을 소모할 수 있으며, 수동 테스터(manual testers)들이 글리치를 찾고 게임 과업 로직을 검증하기 위해 고된 작업을 통해 콘텐츠를 플레이하게 된다. 더욱이, 인기 있는 게임은 빈번하게 업데이트되며, 종종 하루에 수백 개의 코드 변경이 발생하고 어떤 경우에는 하루에 세 번 이상의 내부 릴리스(internal releases)가 이루어지기도 한다 Yu et al. (2023). 이러한 조건에서의 수동 플레이 테스트(manual playtesting)는 비용이 많이 들고 느릴 뿐만 아니라, 본질적으로 주관적이며 확장성이 떨어진다. 인간 테스터는 일반적인 "해피 패스(happy paths)" Anderson et al. (2008); Albaghajati and Ahmed (2020)를 따르는 경향이 있어 엣지 케이스(edge-case, 예외 상황) 동작을 놓치기 쉬우며, 반복적이거나 장시간 지속되는 시나리오를 수행할 때 그 효율성은 더욱 저하된다.

스크립트 기반 테스트 자동화(Scripted test automation) Alégroth et al. (2016)는 사전 정의된 규칙을 통해 플레이어의 행동을 모방하지만, 각 작업마다 스크립트를 수동으로 제작해야 하고 게임 업데이트 시 빈번하게 오류가 발생하기 때문에 취약하고 유지 비용이 많이 듭니다. 더 적응력이 높고 자동화된 심층 강화 학습(Deep Reinforcement Learning, DRL) 기반 에이전트(예: Wuji Zheng et al. (2019))는 탐색을 통해 전략을 학습할 수 있지만, 방대한 훈련, 정교하게 설계된 보상 체계, 그리고 상당한 컴퓨팅 자원을 필요로 하므로 동적인 MMORPG에 적용하기에는 비실용적입니다. 더욱이, DRL 에이전트는 종종 단기적인 보상에 과적합(overfit)되며 게임 작업이나 아이템에 대한 의미론적 이해(semantic understanding)가 부족하여, 장기적인 목표를 처리하거나 미세한 로직 버그를 감지하는 능력이 제한적입니다.

거대언어모델(Large Language Models, LLMs)의 부상은 LangChain Chase (2022) 및 ReAct Yao et al. (2023)과 같은 프레임워크에서 보여지듯, 상호작용 환경 내에서 추론과 행동을 결합한 에이전트(agents)를 가능하게 했습니다. LLM 에이전트는 텍스트 기반 게임 및 단순 작업에서 유망한 제로샷 일반화(zero-shot generalization) 능력을 보여주지만 Jeurissen et al. (2024); Li et al. (2025), 이를 MMORPG에 직접 적용하는 것은 여전히 어려운 과제로 남아 있습니다 Xu et al. (2024). ❶ MMORPG는 세계의 역학, NPC, 플레이어 통계 등을 포함하는 방대하고 부분적으로 관측 가능한 상태(partially observable states)를 제시하며, 이는 토큰 및 메모리 제약으로 인해 LLM의 인지 한계를 초과하기 쉽습니다. ❷ 또한, MMORPG의 방대한 행동 공간(action space, 이동, 기술, 아이템, 대화 등)은 가이드가 없는 의사결정을 무효하거나 무관한 행동으로 이어지게 만듭니다. 기존의 LLM 에이전트 Jin et al. (2024)는 특정 도메인에 특화되어 있거나(예: Minecraft를 위한 Voyager Wang et al. (2023)) 지나치게 일반적이어서, 작업 논리, 장기적 진행, 그리고 미세한 버그 탐지 등에 어려움을 겪습니다 Kwa et al. (2025). 결과적으로, 이들은 아직 산업 규모의 MMORPG에 대한 확장 가능하고 효율적인 테스트를 지원하지 못합니다.

동기. 실제 환경에서 MMORPG(다중 사용자 온라인 역할 수행 게임)는 점점 더 거대해지고 복잡해지고 있으며, 이에 따라 정교한 작업에 대한 철저한 테스트의 중요성이 더욱 커지고 있습니다. 동시에, 한정된 인적 자원을 보완하기 위해 자동화가 절실히 요구되고 있습니다. 기존 방식들은 충분한 버그 커버리지(bug coverage)와 성능 평가은커녕 정확한 작업 수행조차 제대로 해내지 못하는 경우가 많으며, 이는 신뢰할 수 있는 게임 테스트에 큰 과제를 제기합니다. 이러한 간극을 메우기 위해, 본 연구는 앞서 언급한 한계점들을 해결할 수 있는 지능형 게임 테스트 에이전트(agent) 개발을 목표로 합니다. 우리의 직관은 특정 작업에 특화된 훈련이 필요하지 않으면서도, 서로 다른 게임에 범용적으로 적용 가능하고, 복잡한 게임 작업 내에서 긴 작업 시퀀스를 완수할 수 있는 에이전트를 설계하는 것입니다. 동시에, 이 에이전트는 작업 완수와 게임 테스트 커버리지 및 편의성 극대화 사이에서 균형을 유지해야 하며, 특히 기능적 버그(functionality bugs)와 논리적 버그(logic bugs)를 효과적으로 찾아낼 수 있어야 합니다. 이를 위해, 우리는 자동화된 MMORPG 테스트를 위해 특별히 맞춤 설계된 LLM(대규모 언어 모델) 기반 에이전트 프레임워크인 TITAN을 제안합니다. TITAN은 기초 LLM(foundation LLMs)의 강력한 추론 능력을 활용하는 동시에, 테스트 워크플로우를 최적화하기 위해 도메인 특화된 전문가 지식을 결합합니다. TITAN은 강화된 인지, 문서 기반의 게임 정보 추출, 행동 추천, 메모리 기반의 성찰적 추론(reflective reasoning), 그리고 기능 타겟형 버그 탐지를 위한 인간 개입형(human-in-the-loop) LLM 보조 오라클(oracles)을 제공합니다.

우리는 TITAN의 프로토타입을 구현하고, 협력 기업의 두 가지 대규모 상용 MMORPG(다중 사용자 온라인 역할 수행 게임)를 통해 그 성능을 평가한다. 이 게임들은 PC와 모바일 플랫폼을 모두 아우르고 있어, TITAN의 일반화 능력과 효과를 평가할 수 있게 한다. 우리는 기존 게임 테스트 방법론의 성능을 철저히 평가하기 위해, 두 게임에서 난이도가 다른 20개의 과제로 구성된 벤치마크를 구축하였다. 이 과제들은 몇 단계에 불과한 단순한 과제부터 매우 복잡한 과제(즉, 20단계 이상의 과제)까지 다양하게 포함된다. 우리는 과제 수행 및 버그 탐지 성능을 평가하기 위해 심층 강화 학습(DRL, Deep Reinforcement Learning) 기반 방식인 Wuji Zheng et al. (2019)와 기본 LLM 에이전트 기반 방식인 ReAct Yao et al. (2023)을 포함한 베이스라인 접근법을 선정하였다. 또한, 교차 비교를 위해 세 명의 전문 내부 게임 테스터와 동일한 테스트 과제 세트를 수행하였다.

우리는 다음과 같은 세 가지 핵심 연구 질문(research questions)에 답하기 위해 종합적인 실험 연구를 설계한다.

• • RQ1: TITAN이 기존 방식보다 일반적인 MMORPG 테스트 과업을 더 효과적이고 효율적으로 수행할 수 있는가?
• • RQ2: 기존 방식들과 비교하여 TITAN이 MMORPG 버그를 탐지하는 성능은 어떠한가?
• • RQ3: TITAN의 각 핵심 구성 요소가 전체 성능에 기여하는 바는 무엇인가?

우리의 종합적인 평가 결과는 TITAN이 자동화된 게임 테스트 방식(최고 성능이 각각 82% 및 9)에 비해 유의미하게 높은 작업 완료율(95%)과 버그 탐지 성능(15)을 달성함을 보여준다. 모든 구성 요소 중에서, 우리는 성찰적 추론 모듈(Reflective Reasoning Module)이 TITAN의 성능에 가장 크게 기여하며, 모든 구성 요소가 전체 프레임워크에 필수적이라는 것을 확인했다. 특히, TITAN은 이전의 테스트 방식으로는 식별할 수 없는 버그를 탐지하며, 본 연구를 통해 모델 로직 버그(Model Logic Bug) 및 행 인터랙션 버그(Hang Interaction Bug)와 같은 새로운 유형을 포함하여 4개의 신규 버그를 성공적으로 찾아냈다. TITAN은 8개의 실제 게임 QA 파이프라인에 배포되었으며, 이는 LLM(거대언어모델) 기반 게임 테스트의 실질적인 영향력을 입증한다.

요약하자면, 본 논문은 다음과 같은 기여를 한다:

• 우리는 대규모 오픈 월드 게임 환경의 고유한 과제들을 해결하기 위해, LLM(거대언어모델)의 유연성과 제로샷(zero-shot) 성능을 상태 추상화(state abstraction), 행동 최적화(action optimization), 성찰적 사고(reflective thinking), 그리고 새로운 오라클(oracles)을 포함한 특수 목적용 구성 요소들과 결합하여, MMORPG 테스트을 위해 특화된 최초의 LLM 기반 테스트 프레임워크를 설계한다. 기존 방식과 달리, TITAN은 복잡한 게임 상태를 인지하고 장기 계획(long-horizon plans)을 유지할 수 있으며, 인간 전문가가 게임 과제를 수행하며 전략을 세우는 방식을 밀접하게 모방한다.
• 우리는 TITAN을 구현하고 PC와 모바일 플랫폼 모두에서 두 개의 대규모 상용 MMORPG(다중 사용자 온라인 역할 수행 게임)를 대상으로 이를 평가한다. 우리는 이러한 게임들을 대상으로 20개의 테스트 과업으로 구성된 다양한 벤치마크를 구축하였으며, 엄격한 실험을 통해 TITAN이 다양한 지표에서 기존의 베이스라인(baseline) 방식들을 일관되게 능가한다는 것을 밝혀냈다.
• 우리는 MMORPG 테스트에 대한 심도 있는 논의를 제공하며, 향후 포괄적인 게임 테스트 및 LLM 에이전트(LLM-agent) 기반 솔루션 개발을 위한 실질적인 지침을 제시한다. TITAN 프레임워크는 이미 여러 게임 스튜디오의 품질 보증(QA) 파이프라인에 도입되었으며, 그곳에서 새로운 버그를 발견하고 테스트 생산성을 향상시키는 성과를 거두었다.

2 배경 및 관련 연구

그림 1: MMORPG 게임 생태계 및 테스트.

이 섹션에서는 MMORPG(다중 사용자 온라인 역할 수행 게임)의 배경과 그에 따른 특수한 테스트 개발에 대해 소개한다. 우리는 자동화된 게임 테스트 및 다양한 응용 분야, 특히 게임 탐색을 위한 LLM(거대언어모델) 기반 에이전트(agents)에 관한 기존 연구를 검토한다.

2.1 MMORPG 테스트

대규모 다중 사용자 온라인 롤플레잉 게임(Massively Multiplayer Online Role-Playing Games, MMORPG)은 플레이어가 게임 클라이언트를 통해 전용 서버에 호스팅된 지속적인 가상 세계에 접속하는 대규모 온라인 환경이다. 그림 1에서 알 수 있듯이, MMORPG 시스템은 사회적 상호작용, 거래, 퀘스트, 전투과 같은 다양한 게임플레이 요소를 통합하며, 이 모든 요소는 복잡한 NPC(Non-Player Character) 및 AI(Artificial Intelligence) 동작에 의해 구동된다. 이러한 시스템의 규모와 복잡성은 기능성, 성능, 게임 밸런스, 회귀(Regression)를 포함한 다면적인 테스트 과제를 야기한다.

싱글 플레이어 게임과 비교했을 때, 대규모 다중 접속 온라인 역할 수행 게임(MMORPG, Massively Multiplayer Online Role-Playing Games)은 지속적인 가상 세계, 비선형적인 게임 과업 구조, 그리고 높은 사용자 상호작용으로 인해 테스트 측면에서 독특한 과제들을 제시한다. 초기 소프트웨어 품질 보증(Software Quality Assurance) 연구는 주로 단위 테스트(Unit Testing) 및 GUI 테스트와 같은 전통적인 테스트 기법에 초점을 맞추고 있다 Kim et al. (2007). 그러나 이러한 방법들은 MMORPG의 역동적이고 창발적인 게임플레이 패턴을 해결하기에는 불충분하다. 후속 연구들은 MMORPG 환경에서 서버 안정성과 동시성 성능을 평가하기 위해 대규모 부하 테스트(Load Testing) 및 네트워크 시뮬레이션 접근 방식을 조사한다 Cho et al. (2010). 다른 연구들은 게임 테스트를 위한 데이터셋 Li et al. (2022)과 벤치마크를 제공한다. 추가적인 연구들은 비플레이어 캐릭터(NPC, Non-Player Character) 행동, 실시간 전투 시스템, 협동 플레이와 같은 인게임 메커니즘의 복잡성을 강조하며, 이러한 요소들이 자동화된 테스트를 특히 어렵게 만든다고 설명한다 Schatten et al. (2017); Suznjevic et al. (2011). 또한, 전통적인 테스트 스크립트가 흔히 간과하는 엣지 케이스(Edge Cases)를 찾아내기 위해 MMORPG의 다양한 상호작용 패턴을 시뮬레이션하는 사용자 행동 모델링(Player-behavior Modeling)이 제안되기도 했다 Pfau et al. (2018). 이러한 노력에도 불구하고, MMORPG 테스트는 기능적 정확성을 보장하는 것뿐만 아니라 지속적으로 진화하는 게임 생태계 내에서 밸런스, 공정성, 그리고 몰입도를 유지해야 하기 때문에 여전히 비용이 많이 들고 시간이 많이 소요되는 작업이다.

2.2 자동화된 게임 테스트 (Automated Game Testing)

종합적인 조사 Politowski et al. (2022); Roque et al. (2025); Coppola et al. (2024)는 게임 테스트 분야에서 다루는 문제와 테스트 관행의 광범위함을 강조하며, 현재 접근 방식들이 아직 미성숙한 상태임을 부각한다. 그래픽 사용자 인터페이스(GUI) 애플리케이션 Memon (2007)을 테스트하기 위한 여러 기술이 제안되었으나, 이러한 방법들은 플레이어의 일정 수준의 지능을 요구하는 복잡한 과업으로 인해 게임 테스트에서는 종종 효과적이지 못하다. 게임과 로봇 내비게이션 분야에서 강화 학습(Reinforcement Learning)이 성공적으로 적용된 것에 영감을 받아, 최근 연구인 Wuji Zheng et al. (2019) 등은 게임 테스트를 위해 심층 강화 학습(Deep Reinforcement Learning, DRL) 기술을 채택했다. AdvTest Ma et al. (2024)는 경쟁형 게임에서 더 다양한 실패 시나리오를 노출하기 위해 제약 기반 적대적 에이전트 훈련(Constraint-guided adversarial agent training)을 활용하는 다양성 지향적 테스트 프레임워크를 제안한다. 적대적 훈련 외에도, 비디오 게임의 자동화된 테스트를 가이드하기 위해 행동 주도 개발(Behavior-driven development)이 통합되었다 Mastain and Petrillo (2024). 산업용 모바일 게임 테스트를 위해 위젯 탐지 기반 기술도 탐구되었으며 Wu et al. (2023); Ye et al. (2021), 이는 GUI 구성 요소 분석을 활용하여 자동화된 게임 테스트를 지원할 수 있는 잠재력을 보여준다. 다른 연구들 Wu et al. (2020)은 MMORPG의 서로 다른 버전 간의 행동 차이를 분석하여 잠재적인 회귀 오류(Regression errors)를 감지하는 강화 학습 기반의 회귀 테스트 기술을 제안한다. 계획(Planning)과 학습 또한 비디오 게임 회귀 테스트에 적용되었으나, 확장성 측면에서는 여전히 제한적이다 Balyo et al. (2024). 그러나 이러한 접근 방식들은 특정 작업에 특화된 훈련에 크게 의존하기 때문에, 기존 퀘스트의 회귀 테스트와 같은 고정된 작업에는 적합하지만 새로운 작업과 시나리오에 적응하기는 어렵다. 이와 대조적으로, 본 연구의 방법은 훈련을 필요로 하지 않으며 버전 업데이트에서 도입되는 새로운 게임 과업을 용이하게 수용할 수 있다.

2.3 LLM 기반 게임 테스트 (LLM-Based Game Testing)

LLM(거대언어모델) 시스템의 부상과 더불어, Minecraft, StarCraft II, Civilization Lifshitz et al. (2023); Vinyals et al. (2019); Qi et al. (2024)과 같은 복잡한 비디오 게임을 위한 기초 에이전트(foundational agents)를 개발하려는 수많은 시도가 이루어졌다. 많은 시스템이 구조화된 API와 사전 정의된 행동 공간(predefined action spaces, 예: JARVIS-1 Wang et al. (2024))에 의존하고 있으며, 이는 게임 간의 일반화(generalization)를 제한한다. VPT Baker et al. (2022)는 인간이 라벨링한 게임 플레이를 통해 사전 학습함으로써 원시 비디오로부터 엔드투엔드(end-to-end) 제어를 입증했으나, 이러한 데이터셋을 수집하는 것은 비용이 많이 들고 확장하기 어렵다. 이와 유사하게, SIMA Raad et al. (2024)는 행동 복제(behavior cloning)를 통해 여러 3D 게임에서 체화된 에이전트(embodied agents)를 학습시켰으나, 높은 데이터 요구량과 낮은 일반화 성능으로 인해 한계가 있었다. 보다 최근의 연구들은 자율적인 기술 습득을 목표로 한다. VOYAGER Wang et al. (2023)는 자가 생성된 커리큘럼을 통해 Minecraft에서 지속적인 탐색을 달성했으며, Cradle Zhang et al. (2023)는 멀티모달 LLM을 활용하여 Red Dead Redemption 2와 같은 시각적으로 복잡한 환경을 처리했다. UI-TARS Wu et al. (2024)와 같은 다른 연구들은 임의의 UI와 상호작용할 수 있는 제너럴리스트 에이전트(generalist agents)를 탐구했다. 또한 LLM 에이전트는 가상 커뮤니티 Park et al. (2023)에서 사회적 행동을 시뮬레이션하는 데 적용되었으며, Chimera Yu et al. (2025)과 같은 멀티 에이전트 프레임워크는 행동 자동화가 필요한 복잡한 과업을 위한 협력형 에이전트의 유용성을 보여준다. 이러한 접근 방식들은 LLM 기반 게임플레이의 가능성을 보여주지만, 종종 도메인 특화 설계, 고비용의 데이터 요구사항 또는 취약한 적응성으로 인해 제한되며, 이는 대규모 MMORPG 테스트에 대한 직접적인 적용을 저해한다.

3 Design

그림 2: TITAN 게임 테스트 프레임워크(TITAN Game Testing Framework) 개요.

TITAN 에이전트(agent)는 4개의 주요 구성 요소의 지원을 받아 테스트 대상인 MMORPG와 상호작용하며 루프(loop) 방식으로 작동한다. 본 섹션에서는 TITAN의 각 구성 요소에 대한 상세한 설계를 제시하며, 이들의 협업 워크플로우(workflow)는 그림 2에 도식화되어 있다.

3.1 Overview

우리는 전문가 테스터가 MMORPG(다중 사용자 온라인 역할 수행 게임) 테스트를 수행하는 방식인 게임 상태 인지, 의미 있는 행동 선택, 진행 상황 성찰, 그리고 문제 진단 과정을 반영하여 TITAN의 워크플로우를 설계했다. TITAN의 핵심은 파운데이션 모델(foundation model)이 고차원적 추론을 주도하고, 보조 모듈들이 폐루프 상호작용(closed-loop interaction)을 위한 인지, 행동 스캐폴딩(action scaffolding), 그리고 진단 오라클(diagnostic oracles)을 제공하는 구조이다. TITAN이 게임 내의 한 작업을 테스트하기 위한 상세 워크플로우는 알고리즘 1에 제시되어 있다.

TITAN의 각 루프에서 인지 모듈(perception module)은 멀티모달 게임 상태를 캡처하고, 이를 전문가가 권장하는 특징으로 추상화합니다. 게임 문서와 휴리스틱(heuristics)은 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 데이터베이스를 통해 검색되어 의사결정을 안내합니다. TITAN은 현재 상태와 가능한 행동을 바탕으로 행동을 선택하고 실행하며, 과제 완수와 탐색 사이의 균형을 맞추기 위해 커버리지 맵(coverage maps)을 유지합니다. 진행이 정체되면, 성찰적 추론(reflective reasoning)이 스크린샷과 이력을 재검토하여 전략을 조정합니다. 실행 과정 중에는 이슈 진단 모듈이 완료 불가능한 과제, 크래시(crashes), 속도 저하를 포함한 오류를 모니터링하며, 이를 문맥적 추적 정보가 포함된 로그로 기록합니다. 이러한 기록은 개발자의 버그 트리아지(bug triage, 우선순위 선정 및 분류)를 돕는 자동 보고서로 생성됩니다. 전반적으로 TITAN은 숙련된 인간 테스터의 추론 과정을 모방하여 테스트 전략을 동적으로 적응시킵니다.

3.2 지각 추상화 모듈 (Perception Abstraction Module)

지각 추상화 모듈(Perception Abstraction Module)은 MMORPG에서 발생하는 고차원적이고 이질적인 게임 상태(game states) 문제를 해결합니다. 숙련된 MMORPG 테스터들의 전문 지식을 바탕으로 분석한 결과, 각 게임이 상태를 구현하는 방식은 서로 다르지만, 그 안에는 일련의 근본적인 요소와 공통 속성(예: 플레이어 위치, 체력, 인벤토리)이 존재한다는 것을 확인했습니다. 그러나 이러한 원시 상태(raw state) 전체를 자동화된 게임 테스트에 직접 입력하는 것은 불가능합니다.

MMORPG에서 원시 상태(raw state)는 연속값(continuous values, 예: 지도 좌표, 체력 포인트, 마나, 타이머), 범주형 값(categorical values, 예: 현재 작업 단계 식별자, 날씨 조건), 그리고 객체 집합(sets of objects, 예: 주변 NPC, 인벤토리 내 아이템)을 포함할 수 있다. 이러한 원시 데이터를 모두 대규모 언어 모델(LLM)에 전달하는 것은 문제가 될 수 있다. 입력 데이터가 모델의 컨텍스트 길이(context length)를 초과할 수 있으며, LLM이 원시 숫자를 정확하게 해석하지 못할 수 있기 때문이다. 이를 완화하기 위해 TITAN은 먼저 특징 선택(feature selection)과 이산화(discretization)를 수행한다.

우리는 전문 테스터 및 디자이너와 협력하여 MMORPG의 일반적인 진행과 관련된 핵심 상태 요소(state factors)를 식별하며, 이는 템플릿 참조(template references) 역할을 한다. 여기에는 플레이어 위치, 현재 게임 목표(게임 로그 기반), 플레이어 생체 정보(player vitals, 예: 체력, 마나), 주변의 상호작용 가능한 NPC 또는 아이템, 그리고 활성화된 상태 효과(status effects)가 포함된다. 테스트와 직접적으로 관련이 없는 데이터(예: 온라인 환경에서의 타인 정보)는 걸러낸다.

추상화하기 어려운 연속 변수(continuous variables)의 경우, 우리는 의미 있는 버킷(buckets)을 정의한다. 예를 들어, 플레이어의 체력이나 마나는 전문가가 정의한 임계값(예: 낮은 체력(Low HP) < 20%)에 따라 '높음', '중간', '낮음'으로 추상화된다. 시간 정보는 적절한 경우 거친 범주(예: 낮/밤)로 축소된다. 그 후, 추상화 도구(abstractor)는 선택된 특징들을 간결한 텍스트 또는 기호 형식으로 정제하고 인코딩한다. 상태를 고차원 개념(high-level concepts)에 기반하여 접지(grounding)하는 것은 탐색 공간을 획기적으로 줄여준다. 사전 정의된 규칙에 따라, 거대언어모델(LLM)은 의사결정을 내리기 전에 이러한 추상화된 상태를 선제적으로 분석하고 해석한다. 이러한 추상화는 일반화에 매우 중요하다. 새로운 게임의 상태가 비교 가능한 기술어(예: 체력 높음/중간/낮음, 의미론적 영역)로 매핑될 수만 있다면, 동일한 프롬프팅 로직을 서로 다른 MMORPG에 걸쳐 적용할 수 있기 때문이다. 이식성을 높이기 위해, 추상화 규칙은 게임에 종속되지 않는 템플릿(game-agnostic templates)으로 구현되며, 각 게임에 특화된 메타데이터 파일을 통해 구성된다. 이 파일은 상태 단위와 그에 따른 추상화 체계를 정의한다.

3.3 행동 최적화 모듈 (Action Optimization Module)

TITAN 프레임워크의 두 번째 구성 요소는 행동 최적화 모듈(Action Optimization Module)로, 이는 오픈 월드 게임에서 에이전트(agent)가 직면할 수 있는 결정 마비(decision paralysis) 문제를 해결합니다. 실제 MMORPG 테스트 시나리오에서 플레이어(또는 에이전트)는 특정 상태에서 어느 방향으로든 이동하기, 사물과 상호작용하기, 기술 사용하기 등 방대한 수의 가능한 행동을 가집니다. 이러한 행동의 대부분은 현재의 작업 문맥과 무관하거나 심지어 유효하지 않은 것입니다. 예를 들어, 플레이어가 NPC와 대화 중이라면 '공격(Attack)' 행동은 무관할 뿐만 아니라 부적절하며, 마찬가지로 플레이어의 체력 바가 가득 차 있다면 '치유 물약 사용(Use of HealingPotion)'은 별 의미가 없습니다. 도메인 지식(domain knowledge)이 없는 단순한 에이전트는 여전히 이러한 선택지들을 고려하게 되며, 이는 시간을 낭비하고 대규모 언어 모델(LLM)을 혼란스럽게 만듭니다.

우리는 이를 해결하기 위해 테스트 중인 게임을 위한 일련의 고수준 행동 템플릿(high-level action templates)을 정의한다. 일반적인 템플릿으로는 Move(to=Location), Talk(to=NPC), Attack(target), Use(Item), PickUp(Item), 그리고 Explore(Direction) 등이 있다. 이러한 템플릿들은 LLM 에이전트가 호출할 수 있는 "도구" 역할을 하며, 각 템플릿은 NPC 이름, 아이템 이름 또는 좌표와 같은 매개변수(parameters)를 통해 구체화될 수 있다.

우리의 행동 최적화 모듈(Action Optimization Module)에 대한 직관적인 설계는, 이 모듈이 거대언어모델(LLM)의 행동 선택을 위한 사전 선택 필터 및 조언자 역할을 수행하도록 하는 것입니다. 구체적으로는 다음과 같습니다: ❶ MMORPG 전문가들의 도메인 지식(domain knowledge)을 바탕으로, 우리는 행동-상태 관련 규칙(action–state relevance rules)을 정의합니다. 게임 상태가 미리 정의된 규칙과 일치하면, 검색 증강 생성(RAG) 데이터베이스가 해당 규정을 검색하고 LLM에 권장할 행동 묶음(action bundle)을 구성합니다. ❷ 또한, LLM은 게임 문서와 작업 설명을 바탕으로 행동-상태 문맥 쌍(action–state context pairs)을 추출하여 추가적인 권장 사항을 생성합니다. 요약된 규칙에는 다음과 같은 일반적인 MMORPG 특징들이 포함됩니다:

• • 1. 특정 NPC 또는 장소와 관련된 활성화된 게임 목표(game objective)가 있는 경우, 해당 NPC 또는 장소로 이동하거나 그와 상호작용(interacting)하는 행동을 우선적으로 수행하라.
• • 2. 전투 중 플레이어의 체력(HP)이 낮을 경우, 생존을 도외시하기보다는 치유 아이템을 사용하거나 퇴각(retreatting)할 것을 권고한다.
• • 3. 인벤토리에 게임 과제 관련 아이템(예: 열쇠)이 포함되어 있고 목표가 그것을 사용하는 것이라면, 해당 아이템을 사용하는 행동을 포함하라.

이러한 권장 사항들은 부분적으로는 결정론적 논리(deterministic logic)로, 부분적으로는 거대언어모델(LLM) 기반의 휴리스틱(heuristics)으로 인코딩됩니다. 후자의 경우, 우리는 퓨샷 프롬프팅(few-shot prompting)을 활용하여 에이전트가 행동 우선순위 선정(예: "작업 설명과 가능한 행동 목록이 주어졌을 때, 어떤 행동이 가장 관련성이 높은지 출력하라")을 수행하도록 합니다. 이는 규칙만으로는 불충분한 미묘한 맥락에서 특히 유용합니다. 예를 들어, 어떤 작업이 "숨겨진 동굴을 찾아라"라고 명시할 경우, LLM은 두 행동 모두 기술적으로 유효한 움직임일지라도 Explore(north)가 Talk(to=TownGuard)보다 더 관련성이 높다는 것을 추론할 수 있습니다.

최적화 모듈은 권장 번들(recommended bundle, 약 5개의 행동)을 생성하며, 이는 다음 단계인 의사결정 단계로 전달됩니다. LLM은 이러한 권장 사항에 엄격하게 제한되는 것은 아니며, 최적의 선택지가 없는 경우를 대비해 유연성을 유지하지만, 프롬프트는 모델이 이러한 행동을 선택하도록 유도합니다. 선택된 행동이 권장된 것이든 그렇지 않든, 실행 전에 구문적으로 유효한지 확인하기 위해 검증 스크립트(validation script)가 준비됩니다.

문맥상 타당한 행동들로 선택지를 제한함으로써, 거대언어모델(LLM)은 무관한 선택지를 나열하는 데 토큰을 낭비하지 않으며, 터무니없는 결정이 내려질 가능성을 최소화합니다. 이러한 설계는 숙련된 테스터가 주어진 상황에서 가장 유망한 행동에 본능적으로 집중하는 것과 유사하게, 인간과 유사한 직관적 여과(intuition filtering)를 반영합니다.

3.4 성찰적 추론 모듈 (Reflective Reasoning Module)

성찰적 추론 모듈(Reflective Reasoning Module)은 길고 복잡한 작업 시퀀스(task sequences)를 처리하고 난관에 직면했을 때 스스로를 교정(self-correct)할 수 있도록 하는 TITAN 설계의 핵심 요소이다. 이 모듈은 지각 모듈(perception module)로부터 얻은 상태 정보, 행동 최적화 모듈(action optimization module)이 생성한 행동 권장 사항, 누적된 행동 추적 기록(action trace history), 그리고 내부적으로 유지되는 상태 커버리지 맵(state coverage map)을 바탕으로 다음 행동을 선택하고 게임과 상호작용한다. 각 실행 단계가 끝날 때마다, TITAN은 선택한 행동을 추적 기록에 추가하고 현재 상태를 반영하여 커버리지 맵을 업데이트한다. 이러한 전역적이고 작업 중심적인 메모리는 에이전트가 두 가지 목표, 즉 현재 작업을 완수하는 것과 커버리지를 높이기 위해 덜 탐색된 영역을 탐색하는 것 사이에서 균형을 맞출 수 있도록 돕는다.

전문가 테스터들이 사용하는 메타 인지(meta-cognitive) 전략에서 영감을 얻은 이 모듈은 두 가지 핵심 기능인 진행 모니터링(progress monitoring)과 멀티모달 문맥(multimodal context)을 활용한 자기 성찰(self-reflection)을 제공하며, 이는 기존 자동화 테스트에서 나타나는 적시 행동 피드백의 부재와 취약한 전역적 상황 인식(global situational awareness) 문제를 동시에 해결한다.

진행 모니터링(Progress Monitoring). TITAN이 행동을 수행함에 따라, 시스템은 테스트 진행 상황을 추적한다. 우리는 주요 작업 상태의 완료 비율, 게임 상태의 진전 여부, 그리고 커버리지 다양성(coverage diversity, 예를 들어 행동의 풍부성)의 증가 여부와 같은 단순한 작업 상태 지표(task-status metrics)를 활용한다. 측정 가능한 진전이 없는 상태로 설정된 횟수의 연속된 행동이나 고정된 시간 간격이 경과하면, TITAN은 성찰적 추론(reflective reasoning) 메커니즘을 작동시켜 에이전트가 상황을 재분석하고 현재의 교착 상태(impasse)를 벗어나기 위한 대안적 전략을 고려하도록 한다. 1 1 1 임계값(Thresholds)은 테스트 예산에 따라 구성할 수 있다. 본 실험에서는 경험적 결과를 바탕으로 진전이 없는 20회의 연속 행동을 트리거로 설정했다. 이 메커니즘은 도달 불가능한 상태나 누락된 트리거와 같은 논리적 버그를 감지하는 데에도 도움이 된다.

성찰 프롬프팅(Reflection Prompting). 성찰이 트리거되면, TITAN은 일반적인 의사결정을 일시 중단하고 거대언어모델(LLM)에 성찰 프롬프트를 발행한다. 이 프롬프트에는 현재의 추상적 상태(abstract state), 주요 게임 정보, 그리고 진행 중인 작업에 대한 행동 및 상태 이력의 간결한 요약이 포함된다. 이러한 이력은 LLM이 이전 단계에서 발생했을 수 있는 오류를 진단하고, 간과했을 수 있는 대안적인 경로를 도출할 수 있게 한다. 그 후 LLM은 분석과 계획을 생성한다. 만약 성찰 결과가 대안적인 전략을 제안하면, TITAN은 제안된 행동을 후속 단계에 통합한다. 만약 성찰 결과가 버그를 강력하게 시사한다면, TITAN은 해당 시나리오를 잠재적 결함으로 표시하며, 보고를 확정하기 전에 선택적으로 소수의 확인 단계를 시도한다. 작업 상태 진행 실패에 대한 프롬프트 예시는 아래와 같다.

실행 범위 메모리(Execution Coverage Memory). TITAN은 에피소드 내의 성찰을 넘어, 이전 에피소드에서 얻은 지식을 재사용한다. 우리는 동일하거나 유사한 게임 과업의 이전 실행에서 탐색된 추상적 상태(abstract states)와 행동(actions)에 대한 지속적인 메모리를 유지하며, 각 전이(transitions)에 성공 또는 버그 발생과 같은 결과를 태그로 지정한다. 이는 상태-행동 전이 그래프(state–action transition graph)로 표현되는 커버리지 맵(coverage map)을 형성한다. 새로운 테스트를 수행할 때, TITAN은 행동 선택의 근거를 얻기 위해 이 메모리를 참조한다. 예를 들어, 특정 상태-행동 쌍을 여러 번 시도했음에도 진전이 없었다면, 에이전트는 이를 후순위로 미루고 시도하지 않았거나 유망한 대안을 우선적으로 고려한다. 이러한 교차 실행 성찰(cross-run reflectiveness)은 인간 테스터가 이전 세션으로부터 학습하는 방식과 유사하며, 가이드 없는 탐색 없이도 여러 실행에 걸쳐 커버리지를 체계적으로 높이는 데 도움을 준다.

이러한 메커니즘들이 결합하여 TITAN이 단순히 행동을 순차적으로 수행하는(naively step through actions) 방식을 취하지 않도록 보장합니다. 대신, TITAN은 진행 상황에 대해 지속적으로 추론하고, 필요에 따라 전략을 조정하며, 경험을 축적함으로써 시간이 흐를수록 더욱 효과적으로 작동하게 됩니다.

3.5 이슈 진단 모듈 (Issue Diagnosis Module)

실행 과정에서 TITAN의 이슈 진단 모듈(Issue Diagnosis Module)은 잠재적인 MMORPG 이슈를 자동 탐지하고 보고하는 우리의 접근 방식을 구체화합니다. 대규모 게임과 같은 복잡한 시스템을 테스트할 때, 일부 오라클(oracles)은 단순하지만(예: 크래시는 항상 버그임), 다른 많은 오라클은 문맥적, 기능적 또는 논리적 추론을 필요로 하며 이는 오랫동안 주요 과제였습니다. 이를 해결하기 위해 TITAN은 다음과 같은 보완적인 여러 오라클을 통합합니다.

크래시 모니터(Crash Monitor). 이 구성 요소는 테스트 중 발생하는 처리되지 않은 예외(unhandled exceptions), 크래시(crashes) 또는 게임의 강제 종료를 감지합니다. 우리는 크래시 이벤트를 캡처하기 위해 게임 클라이언트를 인스트루먼트(instrument)합니다. 모든 크래시는 해당 크래시를 유발한 상태 및 액션 트레이스(action trace)와 함께 즉시 버그로 기록됩니다.

작업 상태 모니터(Task Status Monitor). 만약 성찰적 추론 모듈(Reflective Reasoning Module)이 중단된 작업 실행(stalled task execution) 임계값을 초과하면, TITAN은 현재 작업이 기존 조건 하에서 완료될 수 없다고 결론짓는다. 모듈은 아무런 반응 없이 실패하는 대신, 잠재적인 고착(stuck) 문제를 표시하는 오라클(oracle)을 트리거한다. LLM의 성찰적 출력은 다음과 같은 내용을 포함하는 구조화된 진단 보고서를 생성하는 데 사용된다: ❶ 작업 및 목표에 대한 간략한 설명, ❷ 에이전트가 시도한 작업 요약, ❸ TITAN이 게임 작업을 고착되었다고 판단하는 이유에 대한 분석, ❹ 추상적 상태 세부 정보나 스크린샷과 같은 증빙 자료. 이러한 보고서는 인간의 검토를 위해 저장되며, 개발자를 위한 티켓으로 제출될 수도 있다. 인력 구성의 제약과 반복 작업의 긴급도에 따라, 이러한 보고서의 수용 임계값은 조정될 수 있으며, 이를 통해 표시된 모든 사례가 추가적인 분류(triage)를 위한 잠재적 문제로 활용될 수 있다.

실행 시간 모니터(Execution Time Monitor). 차분 테스트(differential testing) Song et al. (2025); Castellano et al. (2022)를 고려하는 소프트웨어 공학의 기존 연구에서 영감을 얻어, 우리는 액션(action)과 태스크(task) 모두의 실행 시간을 모니터링하는 오라클(oracle)을 설계했다. 각 액션 유형은 기록된 평균 실행 시간을 바탕으로 예상 소요 시간을 갖는다(이 오라클은 첫 실행 시에는 비활성화된다). TITAN이 유의미한 편차를 관찰하면(예: 일반적으로 1초 이내에 완료되는 액션이 10초 이상 소요되거나, 5분 내에 종료될 것으로 예상되는 게임 태스크가 진행 없이 15분 동안 지속되는 경우), 성능 이상(performance anomaly)으로 표시한다. 이러한 이상은 무한 루프(infinite loops), 서버 렉(server lag) 또는 리소스 누수(resource leaks)와 같은 문제를 나타낼 수 있다. 이러한 문제들은 반드시 게임을 중단시키지는 않지만 사용자 경험을 심각하게 저하시킬 수 있으며, 다른 오라클들이 간과하는 경우가 많다. 이 오라클의 민감도는 조정이 가능하다. 좁은 편차 임계값(threshold)은 더 높은 탐지 범위를 제공하지만 오탐(false positives)을 증가시키고, 반대로 넓은 임계값은 오탐을 줄이지만 미세한 버그를 놓칠 위험이 있다.

이러한 오라클(oracle)들을 결합함으로써, TITAN은 광범위한 문제들을 자동으로 탐지한다. TITAN의 전체 오탐률(false alarm rate)은 30%로, 실제 적용 시 비교적 낮은 수준이며, 대부분의 오탐(false positive)은 상태 추상화(state abstraction) 과정 중 불완전한 환경 적응으로 인해 발생한다. 에이전트의 탐색적 행동과 이러한 탐지 메커니즘 간의 시너지는 MMORPG 테스트를 위한 견고하고 자율적인 프레임워크를 구축한다.

알고리즘 1 TITAN 프레임워크(framework) 알고리즘.

Input :  Game environment $\mathcal{G}$ (control APIs, state info, screenshots);

Expert knowledge $\mathcal{K}$; Reflection & oracle thresholds $(X,Y,T)$;

Action feasibility rules $\Phi$, Test objective $\mathcal{O}$ (e.g., complete task $q$, maximize coverage).

Output :  Potential issue set $\mathbb{I}$; Diagnosis reports $\mathbb{R}$.

1 Initialize: $\mathbb{I}\leftarrow\varnothing$, $\mathbb{R}\leftarrow\varnothing$; Global coverage map $\mathbb{C}\leftarrow$ load prior abstract state map; Action history $\mathbb{H}\leftarrow\varnothing$.

2 while scenario not terminated do

   // 1) Perception & Abstraction

    3 Raw state $s_{\text{raw}}\leftarrow$ ReadState$(\mathcal{G})$; Screenshot $I\leftarrow$ Capture$(\mathcal{G})$ (in reflective mode);

    4 $s\leftarrow$ StateAbstractor$(s_{\text{raw}},\mathcal{K})$;

    5 UpdateCoverage$(\mathbb{C},s)$;

   // 2) Action Space Optimization

    6 $\mathcal{A}_{\text{cand}}\leftarrow$ EnumerateTemplates$(\mathcal{A},s)$; $\mathcal{A}\leftarrow\textsc{ReadActions}(\mathcal{G})$;

    7 $\mathcal{A}_{\text{feas}}\leftarrow\{a\in\mathcal{A}_{\text{cand}}\mid\Phi(a,s)=\textsf{true}\}$;

    8 $\mathcal{A}_{\text{rec}}\leftarrow$ LLM-Recommend$(s,\mathcal{O},\mathcal{A}_{\text{feas}},\mathbb{C})$;

   // 3) LLM Reasoning & Act

    9 $a^{\star}\leftarrow$ LLM-Decide$(s,\mathcal{O},\mathcal{A}_{\text{rec}},\mathbb{H})$;

    10 if Validate$(a^{\star},\Phi)=\textsf{false}$ then

       11 $a^{\star}\leftarrow$ Fallback$(\mathcal{A}_{\text{rec}})$

    12 $o\leftarrow$ Execute$(\mathcal{G},a^{\star})$; $\mathbb{H}\leftarrow\mathbb{H}\cup\{(s,a^{\star},o)\}$;

   // 4) Execution Monitoring & Reflection

    13 if NoCoverageImprove$(\mathbb{H},X)$ or Timeout$(T)$ then

       14 $\pi_{\text{refl}}\leftarrow$ LLM-Reflect$(s,\mathbb{H},I,\mathcal{O})$;

       15 if BugSuspected$(\pi_{\text{refl}})$ then

          16 $(\iota,\rho)\leftarrow$ MakeDiagnosis$(\pi_{\text{refl}},s,\mathbb{H},I)$; $\mathbb{I}\leftarrow\mathbb{I}\cup\{\iota\}$, $\mathbb{R}\leftarrow\mathbb{R}\cup\{\rho\}$

          17 if EscalationCount$\geq Y$ then

             18 break

       19 else

          20 InjectPlan$(\mathcal{A}_{\text{rec}},\pi_{\text{refl}})$; continue

   // 5) Optimized Oracle for MMORPG

    21 if CrashDetected$(\mathcal{G})$ then

       22 $(\iota,\rho)\leftarrow$ ReportCrash$(s,\mathbb{H})$; $\mathbb{I}\leftarrow\mathbb{I}\cup\{\iota\}$, $\mathbb{R}\leftarrow\mathbb{R}\cup\{\rho\}$; break

    23 if LogicAnomaly$(\mathbb{H})$ or TimeAnomaly$(\mathbb{H})$ then

       24 $(\iota,\rho)\leftarrow$ ReportToExpert$(s,\mathbb{H},\mathcal{K})$; $\mathbb{I}\leftarrow\mathbb{I}\cup\{\iota\}$, $\mathbb{R}\leftarrow\mathbb{R}\cup\{\rho\}$

    25 if TaskComplete$(\mathcal{G},\mathcal{O})$ then

       26 break

27 return $(\mathbb{I},\mathbb{R})$

4 실험 설정

4.1 목표 게임(Target Games)

우리는 평가를 위해 협력 기업으로부터 두 개의 대형 상용 MMORPG(다중 사용자 온라인 역할 수행 게임)를 선정하였으며, 익명성을 위해 이를 게임 A와 게임 B로 지칭한다. 구체적으로, 게임 A는 오픈 월드 무협 테마를 가진 PC 기반 3D MMORPG로, 출시된 지 5년 이상 되었으며 실시간 전투, 방대한 게임 시스템, 광대한 월드 영역을 특징으로 하며 일일 활성 사용자 수(DAU)가 수십만 명에 달한다. 게임 B는 출시된 지 10년이 되었고 수백만 건의 다운로드를 기록한 모바일 MMORPG(Android/iOS)이다. 이 게임은 다양한 게임 과업을 지원하기 위해 탑다운 뷰(top-down perspective), 탭 기반 조작, 자동 경로 탐색(auto-pathfinding) 방식을 채택하고 있다.

이 두 게임은 주제적 스타일, 조작 체계(control schemes), 그리고 플레이어 규모에서 차이가 있으며, 이는 TITAN의 일반화 능력(generalization ability)을 평가하기 위한 견고한 테스트베드(testbed)를 제공합니다. 중요한 점은, 우리는 TITAN의 기초 모델 백본(foundation model backbone)을 미세 조정(fine-tune)하지 않았으며, 상태 추상화 템플릿(state abstraction templates)만을 각 게임의 API 및 콘텐츠에 맞게 조정했다는 것입니다. 이러한 조정은 게임당 5분 미만의 일회성 설정 작업만으로 가능합니다.

4.2 평가 과제

선택된 두 가지 게임에 대해, 우리는 예상 소요 시간과 전반적인 상태-행동 복잡도(state–action complexity)를 기준으로 모든 과업을 난이도와 복잡성에 따라 분류하였다. 과업은 세 가지 범주인 쉬움(Simple, 약 10개의 상태-행동 쌍), 보통(Normal, 약 20개의 상태-행동 쌍), 어려움(Hard, 20개 이상의 상태-행동 쌍)으로 그룹화되었다. 제한된 실험 시간으로 인해, 각 게임에서 10개씩 총 20개의 과업을 선정하였으며, 이는 표 1에 요약된 바와 같이 세 가지 범주에 걸쳐 균등하게 샘플링되었다.

많은 과제가 다단계 작업 경로(multi-step task lines)에 해당하기 때문에, 일부 시나리오에서는 접근하기 어려운 위치에 도달하거나 선택적인 게임 작업 분기(optional game task branches)를 활성화해야 하는 상황이 포함됩니다. 본 평가에 사용된 버그들은 게임 개발자들이 이전에 보고한 이슈들로, 6개월간의 버그 추적 및 재현 가능성 분석(reproducibility analysis)을 통해 추출되었습니다. 중요한 점은, TITAN이나 기존 베이스라인(baseline) 방법론 모두 버그의 존재 여부나 위치에 대한 정보를 제공받지 않는다는 것입니다. 이들은 오직 작업 설명(task description)만을 제공받으며, 해당 시나리오를 수행하는 과정에서 이상적으로는 실행 중에 버그를 발견해야 합니다.

표 1: 선정된 과제 목록

		Game A		Game B
Task	Difficutly	State	Action	State	Action
1	Simple	9	6	8	5
2	Simple	11	8	6	5
3	Simple	15	8	13	9
4	Normal	14	11	19	11
5	Normal	19	11	15	14
6	Normal	20	13	16	14
7	Normal	26	18	18	18
8	Hard	23	21	28	20
9	Hard	32	25	25	23
10	Hard	33	27	25	30

4.3 기초 방법론 (Baseline Methods)

우리는 TITAN의 성능을 효율성(efficiency)과 효과성(effectiveness) 측면에서 세 가지 기준 방식(baseline approaches)과 비교하였다.

심층 강화 학습(Deep Reinforcement Learning, DRL) 기반 접근 방식. 본 연구에서는 게임 테스트를 위한 최첨단 DRL 기반 방법으로 Wuji Zheng et al. (2019)를 선정한다. 구체적으로, 우리는 원 논문에 기술된 구성과 설계를 따르며, 두 가지 목표를 가진 Wuji의 진화적 DRL(evolutionary DRL) 알고리즘을 재구현한다. 그 목표는 ❶ 과제 완료(task completion)로, 과제를 완료할 경우 +1의 보상을 부여하고 중간 단계에서 가능할 경우 부분 보상을 부여하며, ❷ 탐색(exploration)으로, 원본 설계와 일관되게 새로운 상태 특징(state features)을 방문할 때 보상을 부여하는 것이다. 우리는 온더플라이(on-the-fly) 테스트 설정 하에서 게임 A와 게임 B를 위한 개별 에이전트를 훈련한다. 평가되는 각 과제에 대해, Wuji 에이전트는 버그를 발견하거나, 과제를 완료하거나, 또는 60분의 시간 제한에 도달할 때까지 훈련과 탐색을 지속한다.

LLM 에이전트 기반 접근 방식. 비교를 위해 가장 널리 사용되는 LLM 기반 에이전트 프레임워크 중 하나인 ReAct Yao et al. (2023)를 선정했다. 우리는 TITAN과 동일한 기초 LLM(Foundation LLM) 모델을 사용하며, 이 모델들은 4.4에 상세히 기술된 바와 같이 게임 상태를 관찰하고 그에 따른 추론 단계와 대응하는 행동을 교대로 출력하도록 프롬프팅(Prompting)된다. 에이전트에게는 게임의 원시 상태 덤프(Raw state dump)가 제공되며, 에이전트는 어떠한 행동도 자유롭게 출력할 수 있다. 우리는 해당 행동이 구문적으로 유효할 경우 이를 실행하도록 시도한다. 이 베이스라인(Baseline)은 추가적인 도메인 특화 최적화 없이 기성(Off-the-shelf) LLM 에이전트가 MMORPG 테스트 작업에서 어느 정도의 성능을 발휘하는지 평가하기 위해 설계되었다.

인간 테스트. 우리는 협력 기업 소속의 전문 테스터들을 또 다른 기준점(baseline)으로 포함했다. 일반적인 게임 테스트 관행에 익숙하지만, 해당 두 게임은 처음 접하는 3명의 숙련된 MMORPG QA(품질 보증) 테스터를 모집했다. 각 테스터는 선정된 과업 중 일부를 세 번씩 수행하며, 무작위성을 줄이기 위해 평균 성과를 산출한다. 테스터들에게는 과업 설명과 게임 매뉴얼이 제공되며, 테스터는 본인이 적절하다고 판단하는 방식에 따라 시간과 노트를 관리할 수 있다. 각 과업에 대해 우리는 과업 완료 여부, 테스트 커버리지(test coverage), 그리고 테스터가 버그를 성공적으로 탐지했는지 여부를 측정한다.

우리는 순수하게 스크립트 기반의 테스트(scripted testing)와 비교하는 방안을 고려했으나, 선택된 과제들, 특히 복잡한 범주(complex category)에서 나타나는 다양한 상태와 유연한 시나리오로 인해 그러한 기준점(baselines)을 설정하는 것은 비실용적이며, 해당 범주에서 고유한 솔루션을 스크립트로 구성하는 것은 불가능하다. 대신, 인간의 테스트 결과는 테스트 효율성이 낮음에도 불구하고, 잘 설계된 수동 테스트 케이스(manual test cases)의 대리 지표(proxy)로 간주될 수 있다.

4.4 파운데이션 모델(Foundation Models) 및 실험 장치

실험 과정에서 우리는 API 예산 제약으로 인해 TITAN과 ReAct 모두에 OpenAI GPT-4o를 백본 모델(backbone model)로 사용했다. 결정론적 출력(deterministic outputs)을 보장하고 실행 간의 변동성을 줄이기 위해 템퍼러처(temperature)를 0으로 설정했다. 프롬프트 설계에는 에이전트에게 테스터의 역할을 부여하는 시스템 메시지와 게임별 맥락이 포함되었다. 일반적인 의사결정 단계와 성찰(reflection) 단계 모두에 퓨샷(few-shot) 예시를 제공했다. 모든 실험은 2.40GHz로 작동하는 AMD EPYC 9654 96코어 프로세서가 장착되어 총 192개의 코어와 1TB의 RAM을 제공하는 두 대의 고성능 서버에서 수행되었다.

실험 결과의 신뢰성. 모든 결과는 TITAN 및 자동화된 테스트 베이스라인(automated testing baselines, Wuji, ReAct)에 대해 5회 실행을 기준으로 평균을 낸 값이다. Wuji의 결과는 5개의 독립적인 훈련 시드(training seeds)를 기준으로 평균을 낸 것이다. 인간 테스트(Human testing) 결과는 무작위성을 더욱 완화하기 위해 모집된 테스터들을 통해 3회 집계되었다.

5 평가 결과

이 섹션에서는 실험 결과를 제시하고 각 연구 질문을 순차적으로 다룹니다. 전반적으로 TITAN은 모든 주요 지표에서 우수한 성능을 보여주었으며, 이는 게임 테스트에 있어 LLM(거대언어모델) 기반이면서도 구조화된 접근 방식이 갖는 장점을 입증합니다. 기존의 자동화된 방법들과 비교했을 때, TITAN은 더 높은 효과성과 강건성(robustness)을 달성했으며, 테스트 효율성 측면에서도 인간 전문가를 능가하는 성능을 보였습니다.

5.1 RQ1: 작업 수행 성능(Task Completion Performance)

우리는 먼저 두 가지 핵심 차원인 과업 완수 능력(task completion ability)과 상태 탐색 능력(state exploration capacity) 측면에서 다양한 방법론의 성능을 조사한다. 실제 MMORPG 테스트에서 현대 게임의 복잡성이 증가함에 따라, 게임 과업을 안정적으로 완수하는 능력은 품질 보증(quality assurance)의 기초가 된다. 우리는 선정된 두 게임에서 추출한 20개의 과업을 대상으로 모든 방법론을 평가하며, 여러 차례의 실행을 통해 달성된 과업 성공률과 상태 커버리지(state coverage)를 모두 측정한다. 표 2은 그 결과를 요약하여 보여준다.

연구 결과, TITAN은 평가된 과제의 95%를 성공적으로 완수하며 전문 인간 테스터가 달성한 100%의 성공률에 근접하는 성과를 보였다. 이와 대조적으로, 베이스라인 모델들은 뒤처졌다. 심층 강화 학습(DRL, Deep Reinforcement Learning) 기반의 Wuji는 약 82%의 과제를 완수했으며, 일반적인 LLM 에이전트(LLM agent)인 ReAct는 83%만을 완수했다. 이러한 성능 차이는 복잡한 게임 과제를 수행하는 데 있어 TITAN의 효과성을 입증한다. 특히, TITAN은 모든 단순 및 일반 과제를 해결했으며, 매우 긴 행동 체인(action chains)을 포함하는 복잡한 과제에서만 두 차례 실패했다. 반면, ReAct는 과제 초기에 자주 멈추는 현상이 발생했고, Wuji는 허용된 시간 제한 내에 실행 가능한 전략으로 수렴(converge)하지 못하는 경우가 종종 발생했다.

작업 성공 여부 외에도, 우리는 각 방법이 달성한 상태 범위(state coverage)를 측정했다. TITAN은 일관되게 가장 많은 수의 고유 추상 상태(abstract states)를 방문했으며, 모든 시나리오에서 결합된 고유 상태 공간의 평균 73.26%를 커버했다. Wuji는 탐색적 설계(exploratory design)에도 불구하고 약 54.54%의 커버리지에 도달한 반면, ReAct는 59.98%에 그쳤으며, 가이드가 불충분하여 반복적인 패턴에 갇히는 경우가 잦았다. TITAN의 장점은 성찰적 추론(reflective reasoning)과 커버리지 메모리(coverage memory)에 있으며, 이는 반복되는 실행에서 대안적인 경로를 탐색하도록 유도한다. Wuji의 탐색은 광범위했으나, 훈련 중에 학습된 정책 편향(policy biases)에 의해 제약이 따랐다.

이러한 결과는 TITAN이 핵심 과업을 수행하는 데 뛰어날 뿐만 아니라, 철저한 테스트를 위해 필수적인 훨씬 더 높은 커버리지(coverage)를 달성한다는 것을 시사한다. 효과적인 MMORPG 테스트를 위해서는 미세한 버그나 엣지 케이스(edge-case) 버그를 찾아내기 위해 과업 완수와 테스트되지 않은 상태의 탐색 사이에서 균형을 맞추는 것이 중요하다. TITAN은 주요 목표를 추구하면서도 미개척 시나리오를 탐색하기 위해 전략적으로 경로를 이탈함으로써 이러한 균형을 보여준다.

표 2: 두 MMORPG의 작업 완수 성공률(Success Rate, SR) 및 상태 커버리지(State Coverage, CV) 비교 결과.

	Game A
	TITAN		ReAct		Wuji		Human
Task	SR (%)	CV (%)	SR (%)	CV (%)	SR (%)	CV (%)	SR (%)	CV (%)
1	100	82.11	60	78.95	60	68.42	100	15.79
2	100	76.25	100	33.75	100	100.00	100	29.67
3	100	50	100	24	100	64.00	100	40
4	100	57.26	100	48.38	80	66.13	100	27.42
5	100	93.43	100	27.27	80	42.42	100	17.17
6	100	64.5	100	62	100	68.87	100	21.19
7	100	68.75	100	40.63	80	25.62	100	28.13
8	80	68.61	80	35	60	42.50	100	18.33
9	100	84.55	40	61.38	80	73.98	100	29.67
10	80	76.31	60	48.83	0	74.56	100	41.22
Avg	96	72.17	84	49.82	74	62.65	100	26.86
	Game B
	TITAN		ReAct		Wuji		Human
Task	SR (%)	CV (%)	SR (%)	CV (%)	SR (%)	CV (%)	SR (%)	CV (%)
1	100	88	80	47.61	100	65.71	100	65.63
2	100	88	100	60	100	83.3	100	88.42
3	100	81.19	100	50.8	100	80.36	100	58.95
4	100	97.37	100	81.65	80	68.37	100	19.58
5	100	87	100	71.42	80	13.81	100	66.04
6	100	70.3	80	64.89	80	34.92	100	22.01
7	80	46.7	60	75.71	100	58.97	100	32.98
8	80	73.27	80	71.66	80	54.05	100	32
9	100	57.1	60	63.18	100	28.69	100	69.87
10	80	95.63	60	97.86	80	67.43	100	23.33
Avg	94	74.34	82	70.13	90	48.43	100	40.88

5.2 RQ2: 버그 탐지 성능(Bug Detection Performance)

작업 완수 결과를 바탕으로, 더 중요한 지표는 에이전트가 해당 작업에 심어진 버그를 감지할 수 있는지 여부이다. 따라서 우리는 각 방법의 버그 감지 성능(bug-detection performance)과 실행 효율(execution efficiency)을 작업당 5회 실행을 통해 평가하였다. 그 결과는 표 3에 제시되어 있다. 9개의 버그 중 TITAN은 82%를 정확하게 감지하고 보고하였으며, 이는 기존의 감지 방법들과 인간 전문가를 능가하는 수치이다. 이와 대조적으로, Wuji는 약 45.5%, ReAct는 약 45.5%를 감지했으며, 인간 테스터는 약 18%를 감지하였는데, 이들은 종종 미세한 문제를 놓치거나 이를 인지하는 데 너무 오랜 시간이 걸리는 경향이 있다.

표 4에 제시된 바와 같이, 우리는 버그 범주(bug category)별로 탐지 결과를 추가로 분석하였다.

크래시 버그(Crash Bugs). 크래시 트리거(crash trigger)에 도달한 모든 접근 방식은 오류를 감지했다. 주요 차이점은 도달 가능성(reachability)이었다. TITAN과 Wuji는 Game A에서 발생한 모든 크래시를 유발했다. Game B에서는 Wuji가 크래시 지점의 약 30%에만 도달했다. LLM 베이스라인인 ReAct는 트리거를 활성화할 만큼 충분히 진행하지 못하는 경우가 많아, 전체적으로 약 80%에서 83%의 크래시만을 감지하며 여러 크래시를 놓쳤다. 5회의 시도로 제한되고 과제를 효율적으로 완수하는 데 집중한 인간 테스터들은 과제를 완료했음에도 불구하고 더 적은 수의 크래시 사례를 찾아냈다.

행 버그(Hang Bugs). 우리는 크래시(crash)를 넘어, 진행이 정체되거나 작업이 중단된 것처럼 보이는 코너 케이스(corner cases)를 관찰했다. 에이전트(Agents)는 이러한 상황을 감지하는 데 적합하다. 본 연구에서 특정 작업은 아이템을 사용하는 것을 요구하며, 여기에는 화면상의 상호작용 키를 누르거나 인벤토리에서 아이템을 선택하는 두 가지 유효한 상호작용 경로가 존재한다. Wuji는 단일한 습관적 경로를 선택하는 경향이 있는 반면, LLM 에이전트는 상호작용 패턴을 다양하게 변화시켜 정체 상황을 노출할 확률을 높인다. TITAN은 Game A에서 두 개의 행 버그를 탐지했고, ReAct는 하나를 탐지했다.

로직 버그(Logic Bugs). 이는 일상적인 테스트에서 찾아내기 가장 어려운 요소이다. TITAN의 오라클(oracle) 설계는 고착 상태(stuck conditions)의 식별 및 분석을 실질적으로 개선했다. 예를 들어, 게임 A의 한 과제는 6명의 NPC를 처치해야 하지만, 5명을 처치한 후에도 과제가 다음 단계로 진행되는 경우가 있었다. TITAN은 다양한 전투 전략을 시도하며 이러한 불일치를 잠재적인 로직 결함으로 도출한다. 이와 대조적으로, Wuji는 종종 단일 자동 전투 동작을 반복하며, 인간 테스터는 이러한 불일치를 인지하지 못한 채 과제를 진행하기도 하여 탐지를 놓치는 결과를 초래한다.

실행 시간과 관련하여, 우리는 TITAN이 모든 방법 중 가장 높은 효율성을 달성한다는 것을 확인했다. 인간 테스터(Human testers)가 전반적으로 가장 긴 시간이 소요된 반면, TITAN은 게임 공간(game space)을 훨씬 더 효율적으로 탐색했다. 게임 A의 경우, ReAct는 Wuji보다 작업을 더 빠르게 처리하며 비교적 양호한 성능을 보였다. 그러나 게임 B에서는 ReAct의 속도가 현저히 느려졌으며, 때로는 인간 테스터보다도 느려지는 경우가 있었다. 이러한 속도 저하는 모바일 방식의 탭 조작(tap controls)과 자동 경로 탐색(auto-pathfinding)에 크게 의존하는 게임 B의 설계 때문이다. 이러한 메커니즘은 대규모의 원시 상태 덤프(raw state dumps)를 생성하여 대규모 언어 모델(LLM)을 혼란스럽게 만들었고, 결과적으로 비효율적인 의사결정과 더 긴 실행 시간을 초래했다.

전반적으로 TITAN은 반사(reflection) 및 범주 인식 오라클(category-aware oracles)의 도움을 받아 더 높은 검출률을 달성했으며, 이를 더욱 효율적으로 수행했습니다. 진행 모니터링(progress monitoring), 전략 수정(strategy revision), 그리고 구조화된 진단(structured diagnosis)의 결합은 TITAN이 기존 베이스라인(baselines)보다 논리 및 기능 오류를 더 신뢰성 있게 찾아낼 수 있게 했습니다.

표 3: 두 MMORPG의 버그 탐지 성능 및 작업 실행 시간(task execution time) 비교 결과.

	Game A
	TITAN		ReAct		Wuji		Human
Task	#Bug	Time (m)	#Bug	Time (m)	#Bug	Time (m)	#Bug	Time (m)
1	1	16	1	7	1	7	0	10
2	1	36	1	18	0	96	0	65
3	1	18	1	11	1	17	1	46
4	1	42	1	20	1	52	0	127
5	0	64	0	20	0	59	0	117
6	0	53	0	119	0	58	0	80
7	1	63	0	33	0	27	0	138
8	0	148	0	146	0	114	0	149
9	2	135	0	191	1	137	0	173
10	2	129	1	84	1	210	1	233
Total	9	704	5	649	5	777	2	1138
	Game B
	TITAN		ReAct		Wuji		Human
Task	#Bug	Time (m)	#Bug	Time (m)	#Bug	Time (m)	#Bug	Time (m)
1	0	2	0	5	0	4	0	4
2	0	4	0	6	0	9	0	6
3	1	4	1	4	1	12	0	6
4	0	3	0	7	0	7	0	9
5	1	7	0	13	1	9	1	10
6	1	4	0	9	0	6	0	10
7	1	9	0	14	1	9	1	12
8	1	8	1	16	1	12	1	11
9	1	12	0	18	0	19	0	15
10	0	10	0	22	0	15	0	17
Total	6	63	2	114	4	102	3	100

표 4: 식별된 버그의 범주별 분포.

	Game A				Game B
Bug Type	TITAN	ReAct	Wuji	Human	TITAN	ReAct	Wuji	Human
Crash	5	4	5	2	6	5	2	1
Hang	2	1	0	0	0	0	0	0
Logic	2	0	0	0	0	0	0	0
Total	9	5	5	2	6	5	2	1

5.3 RQ3: 절제 연구(Ablation Study)

MMORPG에서 작업 수행 및 버그 탐지에 대한 TITAN의 핵심 구성 요소들의 기여도를 평가하기 위해, 우리는 다양한 설정 하에서 절제 연구(ablation study)를 수행했다. 구체적으로, 우리는 최적화 가능한 세 가지 핵심 구성 요소인 지각 추상화 모듈(Perception Abstraction Module), 행동 최적화 모듈(Action Optimization Module), 그리고 성찰적 추론 모듈(Reflective Reasoning Module)에 초점을 맞췄다. 버그 식별이 불가능해지는 것을 방지하기 위해 모든 변형 모델에는 오라클 탐지기(Oracle Detector)를 결합했다. 우리는 다음과 같은 구성들을 설계했다: TITAN은 세 가지 구성 요소가 모두 활성화된 전체 시스템이며, TITAN-A는 지각 추상화 모듈이 제외된 형태, TITAN-O는 행동 최적화 모듈이 제외된 형태, TITAN-R은 성찰적 추론 모듈이 제외된 형태이다. 각 구성 요소의 효과를 검증하기 위해, 우리는 이러한 변형 모델들을 Game A에서 5회의 독립적인 실행을 통해 수행했다. 상세한 결과는 표 5에 제시되어 있다.

전반적으로, 연구 결과는 TITAN의 각 구성 요소가 매우 높은 시너지(synergistic)를 발휘한다는 것을 보여준다. 단 하나의 모듈을 제거하는 것만으로도 성능이 대폭 하락했으며, 세 가지 모듈을 모두 제거하여 TITAN을 기본적인 LLM 에이전트(LLM agent)로 축소했을 때는 작업 성공률이 약 83%, 버그 탐지율이 45%에 불과하여 ReAct 베이스라인과 유사한 수준의 성능을 보였다. 이러한 결과는 우리의 초기 가설과 설계 동기를 뒷받침한다. 즉, ❶ 상태 추상화(state abstraction)가 없으면 상태 공간(state space)이 너무 복잡해지고, ❷ 행동 조절(action regulation)이 없으면 행동 공간(action space)이 압도적으로 방대해지며, ❸ 성찰(reflection)이 없으면 긴 작업(long tasks)을 신뢰성 있게 처리할 수 없다. TITAN은 이러한 모든 과제들을 동시에 해결함으로써 강력한 전반적 성능을 달성한다.

표 5: TITAN의 구성 요소에 대한 절제 연구(ablation study) 결과.

	TITAN				TITAN-A				TITAN-O				TITAN-R
Task	SR (%)	CV (%)	#Bug	Time (m)	SR (%)	CV (%)	#Bug	Time (m)	SR (%)	CV (%)	#Bug	Time (m)	SR (%)	CV (%)	#Bug	Time (m)
1	100	82.11	1	129	60	80.55	1	40	80	86.15	1	168	80	55.61	1	12
2	100	76.25	1	135	100	39.71	0	24	100	30.95	1	128	100	64.45	1	30
3	100	50	1	148	100	48.5	1	33	100	45.8	1	152	100	32.3	1	12
4	100	57.26	1	64	80	62.96	0	89	100	49.36	1	78	100	53.98	1	33
5	100	93.43	0	63	80	86.63	0	66	100	80.13	0	55	100	36.67	0	67
6	100	64.5	0	42	100	31.7	0	80	100	28.2	0	48	100	96.4	0	58
7	100	68.75	1	53	60	80.85	1	92	80	78.65	0	57	80	47.13	0	45
8	80	68.61	0	16	60	64.91	0	205	80	62.81	0	24	80	39.9	0	113
9	100	84.55	2	36	80	81.35	2	162	100	78.35	2	33	100	63.58	2	147
10	80	76.31	2	18	0	74.41	1	224	40	71.71	2	20	60	58.53	1	133
Avg./Total	96	72.17	9	704	72	65.16	6	1015	88	61.21	8	763	90	54.86	7	650

6 Discussion

6.1 신규 탐지된 버그(Newly Detected Bugs)

평가 과정에서 TITAN은 선정된 MMORPG 작업 시나리오에서 기존에 알려지지 않았던 4개의 버그를 발견했습니다. 우리는 세 가지 대표 범주를 분석하여, TITAN의 아키텍처 설계(architectural design)가 기존의 테스트 방식으로는 발견하기 어려운 버그를 어떻게 찾아낼 수 있는지 입증합니다.

• • 모델 로직 버그(Model Logic Bug): TITAN은 캐릭터가 월드 지형(예: 벽과 바닥)을 뚫고 렌더링되지 않는 공허(void)로 빠지는 심각한 로직 버그를 식별했다. 이는 충돌 데이터(collision data) 로딩을 방해하는 자산(asset)의 누락으로 인해 발생한 것으로 확인되었다. LLM 기반 에이전트가 규정된 작업 수행 경로에서 벗어나 비전형적인 상호작용을 시도하려는 성향은 이러한 버그를 찾아내는 데 결정적인 역할을 한다. 이와 대조적으로, 예상되는 작업 수행 경로와 가시 영역을 따르는 Wuji, ReAct 및 인간 테스터들은 이 보이지 않는 경계 문제를 전혀 겪지 않으며, 결과적으로 월드 무결성(world integrity)의 이 중대한 결함을 찾아내는 데 실패했다.
• • 행 상호작용 버그(Hang Interaction Bug): TITAN은 특정 조건에서 게임이 멈추는(hang) 현상을 유발하는 상호작용 버그를 발견했다. 특정 아이템은 화면상의 직접적인 UI 버튼이나 인벤토리 메뉴를 통해 사용하거나 전달할 수 있다. DRL(심층 강화 학습) 기반의 Wuji 에이전트는 일관되게 인벤토리 메뉴 방식을 사용하기 때문에 해당 문제를 전혀 노출하지 않는다. 반면, TITAN은 전체론적 지각 모듈(holistic perception module)을 활용하여 화면상의 모든 상호작용 가능한 요소를 식별한다. TITAN의 LLM(대규모 언어 모델) 기반 행동 생성은 단일한 최적 경로에 얽매이지 않으며, 따라서 자연스럽게 대안이 되는 유효한 상호작용 시퀀스를 탐색한다. 이러한 다양한 행동 생성은 TITAN이 화면상의 버튼을 사용하게 만들었고, 이는 처리되지 않은 UI 상태 전이(unhandled UI state transition)를 유발하여 게임을 멈추게 했다. 중복되지만 결함이 있는 UI 경로에서 기인하는 이러한 유형의 버그는 경직된 상호작용 전략을 가진 에이전트들에 의해 체계적으로 누락된다.
• • 스텝 카운팅 버그(Step Counting Bug): TITAN은 6명의 적을 처치해야 하는 과제가 5명만 처치했을 때 완료된 것으로 표시되는 미세한 퀘스트 로직 오류를 발견했다. 이러한 오프 바이 원(off-by-one) 오류는 모든 베이스라인(baselines)에서 발견되지 않았다. 인간 테스터와 결정론적 에이전트(deterministic agents)는 지시를 엄격하게 준수하여 6명의 목표를 모두 처치하고 정상적인 동작을 보였다. TITAN의 역동적이고 반응적인 계획 능력(planning capabilities)은 이러한 발견을 가능하게 했다. 예를 들어, 에이전트는 퀘스트 목표로 돌아가기 전에 새로 생성된 자원 노드와 교전하기 위해 전투 과제를 일시 중단할 수 있다. 이러한 비선형적이고 중단 기반의(interrupt-driven) 동작은 퀘스트의 상태 머신(state machine) 내에 있는 결함이 있는 완료 조건을 노출시키는 실행 추적(execution trace)을 생성했다.

6.2 Implications

TITAN의 개발과 우리의 종합적인 평가는 연구계와 게임 산업 모두에 중요한 시사점을 제공하며, 특히 현대 게임 테스트에서 중요한 과제인 비용, 효율성, 그리고 적응성(adaptability) 문제를 해결하는 데 있어 중요한 의미를 갖는다.

• 실질적 도입을 위한 과제 완수의 전제 조건. 게임 테스트는 종종 개발 예산의 절반 가까이를 소모하는 막대한 비용이 발생하며, 이로 인해 많은 스튜디오는 회귀 테스트(regression testing)를 출시 전 단 한 번의 전체 실행으로 제한하는 등 엄격하게 제한할 수밖에 없습니다. 이러한 맥락에서 자동화된 테스트 에이전트(automated testing agent)의 주요 가치는 단순히 탐색 능력이나 버그 발견 잠재력에 있는 것이 아니라, 무엇보다도 핵심 게임 과제를 신뢰성 있게 완수할 수 있는 능력에 있습니다. 아무리 영리한 탐색 전략을 갖추고 있더라도, 빈번하게 막히거나 게임 과제를 완수하지 못하는 에이전트는 높은 중요도가 요구되는 제작 파이프라인에 통합될 수 없습니다. 인간 수준의 신뢰도에 근접하는 TITAN의 높은 과제 성공률은 LLM 기반 에이전트가 자동화된 회귀 테스트의 기반으로서 기능하는 데 필요한 수준의 견고성을 확보할 수 있음을 입증합니다. 이러한 능력은 인간 테스터의 수동 업무 부담을 크게 줄여주며, 그들이 인간의 직관이 진정으로 필요한 더 창의적이고 복잡한 테스트 시나리오에 집중할 수 있게 해줍니다.
• • 적응형 MMORPG 테스트 솔루션의 필요성. 게임 산업은 빈번하고 신속한 업데이트, 종종 하루에도 여러 번의 빌드가 생성되는 특징을 가집니다. 이러한 속도는 전통적인 자동화 방식을 경제적으로 지속 불가능하게 만듭니다. 규칙 기반(Rule-based) 스크립트는 아주 사소한 게임의 변화에도 적응하기 위해 지속적이고 비용이 많이 드는 수동 유지보수를 필요로 합니다. 심층 강화 학습(DRL) 기반 에이전트는 더 높은 적응성을 갖추고 있지만, 작업당 비용이 많이 드는 재학습과 보상 설계(Reward engineering)가 필요하기 때문에 새로 도입된 콘텐츠나 빈번하게 변화하는 메커니즘에 적용하기에는 비실용적입니다. TITAN은 설득력 있는 대안을 제시합니다. 이는 대규모 언어 모델(LLM)의 제로샷 추론(Zero-shot reasoning) 및 인컨텍스트 학습(In-context learning) 능력을 활용하는 학습이 필요 없는(Training-free) 프레임워크입니다. 게임에 종속되지 않는 추상화 템플릿(Game-agnostic abstraction templates)과 검색 증강 생성(RAG)으로 검색된 지식을 활용함으로써, TITAN은 두 개의 서로 다른 MMORPG에 적용된 사례에서 입증되었듯, 단 몇 분 만에 새로운 게임이나 새로운 콘텐츠에 맞춰 신속하게 구성될 수 있습니다. 이러한 민첩성은 과도한 비용을 발생시키지 않으면서 현대의 개발 주소에 발맞출 수 있는 테스트 솔루션에 대한 업계의 핵심적인 요구를 충족합니다.
• • 포괄적이고 통합적인 테스트 자동화(Comprehensive and Holistic Test Automation)를 향하여. TITAN은 단순히 과업을 완수하는 것을 넘어, 단일 에이전트 프레임워크가 기능적 정확성(functional correctness, 과업 완수를 통해 구현), 철저성(thoroughness, 커버리지 기반 탐색을 통해 구현), 그리고 버그 탐지(bug detection, 고도화된 오라클을 통해 구현)라는 다수의 테스트 목표를 동시에 달성할 수 있음을 입증한다. 이러한 통합적 접근 방식은 특정 차원에서만 뛰어난 도구에 머물러 있던 기존 분야를 한 단계 더 발전시킨다. 특히 다른 방법이나 인간 테스터가 놓치기 쉬운 논리 오류(logic errors) 및 소프트 락(soft locks)과 같은 새로운 유형의 버그를 찾아내는 이 프레임워크의 능력은, 단순히 테스트 효율성을 높이는 것을 넘어 전반적인 소프트웨어 품질을 개선할 수 있는 잠재력을 강조한다. 또한, 대규모 언어 모델(LLM) 기반의 성찰(reflection) 및 진단(diagnosis)의 통합은 맥락이 반영된 버그 보고서를 제공함으로써 개발자의 분류(triage) 부담을 더욱 줄여주며, 자동화의 역할을 단순한 과업 수행에서 지능적 분석으로 전환한다. 체계적인 테스트 최적화 및 견고성(robustness)에 대한 유사한 관심은 딥러닝(DL) 테스트 문헌 Hu et al. (2024); Hu et al. (2025)에서도 강조된 바 있으며, 이는 광범위한 AI 테스트에서 얻은 통찰이 포괄적인 게임 테스트에 기여할 수 있음을 시사한다.

6.3 타당성 위협 (Threats to Validity)

내적 타당성(Internal Validity). 거대언어모델(LLM)의 비결정론적 특성은 TITAN의 의사결정에 확률성(stochasticity)을 부여한다. 결과적으로, 특정 버그나 실행 결과가 모든 시도에서 일반화될 것이라고 보장할 수 없다. 이를 완화하기 위해, 우리는 모든 실험을 5회 반복 수행하며 전체적인 성능을 안정화하기 위해 커버리지 기반 탐색(coverage-guided exploration)을 통합한다. 비용과 시간의 제약으로 인해 기초 모델(foundation model)로는 OpenAI GPT-4o만을 사용한다. 하지만 TITAN은 다른 기초 모델들도 지원할 수 있도록 설계되었다. 프롬프트 설계 및 파라미터 설정의 경우, 결과가 최대한 강력하고 일관되게 유지될 수 있도록 협력 기업의 경험적 지침과 모범 사례(best practices)를 따른다.

외적 타당성(External Validity). 본 연구 결과의 일반화 가능성은 풍부한 서사와 게임 과업 기반 구조(game task-based structures)를 갖춘 MMORPG 및 유사 장르에 국한될 수 있습니다. TITAN의 성능은 반사 신경(reflexes)이나 최소한의 서사에 크게 의존하는 장르에서는 LLM 기반 추론이 제공하는 이점이 적기 때문에 저하될 수 있습니다. 또한, 에이전트의 효과는 게임 메커니즘과 일반적인 게임 로직에 대한 LLM의 기존 지식 사이의 정렬(alignment)에 부분적으로 의존합니다. 시간 및 예산 제약으로 인해 당사의 평가는 두 개의 게임으로 제한되었으나, TITAN은 이후 협력 게임사의 여러 상용 게임 제작 환경에 배치되었으며, 이는 더 넓은 적용 가능성을 시사합니다.

7 Conclusion

본 논문에서는 MMORPG(다중 사용자 온라인 역할 수행 게임)의 자동 테스트를 위한 최초의 LLM(대규모 언어 모델) 기반 에이전트 프레임워크인 TITAN을 제시한다. TITAN은 기존 방식의 높은 비용과 제한된 추론 능력을 해결하기 위해 상태 추상화(state abstraction), 행동 조절(action regulation), 성찰적 추론(reflective reasoning), 그리고 진단 오라클(diagnostic oracles)을 통합한다. 두 개의 상용 게임을 대상으로 한 평가 결과, TITAN은 과제 수행 및 버그 탐지 측면 모두에서 최첨단(state-of-the-art) 베이스라인과 인간 테스터를 능가하는 성능을 보였다. 특히 TITAN은 기존 방식이 놓친 4개의 미발견 로직 및 성능 버그를 성공적으로 식별해냈다. 절제 연구(Ablation studies)를 통해 각 구성 요소가 TITAN의 전반적인 효과에 기여하는 필수적인 역할을 확인하였다.

TITAN은 게임의 변화에 신속하게 적응하며 별도의 학습이 필요 없는 실용적인 솔루션을 제공하며, 이는 실제 QA 파이프라인(QA pipelines)에 통합하기에 적합합니다. 더 넓은 관점에서, 본 연구는 복잡한 게임 테스트를 위한 구조화된 LLM 기반 에이전트(LLM-based agents)의 가능성을 입증하며, 지능형 범용 테스트 시스템을 발전시키기 위한 새로운 경로를 제시합니다.