AI 튜터, 이제 학생의 ‘마음’을 시뮬레이션하고 ‘성장’을 이끈다

AI 튜터의 잠재력은 무한하다는 말은 식상하다. 진짜 문제는 ‘어떻게’ 그 잠재력을 현실로 만들 것인가이다. 개개인의 학생에게 맞춰 최적의 학습 경험을 제공하는 AI 튜터는 모두의 꿈이지만, 이 꿈은 늘 학생의 실제 학습 데이터와 튜터링 피드백을 수집하는 엄청난 비용과 시간 앞에서 좌절되어 왔다.

AI 튜터가 갈 길, 학생 시뮬레이터라는 선택

AI 튜터가 학생의 강점, 약점, 선호하는 학습 방식을 파악하고 능동적으로 반응할 때 가장 유용하다는 사실은 자명하다. 하지만 이러한 맞춤형 지도 방식이 어떤 학생에게 효과적인지 정확히 파악하려면 실제 학생의 방대한 데이터와 피드백이 필요하다. 교육 현장은 언제나 양질의 학습 데이터 부족에 허덕이며, 이는 AI 튜터 기술의 빠른 발전 속도를 따라가지 못하는 근본적인 원인이 된다.

연구자들이 이 간극을 메울 대안으로 ‘학생 시뮬레이터’에 주목하는 것은 당연한 귀결이다. 기존의 학생 시뮬레이터는 두 가지 한계를 명확히 안고 있었다. 첫째, 학생의 행동 패턴을 추적하는 ‘상태 추적 모델’은 학생의 반응을 잘 모방하지만, 튜터의 설명이나 교정을 효과적으로 소화하지 못한다. 둘째, 특정 학생의 역할극을 하도록 프롬프트된 ‘LLM’은 튜터의 지시에는 유창하게 반응하지만, 모방하는 학생의 실제 역량이나 고유한 실수를 신뢰성 있게 재현하지 못한다. 본질적으로 이들은 ‘학생답지 않거나’ ‘가르침을 받을 수 없는’ 시뮬레이터에 불과했다.

그림 1: 실제 학생 피드백의 한계와 학생 시뮬레이터의 역할

STUDENTSIM, ‘행동 충실성’과 ‘지시 반응성’으로 학생을 복제하다

이 연구는 기존 시뮬레이터의 한계를 극복하고, 개별 학생의 역량을 충실히 반영하면서 튜터의 지시에 유연하게 반응하는 시뮬레이터, 즉 STUDENTSIM을 제시한다. 이들은 학생 시뮬레이터의 가치를 평가하는 핵심 기준으로 ‘행동 충실성(Behavioral Fidelity, F)’과 ‘지시 반응성(Guidance Responsiveness, R)’ 두 가지를 명확히 정의한다. 행동 충실성은 시뮬레이터가 학생의 고유한 응답 패턴과 실수를 얼마나 정확히 재현하는가를 측정한다. 지시 반응성은 튜터의 지시가 주어졌을 때, 시뮬레이터가 그 지시 방향으로 응답을 얼마나 효과적으로 수정하는가를 평가한다. 이 두 지표는 학생 시뮬레이터가 ‘개인화된 출발점’과 ‘가르침을 받을 수 있는 능력’을 동시에 지녀야 함을 단언한다.

STUDENTSIM은 희소한 개별 학생 데이터 문제를 해결하기 위해 2단계 훈련 파이프라인을 사용한다.

1. Stage 1: 통합 훈련(Pooled Training): 모든 학생의 데이터를 통합하여 도메인(체스, L2 영어 작문, 수학) 전반의 공통 패턴을 학습한다. 예를 들어, 흔한 실수 패턴, 도메인에 맞는 응답 형식, 자연어 튜터 지시에 따른 응답 변화 방식 등을 익힌다. 이 단계에서는 도메인별 ‘기본 시뮬레이터’가 탄생한다.
2. Stage 2: 개별 학생 특화(Per-student Specialization): Stage 1에서 훈련된 기본 시뮬레이터를 특정 학생의 소량 데이터로 추가 학습시켜 개별 학생에 맞는 시뮬레이터를 생성한다. 이 단계는 특정 학생의 고유한 실수 유형이나 지시 반응 방식과 같은 개별적 특성을 반영한다.

이러한 2단계 접근법은 소량의 개별 데이터로는 학습하기 어려운 공통 구조를 Stage 1에서 먼저 확보하고, Stage 2에서 개별성을 부여함으로써 과적합 문제를 피한다.

STUDENTSM의 압도적인 성과

연구진은 STUDENTSIMEVAL이라는 표준화된 평가 프로토콜을 구축하여 체스, L2 영어 작문, 수학 세 가지 도메인에 걸쳐 60명의 학생 데이터를 활용한다. 이 프로토콜은 모든 시뮬레이터의 F와 R 점수를 직접 비교할 수 있도록 동일한 기준으로 설계되었다.

다음 표는 STUDENTSIM과 주요 베이스라인 모델들의 성능을 비교한 결과이다.

도메인	지표 정의	Naive Baseline	GPT-4o	GPT-5.4	STUDENTSIM
행동 충실성 (F↑)
체스 (30명)	Top-1 정확도	0.4535 (Maia2)	0.2163	0.2316	0.5150
L2 (15명)	오류 프로필 일치도	0.5130 (Qwen)	0.4718	0.5141	0.5624
수학 (15명)	4지선다 정확도	0.4919 (Qwen)	0.5121	0.6121	0.6384
지시 반응성 (R↑)
체스 (30명)	수정된 수 비율	0.2721 (Maia2)	0.7655	0.7186	0.9067
L2 (15명)	단편 재작성 일치도	0.0200 (Qwen)	0.3883	0.5950	0.6417
수학 (15명)	정답 교정 비율	0.6132 (Qwen)	0.6940	0.7099	0.9181

이 결과는 STUDENTSIM이 모든 도메인에서 행동 충실성(F)과 지시 반응성(R) 두 가지 핵심 지표 모두에서 GPT-5.4와 같은 최신 LLM 및 기존 행동 예측 모델을 압도한다. 예를 들어, 체스 도메인에서 STUDENTSIM은 F=0.51, R=0.91을 기록했지만, GPT-5.4는 F=0.23, R=0.72에 그쳤고, Maia2(체스 전용 예측 모델)는 F=0.45를 달성했으나 R은 겨우 0.27에 불과했다. GPT-5.4가 튜터 지시에는 비교적 유창하게 반응하지만(R), 특정 학생의 고유한 능력이나 실수를 재현하지 못하는 한계(F)를 명확히 보여준다. Maia2는 실제 인간 기보로 훈련되어 행동 충실성은 중간 수준이지만, 자연어 지시를 받아들일 경로가 없어 지시 반응성(R)이 거의 0에 가깝게 폭락한다. STUDENTSIM만이 이 두 축에서 모두 강력한 성능을 보인다.

특히 흥미로운 점은 학생마다 다른 수를 두는 체스 포지션에서, Maia2는 플레이어의 ELO 등급에 기반해 하나의 ‘일반적인’ 최적 수를 예측했지만, GPT-5.4는 각 플레이어의 텍스트 기록으로 프롬프트되었음에도 세 플레이어의 실제 수를 모두 놓쳤다는 점이다. 반면 STUDENTSIM은 세 플레이어의 실제 수를 개별적으로 정확하게 재현했다. 이는 개별 학생 훈련이 ‘동일한 입력에 대해 특정 학생의 행동’을 반영하는 능력을 부여함을 보여준다.

AI 튜터, 시뮬레이터와 함께 ‘성장’하는 혁신

이 연구의 가장 중요한 시사점은 학생 시뮬레이터가 단순한 ‘모방 도구’를 넘어 AI 튜터 자체를 발전시키는 ‘성장 엔진’이 될 수 있음을 입증한 부분이다. 연구팀은 훈련된 STUDENTSIM을 체스 AI 튜터의 강화 학습(RL) 보상 모델로 활용하는 개념 증명(Proof of Concept) 실험을 진행했다.

STUDENTSIM을 보상 모델로 사용한 AI 튜터는 전문가 그룹 평가에서 놀라운 결과를 보여준다.

조건	정확도 (%)	안내 품질 (1-5, ↑)	개인화 (1-5, ↑)
NoRL	75.7	2.99	2.80
GPT-5.4 보상	71.6	3.08	2.42
STUDENTSIM (본 연구)	90.5	3.31	3.93

STUDENTSIM 보상으로 훈련된 튜터는 다른 두 베이스라인보다 정확도, 안내 품질, 개인화 세 가지 축 모두에서 최고점을 받았다. 특히 주목할 점은 GPT-5.4 시뮬레이터를 보상 모델로 사용한 튜터가, 강화 학습을 전혀 하지 않은 초기 튜터(NoRL)보다도 정확도가 낮게 나왔다는 사실이다 (71.6% 대 75.7%). 이는 LLM 기반의 프롬프트 역할극 시뮬레이터가 실제 학생의 복잡한 행동을 신뢰성 있게 모방하지 못할 뿐만 아니라, 튜터 훈련에 ‘오히려 해가 될 수 있음’을 반직관적으로 보여주는 중요한 증거이다. 튜터 훈련에서 LLM 역할극의 근본적 한계를 명확히 짚어내는 대목이다.

이 결과는 특정 학생 행동 데이터를 기반으로 훈련되고 F와 R 지표로 검증된 시뮬레이터만이 AI 튜터 최적화에 실질적이고 효과적인 보상 신호를 제공할 수 있음을 단언한다. AI 튜터는 안전한 가상 환경에서 STUDENTSIM과 같은 학생 시뮬레이터와 무한히 상호작용하며 시행착오를 거치고, 그 과정에서 개별 학생의 학습 요구를 더 깊이 이해하는 방향으로 진화한다.

현장 적용의 조건과 우리의 역할

이 연구는 AI 튜터의 개인화된 학습 경험 제공이라는 오랜 염원에 한 발짝 더 다가선 중요한 이정표를 제시한다. 하지만 학교 현장에 이 기술을 적용하기 위해서는 여전히 몇 가지 구조적인 조건이 충족되어야 한다.

첫째, 현재의 행동 충실성(F)과 지시 반응성(R) 지표는 학생의 단기적인 행동과 1단계 반응에 초점을 맞춘다. 장기적인 학습 동역학, 즉 지식의 습득, 유지, 망각, 그리고 심층적 이해에 이르는 전반적인 과정을 시뮬레이터가 어떻게 반영할지는 아직 미지의 영역이다. 학생의 복잡한 인지 상태와 학습 과정을 온전히 모델링하는 것은 현재 기술로도 여전히 어려운 문제다.

둘째, 체스처럼 보상 함수가 명확한 도메인에서는 STUDENTSIM의 효과가 강력하다. 하지만 L2 영어 작문이나 수학의 서술형 문제처럼 정답의 정의가 모호하거나 주관적인 평가가 필요한 분야로 확장하려면, ‘무엇을 향상시킬 것인가’에 대한 보상 모델 설계가 훨씬 복잡하고 섬세해진다. 단순히 오답을 정답으로 바꾸는 것을 넘어, 학생의 사고 과정 개선이나 창의적 문제 해결 능력 같은 질적인 지표를 어떻게 데이터화하고 시뮬레이터가 학습할지는 더 많은 연구가 필요하다.

셋째, 이 연구는 데이터 희소성 문제를 2단계 훈련으로 영리하게 해결했지만, 시뮬레이터의 성능은 결국 ‘양질의 실제 학생 데이터’에 달려 있다. 현장에서 AI 튜터가 낳을 수 있는 편향된 지도를 피하려면, 다양한 학생 배경과 학습 스타일을 아우르는 대표성 있는 데이터 수집 방식이 선행되어야 한다. 어떤 데이터를 수집하고 어떤 지시를 기록할지에 대한 교사들의 깊은 논의와 합의가 없으면, 이 기술은 허상에 그친다.

이러한 한계에도 불구하고, 이 연구는 비판적 낙관주의로 볼 때 AI 튜터의 미래에 결정적인 방향타를 제시한다. AI 튜터가 단순히 교사의 일을 덜어주는 도구가 아니라, 개별 학생의 미묘한 학습 패턴을 감지하고, 그에 맞는 맞춤형 ‘개입(intervention)’을 생성하는 능력을 얼마나 향상시킬 수 있는가에 교육의 미래가 달려 있다. 이 연구는 그 가능성을 한 단계 더 현실에 가깝게 만들었다.

우리 현장에서 이 기술의 가치를 극대화하려면, 선생님들이 ‘어떤 학습 상황에서 어떤 학생이 왜 특정 방식으로 반응하는가’에 대한 경험적 지식을 체계적으로 기록하는 문화가 우선 정착되어야 한다. 예를 들어, 한 달에 한 번, 동학년 선생님들이 모여 ‘학생이 보인 반직관적인 오답 사례’ 3개를 공유하고, 각자 어떤 형태의 피드백(질문, 직접 설명, 비유 등)이 효과적이었는지 2분짜리 간략한 후기를 남기는 작은 모임을 시작할 수 있다. 이러한 ‘현장 데이터’와 ‘교사 성찰’이 축적될 때만 AI 시뮬레이터는 살아있는 학생의 역동성을 배우고, 궁극적으로 AI 튜터가 학생을 위한 진정한 전략적 조력자가 될 수 있다.

---

출처

• Yang, K., Wang, C., Galley, M., Singh, C., Inala, J. P., Zhai, C., & Gao, J. (2026). StudentSim: Training LLM-based Student Simulators. arXiv preprint arXiv:2609.01591. https://arxiv.org/abs/2609.01591