협력 학습 대화의 민낯, PEERMATHDIAL이 던지는 교실의 질문

우리 교실에서 학생들은 매일 수많은 대화를 나눈다. 특히 협력 학습 상황에서는 더욱 그렇다. 하지만 그 대화의 본질을 깊이 들여다보고, 어떻게 학생들이 함께 문제를 해결하며 성장하는지 분석할 도구와 데이터가 턱없이 부족하다는 생각, 당신도 해본 적이 있을 것이다.

이 연구는 바로 그 갈증을 해소하려는 중요한 시도다. 중학교 수학 협력 문제 해결 과정에서 학생들 간의 실제 대화 데이터를 수집하고, 인공지능의 도움으로 그 패턴을 분석한다. 나는 이 연구가 우리 교육 현장에 던지는 질문과 기회가 분명하다고 생각한다. 그러나 그 이면에 숨겨진 한계와 현장 적용의 엄격한 조건도 함께 짚어보려 한다.

왜 중요한가 — 우리 교실의 미개척지, 협력적 대화 데이터

협력적 문제 해결(CPS)은 21세기 핵심 역량 중 하나이다. 학생들은 이 과정을 통해 정보를 공유하고, 참여를 조율하며, 추론을 설명하고, 오류를 함께 수정한다. 그러나 기존의 교육용 대화 데이터셋은 대부분 교사 또는 튜터와 학생 간의 상호작용에 집중한다. 이는 교실에서 학생들끼리 어떻게 소통하고, 협력하고, 문제를 해결하는지에 대한 미시적 분석을 어렵게 만든다. 본질적으로, 우리는 학생들이 서로에게 배우는 과정의 가장 풍부한 부분을 놓치고 있었다.

이 연구는 바로 이 공백을 메운다. 실제 중학교 수학 교실에서 학생들 간에 이뤄지는 협력적 문제 해결 대화를 녹취하여 PEERMATHDIAL이라는 데이터셋을 구축했다. 27명의 학생이 참여한 55개의 대화, 총 6,406턴에 달하는 방대한 분량이다. 기존 데이터셋이 교사의 지도나 튜터링에 초점을 맞춘 반면, PEERMATHDIAL은 학생 주도의, 비정형적인 협력 과정을 포착한다. 이것은 단순한 데이터 추가가 아니다. 교육 현장에서 학생들이 서로에게 어떤 질문을 던지고, 어떻게 의미를 협상하며, 서로 다른 관점을 고려하는지, 그 과정 자체를 들여다볼 수 있는 거의 유일한 창구를 열어준다.

AI가 해부한 협력 과정 — 대화 행동의 숨겨진 패턴을 찾다

연구진은 PEERMATHDIAL 데이터셋 분석을 위해 LLM(거대 언어 모델)의 도움을 받아 대화 행동 분류 체계를 만들었다. 기존의 전문가 중심 분류 체계(예: PISA CPS 프레임워크)는 너무 거시적이어서 짧고 구어적인 학생들의 대화 턴을 분석하기에는 한계가 많다. 그래서 연구진은 LLM이 원시 대화를 처리하고 핵심 대화 행동을 요약하면, 교육 전문가가 이를 검토하고 수정하는 방식으로 총 6가지 큰 범주 아래 19가지 세부 대화 행동을 정의했다. 이 과정에서 전문가들은 LLM의 분류 결과에 90% 이상의 높은 동의율을 보였다. 이는 LLM이 대규모 비정형 대화에서 의미 있는 패턴을 추출하는 데 상당한 잠재력을 지닌다는 증거이다.

이 분류 체계를 활용해 연구진은 세 가지 주요 질문에 답한다.

1. 협력 대화는 시간 흐름에 따라 어떻게 진화하는가?
2. 교사의 개입이 학생 대화 행동에 어떤 영향을 미치는가?
3. 학생의 자기보고식 특성(자신감, 리더십 등)과 실제 대화 행동은 어떤 관계를 갖는가?

첫 번째 질문에 대한 답은 매우 직관적이지만 동시에 구체적인 행동 변화를 보여준다. CPS 대화는 고정적이지 않다. 대화의 진행 단계에 따라 학생들의 행동 양상이 뚜렷하게 달라진다.

그림 1: CPS 대화의 진행 단계에 따른 학생 대화 행동의 상대적 빈도 변화. 대화가 초기에서 후기로 진행됨에 따라 특정 행동의 빈도가 평균 대비 얼마나 높아지고 낮아지는지 색상으로 나타낸다.

이 히트맵은 대화 진행에 따른 주요 학생 행동의 변화를 잘 보여준다.

대화 단계	주요 대화 행동 (평균 대비 상대적 빈도 변화)	구체적 행동 예시
초기 (0-17%)	문제의 관련 요소 및 제약 식별 (+1.00)	“우리가 봐야 할 기호들을 적어보자.”
	표현을 값에 매핑 (+0.91)	“별은 5센트, 세모는 10센트.”
	해결 전략 제안 (+0.47)	“패턴을 찾아서 곱해볼 수 있을 것 같아.”
	동료 참여 유도 (+0.35)	“다음은 누가 할래? 너.”
중간 (33-67%)	오류 지적/진단 (+0.53)	“아니, 12에서 2를 빼면 4가 아니라 10이지.”
	계산 단계 실행 (+0.22)	“12 나누기 4는 3.”
	숫자/단계가 무엇을 의미하는지 확인 (+0.30)	“125는 뭐야? 이게 125가 돼?”
후기 (67-100%)	결과가 제약 조건에 맞는지 확인 (+0.80)	“이게 12달러가 될 수 없잖아.”
	방법/답 수정 (+0.74)	“답을 3으로 바꿀게. 계속 3이었어.”
	설명/명료화 요청 (+0.69)	“잠깐, 2는 어떻게 나왔어?”
	오프태스크/정서적 발언 (+0.53)	“오, 장난하는 거지.”

필자의 판단: 이 대화 패턴 분석은 교사가 협력 학습의 각 단계에서 어떤 행동을 촉진해야 할지, 혹은 어떤 개입이 필요한지에 대한 실질적인 가이드라인을 제공한다. 예를 들어, 대화 초기에 제약 조건 식별이나 전략 제안이 부족하면 교사는 이를 독려해야 하며, 후기 단계에서 답 수정이나 설명 요청이 활발하다면 학생들이 자기 성찰과 최종 검토를 잘 수행하고 있다고 볼 수 있다. 오프태스크 발언이 후기에 소폭 증가하는 경향은 학생들이 주요 해결책에 도달한 후 긴장이 완화된 현상일 수 있다.

두 번째, 교사 개입의 영향에 대한 분석 결과는 다음과 같다. 교사의 개입은 이후 학생들의 대화 행동을 짧은 시간 내에 재분배하는 효과를 보인다.

변화 방향	대화 행동	개입 전 빈도 (%)	개입 후 빈도 (%)	변화 (퍼센트포인트)
증가	표현을 값에 매핑	4.9	6.2	+1.3
	이전 사례/패턴 재사용	0.7	1.7	+1.0
	후보 해결책 제안	9.7	11.3	(+1.6)*
	동료 참여 유도	6.3	7.2	(+0.9)*
감소	문제의 관련 요소 및 제약 식별	2.5	1.5	-1.0
	계산 단계 실행	4.5	3.5	-1.0
	오프태스크/정서적 발언	13.1	11.3	(-1.8)*

*이 값들은 신뢰 구간이 0을 포함하여 통계적으로 덜 확실하지만, 서술적으로는 경향성을 보여준다.

필자의 판단: 이 결과는 교사의 개입이 학생들의 논의를 국소적인 해석에서 벗어나 앞으로 나아가는 수학적 활동으로 전환시킨다는 점을 보여준다. 교사의 한 마디가 학생들의 사고 흐름을 ‘문제 정의’에서 ‘문제 해결’ 및 ‘이전 지식 활용’으로 유도하는 촉매 역할을 하는 셈이다. 하지만 여기서 중요한 것은 ‘3턴’이라는 매우 좁은 분석 창이다. 교사의 개입이 학생들의 장기적인 학습 태도나 더 복잡한 협력 역량에 미치는 영향은 이 연구만으로 단언하기 어렵다. 교사의 개입은 단기적으로 특정 행동을 유도할 수 있지만, 그 행동이 실제 깊이 있는 학습으로 이어지는지는 더 심층적인 추적 분석이 필요하다.

학생 프로파일 — 자기보고와 실제 행동의 불일치

이 연구의 또 다른 흥미로운 발견은 학생들의 자기보고식 설문조사 결과와 실제 대화 행동 간의 관계를 분석한 부분이다. 연구진은 자신감, 협력성, 리더십 등 세 가지 차원에서 학생들을 두 가지 유형으로 나누고, 유형별로 대화 행동의 분포가 어떻게 다른지 비교했다.

예를 들어, ‘리더’ 유형의 학생들은 ‘설명/추론 정당화’(7.9% vs 5.2%)나 ‘방법/답 수정’(5.0% vs 2.1%) 행동을 더 많이 보였다. 반면 ‘경청자’ 유형의 학생들은 ‘인정/수용’(16.1% vs 11.5%)이나 ‘관련 요소 식별’(5.7% vs 1.6%) 행동을 더 자주 했다. 이는 설문 조사가 학생들의 참여 방식에 대한 차이를 포착한다는 의미이다.

그러나 반직관적 전환이 여기서 나타난다. “나는 의견이 달라도 논쟁을 피한다”는 설문 문항에 강하게 동의한 학생들이 오히려 실제 대화에서는 ‘오류 지적/진단’ 행동을 더 많이 했다는 점이다(5.9% vs 3.2%). 이는 학생들이 설문에서 말하는 ‘논쟁 회피’를 대인 관계 갈등 회피로 이해했을 뿐, 수학적 비판이나 오류 진단과는 별개의 것으로 인식할 수 있음을 시사한다. 혹은 과제의 부담감이 낮을 때에는 오류 지적에 대한 사회적 위험을 덜 느낄 수도 있다.

필자의 판단: 이 불일치는 현장 교사들에게 매우 중요한 메시지를 전달한다. 학생들의 자기보고식 설문 결과나 표면적인 태도만으로는 학생들의 실제 협력 행동을 온전히 이해할 수 없다. 학생들이 스스로를 어떻게 인식하는지와 실제 협력 상황에서 어떤 행동을 보이는지는 다르다. 우리는 학생이 “나는 협력적이지 않다”고 말해도, 실제로는 동료의 의견을 깊이 경청하고 중요한 부분을 짚어주는 ‘숨은 조력자’일 수 있음을 알아야 한다. 이 관점에서 보면, 학생의 ‘리더십’은 단순히 주도적인 발언뿐만 아니라 침묵 속에서 동료의 이해를 돕는 섬세한 행동까지 포함한다.

AI 학생 시뮬레이션, 아직은 먼 길

마지막으로, 연구진은 PEERMATHDIAL 데이터셋을 활용하여 최신 LLM이 실제 학생들의 대화 행동을 얼마나 정확하게 예측하는지 실험했다. GPT-5.4(OpenAI가 2026년 공개 예정인 모델로 기재됨), Claude Sonnet 4.6 등 주요 LLM들이 학생의 설문 데이터와 대화 문맥만으로 다음 대화 행동을 예측하는 실험을 진행했다.

결과는 냉정하다. 최신 LLM들의 예측 정확도는 16.0%에서 20.0% 사이에 불과했다. 즉, LLM들은 실제 학생의 미시적인 협력 행동을 정확히 재현하는 데 크게 실패했다.

모델	일치율 (%)
OpenAI GPT-5.4 Mini	16.0
OpenAI GPT-5.4	18.0
Anthropic Claude Sonnet 4.6	16.0
Google Gemini 3 Flash Preview	20.0
Qwen 3.5-35B-A3B	17.0

필자의 판단: 이 결과는 우리에게 두 가지를 분명히 말한다. 첫째, 현재의 LLM은 복잡한 인간의 협력 행동, 특히 교육 맥락에서의 미묘한 상호작용을 완벽하게 모방하기에는 아직 멀었다. 단순한 페르소나 부여만으로는 행동적 사실성이 높은 가상 학생 시뮬레이터를 만드는 것이 불가능하다. 둘째, 이러한 한계는 오히려 PEERMATHDIAL과 같은 실제 대화 데이터셋의 가치를 더 높인다. 앞으로 더욱 정교한 AI 기반 학습 도구나 가상 학생을 개발하려면, 이처럼 미세하게 분류된 실제 데이터를 기반으로 LLM을 훈련하고 평가하는 과정이 필수적이다.

현장 교사가 던져야 할 질문들

PEERMATHDIAL 연구는 분명 교육 현장에 귀중한 통찰을 제공한다. 학생들 간의 실제 협력 대화 데이터를 구축하고, LLM의 도움을 받아 그 대화 행동을 분석하는 혁신적인 방법론을 제시한다. 대화의 단계별 특성과 교사 개입의 단기적 효과, 그리고 자기 인지와 실제 행동의 괴리를 밝혀낸 점은 박수받을 만하다.

그러나 이 연구의 한계도 명확하다. 단일 여름 캠프의 중학생 데이터를 기반으로 한 만큼, K-12 전반의 모든 교실 상황을 대표한다고 보기는 어렵다. 또한, 음성 대화에 초점을 맞추었기에 비언어적 요소(제스처, 시선, 공유 필기 등)는 분석에서 빠져있다. 이런 다중 양식 데이터의 부재는 협력 과정의 일부를 놓칠 수 있다는 의미다.

우리는 이 연구 결과들을 어떻게 우리 교실에 가져올 수 있을까? 거창한 AI 도구나 복잡한 분석 도구를 당장 도입하기는 어렵다. 하지만 이 연구는 우리에게 다음과 같은 근본적인 질문을 던진다.

“당신은 학생들의 대화 행동을 얼마나 깊이 이해하고 있는가? 단순히 ‘열심히 이야기하고 있다’고만 생각하지는 않는가?”

행동 제안: 이 연구에서 제시된 대화 행동 분류표를 당신의 교실에 가져가 보라. 그리고 짧은 시간이라도 동료들과 함께 학생들의 협력 대화를 관찰해 보라. 점심시간 동료들과 대화하면서 특정 학생이 ‘오류 지적’을 할 때 어떤 표정이었는지, ‘설명 요청’은 어떤 상황에서 나왔는지 공유해 보라. 학년 메신저에 “오늘 00이가 전략 제안하는 방식이 인상 깊었어요!” 같은 한 줄 후기를 남겨보라. 이런 구체적인 공유와 관찰은 우리에게 학생 대화의 ‘흐름’을 읽어내는 새로운 눈을 선물할 것이다. 그리고 그 흐름 속에서 학생들이 무엇을 어려워하고, 무엇을 통해 성장하는지 더 명확하게 알게 될 것이다.

출처

• Yue, M., Mcglone, D. A., Slutz, E., Lyu, W., Zhang, Y., Suh, J., & Yao, Z. (2026). PeerMathDial: A Middle School Dialogue Dataset for Student Collaborative Math Problem Solving. arXiv preprint arXiv:2606.21557.