AI 튜터, 날것으로 쓰면 독이다 - 현명한 교육 설계의 조건
기술과 교육의 교차점에서 우리가 늘 마주하는 질문이 있다. 새로운 도구가 과연 학습을 촉진하는가, 아니면 방해하는가. 생성형 AI가 교육 현장에 던진 질문은 더욱 복잡하며, 최근 발표된 PNAS 논문은 이 질문에 대한 우리의 막연한 기대에 찬물을 끼얹는 동시에, 실질적인 대안을 제시한다.
AI, 과연 학습을 돕는가? 풀리지 않는 질문의 배경
AI, 특히 챗GPT와 같은 생성형 AI는 인간의 생산성을 비약적으로 높이는 잠재력을 보여준다. 그러나 이 기술이 새로운 기술을 습득하는 과정, 즉 학습에 미치는 영향은 여전히 미지수다. 이는 교육 현장에 AI를 도입하려는 우리에게 가장 본질적인 질문이 된다. 과거에도 오토파일럿이나 계산기 같은 기술이 인간의 특정 기술 습득을 방해한 전례가 있다. 조종사들이 오토파일럿에 과도하게 의존하여 비상 상황 대처 능력이 저하된 사례는 기술이 인간의 핵심 역량을 앗아갈 수 있음을 명확히 보여준다.
생성형 AI는 더 위험하다. AI의 환각(hallucination) 현상은 자신감 있게 잘못된 정보를 제공하는 문제로, 학습 과정에서 학생들이 잘못된 개념을 습득하게 할 가능성이 농후하다. 본질적으로 학습은 정확한 정보와 올바른 사고 과정을 통해 이뤄진다. 이 지점에서 AI의 ‘생산성 향상’이라는 이점은 ‘학습 품질 저하’라는 치명적인 단점으로 쉽게 전환될 수 있다. 우리는 AI를 ‘무엇이든 해주는 마법 지팡이’로 보아서는 안 된다.
통제된 실험, 두 얼굴의 AI 튜터를 드러내다 - 연구 설계와 핵심 발견
튀르키예의 한 고등학교에서 약 1,000명의 학생을 대상으로 실시된 이 무작위 대조군 연구(RCT)는 AI 튜터의 두 얼굴을 냉철하게 분석한다. 연구팀은 두 가지 유형의 GPT-4 기반 AI 튜터와 대조군을 비교했다.
- GPT Base: 일반 챗GPT와 유사한 형태다. 학생들의 질문에 AI가 직접 답을 제공한다.
- GPT Tutor: 교사들이 직접 설계한 가드레일(safeguards)이 적용된 튜터다. 정답을 직접 알려주지 않고, 단계별 힌트와 특정 오답에 대한 피드백 지침을 따른다.
연구는 학생들이 수업에서 배운 내용을 복습하는 두 단계로 진행되었다. 첫 번째 단계는 AI 튜터의 도움을 받아 연습 문제를 푸는 ‘지원 학습(assisted practice)’ 단계다. 두 번째 단계는 AI 없이 시험을 치르는 ‘자율 평가(unassisted evaluation)’ 단계다.
핵심 발견은 다음과 같다.
| 튜터 유형 | 연습 문제 점수 (대조군 대비 향상) | 시험 문제 점수 (대조군 대비 변화) |
|---|---|---|
| GPT Base | 48% 향상 | 17% 하락 |
| GPT Tutor | 127% 향상 | 변화 없음 (통계적으로 유의미한 차이 없음) |
GPT Base와 GPT Tutor 모두 연습 문제 해결 능력, 즉 단기적인 과제 수행 생산성을 크게 높인다. GPT Tutor는 심지어 127%라는 경이로운 수치를 기록한다. 이는 교사가 제공한 양질의 프롬프트가 AI의 효율성을 극대화했음을 보여준다.
그러나 진짜 학습 능력을 평가하는 자율 시험에서는 전혀 다른 결과가 나타난다. GPT Base를 사용한 학생들은 대조군보다 17%나 점수가 하락했다. 이는 가드레일 없는 AI 튜터가 오히려 학생의 학습을 저해한다는 명확한 증거다. 반면, GPT Tutor를 사용한 학생들은 대조군과 유의미한 차이를 보이지 않았다. 긍정적인 효과는 없었지만, 적어도 학습을 방해하지는 않았다는 점이 중요하다. 이 연구는 AI의 유용성이 ‘어떻게 설계되었는가’에 전적으로 달려 있음을 단언한다.
AI는 지팡이가 아니라 나침반이어야 한다 - 현장 적용을 위한 통찰
연구는 학생들의 AI 활용 방식도 분석했다. GPT Base 사용 학생들은 대부분 “정답은 무엇인가?”와 같이 단순하게 답을 요구했다. 반면 GPT Tutor 사용 학생들은 “도와주세요” 또는 “내 답이 맞는지 확인해주세요”와 같이 더 복잡하고 생산적인 방식으로 AI와 상호작용했다. GPT Base는 평균 51%의 정답률을 보였고, 42%는 논리적 오류, 8%는 산술적 오류를 포함했다. 더 충격적인 점은 GPT Base의 높은 오류율이 연습 문제 성적을 낮추는 데는 기여했지만, 자율 시험 성적에는 아무런 유의미한 영향을 미치지 않았다는 사실이다. 이는 학생들이 AI가 제시한 답을 비판적으로 검토하기보다 단순히 베꼈음을 강력하게 시사한다.
본질적으로, 가드레일 없는 AI는 학생들에게 ‘학습을 대신해주는 지팡이’로 작동한다. 학생들은 이 지팡이에 의존하여 스스로 사고하고 문제를 해결하는 기회를 잃는다. 그들은 AI의 오류를 인지하지 못하거나, 심지어는 AI의 도움으로 학습이 향상되었다고 착각하는 경향도 보였다. 이 연구는 AI 기술 자체의 문제가 아니라, 교육적 목적에 부합하는 설계의 부재가 문제의 핵심임을 명확히 보여준다.
그렇다면 우리는 이 연구에서 어떤 실질적인 통찰을 얻을 수 있는가?
- AI 프롬프트 설계의 재정의가 필수다. 단순히 ‘튜터 역할을 해줘’라고 입력하는 것으로는 부족하다. AI 튜터가 정답을 직접 제공하지 않고, 학생의 사고를 유도하는 힌트나 질문을 던지도록 구체적으로 지시해야 한다. “이 문제에 대해 AI에게 어떤 질문을 던지면 좋을까?” 같은 질문을 학생들이 스스로 할 수 있도록 유도하는 것이 중요하다.
- 학생들에게 AI ‘활용’ 교육을 해야 한다. AI는 답을 알려주는 만능 도구가 아니라, 사고 과정을 돕는 파트너임을 명확히 인식시켜야 한다. 예를 들어, AI가 제시한 답에 대해 “이 답이 왜 나왔을까?”, “다른 풀이 방법은 없을까?”와 같이 비판적으로 질문하고 탐색하는 학습 문화를 조성해야 한다.
- 교사의 AI 전문성이 핵심 역량이 된다. 교사들이 AI 프롬프트를 직접 설계하고, 학생들의 AI 활용 데이터를 분석하여 교육 목표에 맞춰 조율하는 능력이 중요해진다. 같은 학년 선생님들이 점심시간에 5분이라도 각자 사용한 AI 프롬프트와 학생들의 반응을 공유하며 작은 배움의 자리를 비공식적으로 두는 것이 이런 변화의 시작이 될 수 있다.
- AI의 오류를 탐지하고 교정하는 능력을 길러야 한다. AI가 틀린 답을 내놓았을 때, “어떤 부분이 왜 틀렸을까? 어떻게 고쳐야 할까?” 같은 질문을 통해 학생들이 문제 해결 능력과 비판적 사고력을 동시에 함양하도록 유도한다. 이는 AI 시대를 살아갈 학생들에게 가장 중요한 디지털 리터러시 역량 중 하나다.
연구의 한계와 미래 교육을 위한 질문
이 연구는 튀르키예의 한 고등학교에서 수학 과목에 국한하여 단기적인 학습 효과를 측정했다는 한계가 있다. 글쓰기처럼 객관적인 평가 기준이 모호한 과목이나, 다른 AI 튜터 디자인, 그리고 장기적인 학습 효과에 대한 추가 연구가 필요하다. 또한, 이 연구는 2023년 가을에 진행되었으며, 그 이후 AI 모델의 성능은 비약적으로 발전했다. 학생들과 교사들의 AI 활용 방식도 빠르게 진화하고 있다.
그러나 이런 한계점들이 이 연구의 통찰을 약화시키지는 않는다. 구조적으로 보면, 기술이 아무리 발전하더라도 인간의 학습 메커니즘은 쉽게 변하지 않는다. AI는 지금보다 훨씬 정교한 힌트를 주거나, 학생의 오개념을 능동적으로 파악하여 개입할 수 있게 될 것이다. 중요한 것은 기술 발전 속도에 맞춰 교육 현장의 인식과 활용 전략도 함께 진화해야 한다는 점이다. AI를 ‘인간 교사를 대체하는 도구’가 아닌, ‘교사-학습자 상호작용의 질을 높이는 보조 도구’로 활용하는 방향에 집중해야 한다.
결국 이 논문은 우리에게 한 가지 질문을 던진다. 우리는 AI를 통해 더 쉽게 배우는 것을 원하는가, 아니면 더 깊이 배우는 것을 원하는가? 현명한 설계와 의도적인 교육적 개입 없이는 전자는 얻을 수 있지만, 후자는 잃을 수 있다.
지금 당장 당신의 수업에서 AI를 사용한다면, ‘어떻게 학생들이 AI의 도움 없이도 같은 문제를 풀 수 있는 능력을 기를 수 있을까?’ 이 질문을 스스로에게 던져보라.
출처
- Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Marimane, R. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. PNAS, 122(26), e2422633122. https://doi.org/10.1073/pnas.2422633122