생각하는 AI의 등장, o1 추론 모델이 교육에 던지는 질문

최근 OpenAI의 o1 계열 추론 모델 개발 소식은 내게 깊은 고민을 안긴다. 2024년 10월, OpenAI 포럼에서 o1 모델의 주요 개발자인 Ahmed El-Kishky, Hongyu Ren, G.B. Parascandolo가 나눈 이야기는 인공지능이 이제 단순한 지식 저장소가 아니라 인간처럼 ‘생각’하고 ‘추론’하는 방향으로 나아가고 있음을 명확히 한다. 이 진보는 우리 교육 현장에 근본적인 질문을 던진다. 우리는 무엇을 가르쳐야 하는가?

AI의 ‘생각’— 긴 생각의 사슬과 강화학습의 만남

o1 모델의 핵심은 ‘생각의 사슬(Chain of Thought)’으로 사용자의 질문에 답하기 전 장시간 내부적으로 추론 과정을 거친다는 점이다. 이는 우리가 흔히 사용하는 챗GPT에 “단계별로 생각해 봐”라고 명령하는 것과는 본질적으로 다른 차원이다. GPT-3 같은 초기 모델에 “생각해 봐”라고 프롬프트를 주면 성능이 향상되기도 했다. 가령 “개와 클라리넷, 피아노가 있는데 악기가 몇 개냐”는 질문에 GPT-3는 ‘하나’라고 잘못 답했지만, “단계별로 생각해 봐”라는 지시를 추가하자 ‘두 개(개는 악기가 아님, 클라리넷과 피아노는 악기임)’라고 올바르게 추론했다. 이는 모델이 문제 해결에 필요한 계산 시간을 더 할당하도록 유도한 결과이다.

하지만 o1 모델은 이러한 프롬프트 의존에서 벗어난다. 강화학습(Reinforcement Learning)을 활용하여 모델 스스로 생산적인 사고 과정을 학습한다. 이는 모델이 다음과 같은 고차원적인 추론 행동을 보인다.

특징	설명
오류 수정	자신이 저지른 실수를 인식하고 되돌아가 고친다.
다중 전략 시도	특정 해결 경로가 도움이 되지 않음을 파악하고 다른 접근 방식을 모색한다. 마치 인간이 여러 가설을 세우고 검증하는 방식과 흡사하다.
문제 분해	복잡한 문제를 더 작은 하위 문제나 단계로 쪼개어 해결한다. 이는 문제 해결의 기본 전략이다.

o1 모델의 이 같은 내재적 사고 과정은 단순한 지시 반응이 아니다. 모델이 스스로 시행착오를 겪으며 최적의 추론 경로를 찾아가는 능력이다. 본질적으로 이 모델은 “시간을 들여 생각할수록 더 잘 수행한다”는 원리를 체득한다.

o1의 압도적 성과와 AI 에이전트의 가능성

o1 모델이 보여준 성능 향상은 경이롭다. 고등학교 수준의 수학 경시대회인 AIME에서 GPT-4o가 13%의 정확도를 보인 반면, o1 모델은 83%를 달성했다. 경쟁 프로그래밍 플랫폼 Codeforces에서도 GPT-4o가 11% 수준에 머문 것에 비해 o1 모델은 89%라는 비약적인 발전을 보였다. 이는 o1 모델이 단순히 답을 아는 데서 그치지 않고, 복잡한 문제 해결에 필요한 깊은 사고력을 갖추었음을 입증한다.

평가 항목	GPT-4o (기준)	o1 Preview	o1 (원 모델)	o1-mini
AIME (수학)	13%	56~57%	83%	o1과 유사
Codeforces (코딩)	11% (백분위)	-	89% (백분위)	o1 Preview & GPT-4o 능가
GPQA (PhD 수준)	-	-	전반적 향상	-
IOI (국제정보올림피아드)	-	-	49% (대회 규정), 금메달 수준 (제한 완화)	-

이 표는 o1 모델이 수학, 코딩 등 추론 집약적인 분야에서 기존 모델 대비 압도적인 성능 향상을 이뤘음을 보여준다. 특히 ‘생각 시간’을 할당할수록 성능이 비례하여 증가하는 경향은 새로운 AI 스케일링 패러다임을 제시한다.

더욱 놀라운 사례는 Capture the Flag(CTF)라는 해킹 대회 평가에서 발생했다. o1 모델은 평가 인프라 자체에 결함이 있음을 인지하고, 할당된 컨테이너가 시작되지 않는 문제에 직면한다. 모델은 주변 컨테이너를 스캔하고 디버깅을 시도했으며, 심지어 새로운 컨테이너를 재시작하여 과제에 대한 답을 ‘획득’하는 에이전트적인 행동을 보였다. 이는 문제 풀이에 갇히지 않고, 주어진 환경을 이해하고 유연하게 대처하는 능력을 시사한다. 이쯤 되면 ‘생각’이라는 정의를 인간에게만 한정하는 것은 낡은 관습에 불과하다.

o1-mini, 효율성이라는 새로운 가치와 교육 현장 시사점

Hongyu Ren은 더 작고 비용 효율적인 o1-mini 모델을 소개한다. 이 모델은 o1과 동일한 ‘생각의 사슬’ 패러다임을 따르면서도, 특히 STEM(과학, 기술, 공학, 수학) 분야에 최적화되었다. o1-mini는 o1 Preview 모델보다 80% 저렴한 비용으로 유사한 고성능을 제공한다. “A가 세 번째 위치하는 다섯 개 국가”를 찾아달라는 간단한 질문에 GPT-4o가 빠르게 오답을 내놓는 동안, o1-mini는 9초간 ‘생각’하여 정확한 답을 제시한다.

이 ‘생각 시간’과 ‘비용 효율성’의 조합은 교육 현장에 중요한 시사점을 던진다. 우리는 학생들에게 당장 답을 내놓도록 재촉하는가, 아니면 충분한 사고 시간을 제공하는가?

o1-mini의 개발은 ‘강화학습’으로 모델이 스스로 최적의 사고 전략을 학습하도록 한다는 점에서 학습 과학적 관점과 맞닿아 있다. 인간의 뇌 또한 수면으로 낮 동안의 경험과 학습 내용을 재정리하고 문제 해결 전략을 공고히 한다. 이 과정은 즉각적인 답을 내기 위한 것이 아니라, 장기적인 관점에서 더 복잡한 문제에 대한 통찰을 얻기 위함이다. o1 모델이 충분한 ‘생각 시간’으로 성능을 비약적으로 향상시킨다는 원리는 인간 학습의 본질과 놀랍도록 유사하다. 즉, 서두르지 않는 학습과 충분한 사고의 시간이 비로소 지식의 통합과 문제 해결 능력의 심화를 가져온다.

교육적 고민, ‘어떻게’ AI의 추론 능력을 활용할 것인가

o1 모델의 등장은 AI가 단순한 정보 검색 도구가 아니라, 학생들의 사고 과정을 보완하고 확장하는 강력한 ‘학습 파트너’가 될 수 있음을 의미한다. 하지만 마냥 낙관만 할 일은 아니다.

우리는 다음 질문에 답해야 한다.

1. 사고 과정의 시각화: o1의 ‘생각의 사슬’은 학생들에게 문제 해결 과정을 투명하게 보여주는 강력한 도구가 된다. 교사는 AI가 복잡한 문제를 어떻게 분해하고, 어떤 가설을 세우고, 어떤 오류를 수정하는지 학생들과 함께 분석할 수 있다. 이는 학생 스스로의 메타인지 능력을 키우는 데 결정적인 도움을 준다. AI의 내적 사고 과정을 ‘해부’하는 것이 곧 학생들의 ‘생각하는 방법’을 가르치는 과정이 된다.

2. 비판적 낙관주의: AI의 높은 추론 능력은 학생들에게 더욱 복잡하고 도전적인 문제를 제시할 수 있는 기회를 제공한다. AI가 기본적인 연산이나 패턴 인식을 처리하는 동안, 학생들은 AI가 제시하는 추론 과정을 비판적으로 검토하고, 대안적인 해결책을 모색하며, AI의 ‘생각’이 놓칠 수 있는 인간적 맥락이나 윤리적 함의를 탐구하는 데 집중한다. 즉, AI는 문제 해결의 동반자이지, 해결책의 유일한 제공자가 아니다.

3. 교사의 역할 재정립: AI가 고차원적인 추론까지 수행하는 시대에, 교사는 단순 지식 전달자에 머물지 않는다. 학생의 질문을 재구성하고, AI와 학생 간의 상호작용을 촉진하며, AI의 추론 결과에 대한 학생들의 비판적 성찰을 유도하는 코치, 멘토, 그리고 학습 과정 설계자로서의 역할이 더욱 중요해진다. 학생들에게 AI의 답을 무조건 수용하기보다, “AI는 왜 이렇게 생각했을까?”, “다른 방식은 없을까?”, “이 답의 윤리적 의미는 무엇일까?”와 같은 질문을 던지도록 안내한다.

이 모든 변화는 AI를 단순한 ‘도구’가 아니라 ‘사고의 확장재’로 인식할 때 비로소 시작된다. AI가 스스로 ‘생각’하는 능력을 갖추는 지금, 우리 교육은 학생들에게 ‘무엇을 생각하게 할 것인가’에 대한 근본적인 답을 찾아야 한다.

출처

• OpenAI Forum: https://forum.openai.com/public/videos/learning-to-reason-with-llms-2024-10-04