트랜스포머에서 추론 모델로 AI 배움의 진화, 교육의 미래를 묻다

챗GPT가 등장한 이후, 많은 교사가 기술의 압도적인 발전에 현기증을 느낀다. 하지만 기술은 단지 도구일 뿐이라는 오래된 격언은 여전히 유효하다. 중요한 점은, 이 도구가 어떻게 학습하며 진화하는가를 이해하는 데 있다. 2025년 10월 6일 OpenAI 포럼에서 진행된 Łukasz Kaiser 연구 과학자의 강연 “강력한 모델 학습: 트랜스포머에서 추론기로, 그 너머로”는 이 질문에 대한 깊이 있는 통찰을 제공한다. 그의 이야기는 인공지능이 데이터를 ‘소비’하는 방식에서 ‘사고’하는 방식으로 바뀌는 과정을 보여주며, 우리에게 ‘진정한 배움’의 의미를 다시 생각하게 한다.

인공지능, 더 적은 데이터로 배움을 탐색하는 법

Łukasz Kaiser는 지난 10년간 인공지능 연구의 핵심을 관통하는 질문으로 “기계는 더 적은 데이터로 배울 수 있는가?”를 던진다. 이 질문은 언뜻 대규모 데이터와 GPU 확장에만 몰두하는 것처럼 보이는 AI 분야에서 반직관적인 주장으로 들릴 수 있다. 하지만 그는 자율주행차의 예를 들며 왜 이 질문이 중요한지 명확히 설명한다. 샌프란시스코 시내에서는 자율주행차가 흔하지만, 다리 하나만 건너 버클리까지는 가지 못한다. 인간 운전자라면 수많은 훈련 시간 없이도 캘리포니아 어디든 운전할 수 있다. 기계는 인간만큼의 수행 수준에 도달하기 위해 터무니없이 많은 훈련이 필요하다. 본질적으로, 이는 단순한 데이터의 양적 투입만으로는 해결되지 않는 효율적인 학습의 문제다.

더 나아가 Kaiser는 AI 과학자라는 꿈의 영역을 이야기한다. 암을 치료하거나, 화성 탐사를 돕거나, 신소재를 개발하는 AI는 단순히 기존 지식을 기억하는 데서 그치지 않고 새로운 발견을 해야 한다. 수학 연구를 생각해 보자. 특정 주제에 대한 논문이 서너 편에 불과한 상황에서, AI는 제한된 정보를 바탕으로 깊이 사고하고 새로운 실험을 설계하며 지식을 생성해야 한다. 방대한 과거 사례가 없는 상황에서, AI는 소수의 데이터만으로 다음 단계를 학습하고 진화해야 한다. 정확히는, AI가 인간처럼 새로운 지식을 창조하기 위해서는 적은 데이터에서 핵심 원리를 추출하고 활용하는 능력이 필수적이다. 이것이 곧 우리가 AI에 거는 많은 기대를 현실화할 결정적인 단계다.

힘센 모델, 똑똑한 모델의 교차점

오랫동안 인공지능 연구자들은 강력한 모델과 잘 학습되는 모델이 서로 다른 영역에 있다고 생각했다. Ilya Sutskever OpenAI 공동 창립자의 비유를 빌리자면, 이 두 원은 완전히 분리되어 있었다. 강력한 모델은 데이터를 암기할 뿐 학습하지 못하거나, 학습하기가 불가능에 가까웠다. 그러나 2014년, Ilya Sutskever가 발표한 시퀀스-투-시퀀스 학습 논문은 이 두 원이 딥 러닝 기반의 순환 신경망(RNN)으로 처음으로 교차하는 지점을 보여준다.

RNN은 단어(또는 토큰)를 하나씩 처리하며 다음 단어를 예측한다. 이를 Łukasz Kaiser는 고정된 크기의 배를 가진 달팽이에 비유한다. 달팽이는 한 번에 하나의 단어를 보고, 내부 상태 벡터를 업데이트하며 다음 단어를 뱉어낸다. 각 단계에서 고정된 양의 연산을 수행하고 고정된 크기의 상태만을 유지한다. 이는 계산 능력이 선형적이고, 각 단계가 이전 단계에 의존하므로 병렬 처리가 어렵다. 비록 어떤 데이터로든 학습할 수 있다는 장점은 있었지만, 초기에는 RNN의 셀 구조를 올바르게 설계하는 데 많은 노력이 필요했다. 본질적으로, RNN은 당시로서는 획기적인 모델이었지만, 정보 처리의 깊이와 속도에 구조적인 한계를 안고 있었다. 현장 교사가 학생의 수많은 맥락과 변수를 실시간으로 고려하며 최적의 수업 흐름을 설계하는 것과 비교하면, RNN은 한 번에 하나의 정보만을 처리하는 제한적인 역량에 머물렀다고 할 수 있다.

트랜스포머, 모든 과거를 기억하는 달팽이

RNN의 선형적 처리와 병렬 처리 한계를 극복하기 위해 등장한 것이 바로 트랜스포머(Transformer)다. 트랜스포머는 역시 시퀀스-투-시퀀스 모델이지만, RNN과 달리 상태를 순차적으로 전달하지 않는다. 대신, 모든 미래의 단어가 과거의 모든 단어를 참조(Attend)할 수 있는 어텐션(Attention) 메커니즘을 도입한다. Kaiser는 이를 껍데기에 모든 과거 단어를 차곡차곡 쌓아두고 언제든 꺼내 볼 수 있는 달팽이에 비유한다.

이 모델은 n개의 입력 단어가 있을 때 O(n)의 공간을 사용하고 O(n^2)의 연산을 수행한다. 중요한 것은 병렬 처리가 가능해졌다는 점이다. 이는 학습 시간과 추론 시간을 획기적으로 단축하는 실질적 이점으로 작용한다. 트랜스포머는 RNN보다 더 강력하면서도 더 잘 학습되는 모델로 자리매김한다. 실제 트랜스포머 논문에서는 구문 분석(Parsing)과 같이 데이터가 적은 작업에서 RNN을 크게 능가하는 성능을 보여주었다. 현재 챗GPT를 비롯한 대부분의 생성형 AI와 자율주행차, 이미지 생성 모델의 기반에 트랜스포머가 존재한다는 사실이 그 실용적 가치를 증명한다. 정확히는, 트랜스포머는 AI가 광범위한 맥락을 동시에 고려하고 효율적으로 학습하는 시대를 열었다.

추론 모델, 스스로 생각하는 달팽이

단순히 모델의 규모를 확장하는 것, 즉 레이어를 늘리는 방식만으로는 적은 데이터로 학습하는 한계가 명확했다. Łukasz Kaiser는 GSM 8K라는 6학년 수준의 수학 문제 해결 사례를 언급한다. 당시 GPT-3.5 수준의 모델은 35% 정도의 정답률을 보였으며, 60%에 도달하려면 수백조 개의 매개변수를 가진 모델이 필요하다고 예측되었다. 이는 인터넷의 모든 데이터를 동원해도 훈련하기 어려운 규모였다. 여기서 단순 규모 확장의 한계를 깨고 더 강력한 모델을 만들기 위한 돌파구가 필요했다.

그것이 바로 추론 모델(Reasoning Model)이다. 추론 모델은 겉보기에는 기존 트랜스포머와 같은 모델이지만, 사용자에게 최종 답을 내기 전에 스스로 일련의 생각(Chain of Thought)을 생성하도록 허용한다. 마치 달팽이가 껍데기 안에서 잠시 멈춰 서서 스스로 수많은 생각을 하고 난 후에야 다음 단어를 말하는 것과 같다. 이 내부적인 생각의 사슬은 필요에 따라 외부 도구 (예: 웹 검색 엔진)를 호출할 수 있게 한다. 가령, “샌프란시스코 동물원은 오늘 몇 시에 여는가?”라는 질문에 순수 트랜스포머는 웹사이트 개장 시간을 암기해야 하지만, 추론 모델은 “구글에 ‘샌프란시스코 동물원 개장 시간’ 검색”이라는 생각의 사슬을 생성하고, 검색 결과를 읽어 정확한 정보를 추출한다. 이러한 과정은 특정 정보를 암기하는 대신 정보를 얻는 전략 자체를 학습하게 한다. 이는 훨씬 적은 데이터로 어떤 동물원에 대해서도 정확한 답변을 줄 수 있음을 의미한다.

추론 모델은 생각의 사슬 생성 과정이 미분 불가능하기 때문에 기존의 경사 하강법으로 훈련하기 어렵다. 대신 심층 강화 학습(Deep Reinforcement Learning) 방식을 사용한다. 이로 AIME 수학 경시대회 문제 해결 능력을 13%에서 80~90%까지 끌어올리는 비약적인 성과를 보여주었다. 또한, 수학 논문의 바운드(Bound)를 개선하는 등 새로운 지식을 생성하는 능력까지 보여주었다. 구조적으로 보면, 추론 모델은 AI가 단순히 정보 처리 기계에 머물지 않고 문제 해결 과정 자체를 학습하고 설계하는 메타인지적 지능의 단계를 열었다.

추론 모델의 한계와 미래, 검증 불가능한 세상의 지혜

추론 모델은 경이로운 발전을 이루었지만, 여전히 중요한 한계점을 안고 있다. 첫째, 생각의 사슬이 순차적으로 생성되므로 병렬 처리가 어렵다. 둘째, 사전 훈련된 대규모 언어 모델이라는 강력한 선행 지식(Prior)이 있어야만 작동한다. 즉, 맨땅에서 학습하는 것이 아니다. 셋째, 트랜스포머 컨텍스트 길이의 제약으로 인해 무한정 생각을 확장하기 어렵다. 그러나 Kaiser는 가장 핵심적인 과제로 검증 불가능한 데이터에서 학습하는 능력의 부재를 꼽는다.

현재 추론 모델은 수학 문제나 코딩과 같이 정확한 답이 있거나 검증 가능한 데이터로만 강화 학습을 할 수 있다. 하지만 사회적 상호작용이나 인간의 지혜는 다르다. Łukasz Kaiser는 챗GPT가 술집에 가서 대화를 이어갈 수 있을까?라는 질문을 던진다. 오래된 친구의 취향, 방금 만난 사람의 말, 특정 상황에 맞는 유머러스한 농담 등은 정답이 없는 복잡한 맥락이다. 이러한 데이터는 참/거짓으로 검증할 수 없기에 현재의 강화 학습으로는 학습시키기 어렵다. 본질적으로, 이는 AI가 기술적 숙련도에서 인간의 사회적 지능과 직관, 공감의 영역으로 나아가기 위한 마지막 관문이다. 정확히는, AI는 문제 해결사에서 지혜로운 동반자로 진화하기 위한 가장 큰 난관에 봉착해 있다.

한국 교육 현장에 주는 시사점, ‘어떻게’ 가르칠 것인가

Łukasz Kaiser의 연구는 인공지능이 적은 데이터로 더 깊이 사고하는 능력, 즉 학습 효율성을 극대화하는 방향으로 진화하고 있음을 명확히 보여준다. 이는 교육 현장의 교사들에게 AI를 단순히 활용하는 방법이 아니라, AI가 배우는 방식을 이해하고 인간의 배움과 어떻게 연결할지 깊이 통찰해야 한다는 메시지를 전한다.

AI 학습 모델의 진화와 그에 따른 교육적 시사점은 다음과 같다.

AI 학습 모델	핵심 학습 방식	컴퓨팅 능력 (달팽이 비유)	교육적 시사점
순환 신경망 (RNN)	단어 단위 순차 처리	고정된 상태, 선형적 연산	기초 개념 학습, 반복 훈련으로 지식 습득
트랜스포머	전체 맥락 참조, 병렬 처리	과거 기록 저장, O(n^2) 연산	통합적 사고, 맥락적 이해 기반의 문제 해결
추론 모델	스스로 생각의 사슬 생성, 도구 활용	내부 사고 확장, O(n^2) 연산	문제 해결 과정 설계, 비판적 사고, 메타인지 활용

위 표에서 보듯이, AI는 단순 정보 습득 단계에서 나아가 맥락을 이해하고, 나아가 스스로 사고 과정을 설계하며 외부 자원을 활용하는 단계로 진화한다. 이는 교육 현장에서 수동적인 지식 전달에서 능동적인 학습 설계로의 전환이 필연적임을 말한다. 특히 추론 모델의 발전은 정답을 찾는 능력보다 질문을 던지고, 생각의 과정을 설계하며, 모호한 상황에서 최선의 판단을 내리는 인간만의 능력을 키우는 교육이 훨씬 중요해지고 있음을 단언한다.

비판적 낙관주의의 시선으로

인공지능 발전의 속도는 경이롭다. 하지만 기술적 진보 뒤에는 인간의 역할과 윤리적 질문이 그림자처럼 따라온다. Łukasz Kaiser가 지적한 검증 불가능한 데이터의 영역, 즉 인간 사회의 복잡성과 정답 없는 가치를 AI가 어떻게 이해하고 반응할 것인가? 이것은 단순히 기술 개발의 문제가 아니라, 인간 사회가 AI를 어떻게 가르칠 것인가에 대한 근본적인 질문이다.

학교 현장에서 AI의 판단을 맹신하기보다 그 과정을 함께 들여다보는 교사 공동체가 필요하다. 동학년 교사들과의 점심시간 대화에서 챗GPT가 내놓은 답의 논리적 비약이나 편향을 짚어보고, 어떤 질문으로 더 나은 답을 유도할지 5분만 논의하는 습관만으로도 비판적 낙관주의를 실천할 수 있다. 이러한 집단적 성찰으로 AI를 도구로 삼는 동시에 인간의 지성을 확장해야 한다.

자, 당신의 교실에서 챗GPT에게 “친구와 싸운 학생에게 어떤 조언을 해야 할까?”라고 물어보고, 그 답변을 동료 교사들과 함께 비판적으로 분석하는 시간을 가져보라. AI가 놓치는 인간적 맥락은 무엇이며, 우리는 무엇을 더 가르쳐야 하는가?

출처

• OpenAI Forum: https://forum.openai.com/public/videos/event-replay-learning-powerful-models-from-transformers-to-reasoners-and-beyond-2025-10-06