3 분 소요

hits

1. 연구의 목적

(1) 사이버보안 교육, 특히 형사 사법 전문가를 위한 교육 분야에서 LLM을 활용한 챗봇의 한계가 점차 부각되고 있음. 기존 LLM 기반 교육용 챗봇은 대화의 ‘무상태성(statelessness)’으로 인해 학습자의 장기적인 학습 맥락을 유지하지 못하고, 법적·기술적으로 높은 정확성이 요구되는 영역에서 환각(hallucination) 문제가 치명적으로 작용함.

(2) 본 연구는 이러한 한계를 극복하기 위해 CyberJustice Tutor라는 교육용 대화 시스템을 개발함. 이 시스템은 단순 반응형 챗봇을 넘어, Think-Plan-Act 인지 순환 구조를 갖춘 Agentic AI 프레임워크를 채택하여 자율적인 목표 분해, 장기적 학습 계획 수립, 동적 맥락 유지를 가능하게 함. 궁극적으로 Vygotsky의 근접발달영역(ZPD) 이론에 기반한 교수적 비계 설정(Scaffolding)이 AI 에이전트 기반 학습 환경에서 효과적으로 구현될 수 있는지를 검증하고자 함.


2. 연구의 방법

(1) 본 연구는 세 가지 핵심 구성 요소를 통합한 Agentic AI 아키텍처를 설계·구현함.

  • Think-Plan-Act 인지 순환: 에이전트가 학습자의 입력을 분석(Think)하고, 학습 목표에 맞는 교수 전략을 계획(Plan)하며, 적절한 응답과 학습 자료를 제공(Act)하는 세 단계의 순환 구조를 적용함.
  • 교수적 비계 설정 레이어: Vygotsky의 근접발달영역(ZPD) 이론에 기반하여, 학습자의 실시간 진행 상황에 따라 교수적 지원의 수준을 동적으로 조절하는 적응형 비계 설정 메커니즘을 구현함.
  • 적응형 RAG(Retrieval Augmented Generation) 코어: 검증된 교육과정 자료에 에이전트의 추론을 고정(anchor)시켜 법적·기술적 정확성을 보장하는 정보 검색 증강 생성 시스템을 적용함.

(2) 123명의 참여자를 대상으로 사용자 연구를 실시하여 시스템의 사용성(usability), 인지된 정확성(perceived accuracy), 학습자 참여도(learner engagement) 등을 평가함. 정량적 설문조사와 질적 피드백을 혼합 방법론으로 수집·분석함.

(3) 본 연구는 미국 국립과학재단(NSF) 보조금(2334196, 2334197)의 지원을 받아 수행됨.


3. 주요 발견

(1) CyberJustice Tutor는 사용성과 인지된 정확성 모두에서 높은 평가를 받음. 123명의 참여자로부터 수집한 데이터에서 시스템의 사용 편의성 및 학습 자료의 정확성에 대한 긍정적인 평가가 도출됨. 이는 Agentic AI 접근 방식이 기존 반응형 챗봇 대비 교육적 효과성을 향상시킬 수 있음을 시사함.

(2) Think-Plan-Act 인지 순환 구조는 학습자의 질문에 단순히 반응하는 것을 넘어, 학습자의 현재 이해 수준을 추론하고 이에 맞는 교수 전략을 계획·실행함으로써 보다 심층적인 학습 상호작용을 가능하게 함. 특히 사이버보안과 같은 고도의 전문 지식이 요구되는 영역에서 교수적 계획 수립 능력이 학습 효과에 기여함.

(3) 적응형 RAG 코어를 통해 검증된 교육과정 자료에 에이전트의 응답을 고정시킴으로써 환각 현상을 효과적으로 줄임. 이는 법적 정확성이 요구되는 형사 사법 교육에서 특히 중요한 성과임. 다만, 장기적인 종단 연구 없이는 정량화된 학습 성과 향상을 단정짓기 어렵다는 한계를 저자들이 명시함.

(4) 질적 피드백에서 학습자들은 시스템이 자신의 인지적 필요에 적응한다고 느꼈으며, ZPD 기반 비계 설정이 학습자의 능동적 참여와 몰입을 유도하는 데 기여했다고 보고함.


4. 결론 및 시사점

(1) Agentic AI 프레임워크는 기존 LLM 기반 교육용 챗봇의 근본적 한계인 무상태성과 환각 문제를 동시에 해결할 수 있는 유망한 접근 방식임. Think-Plan-Act 인지 순환 구조를 통해 에이전트가 학습 맥락을 유지하면서도 교수적으로 적절한 응답을 생성할 수 있음을 보여줌.

(2) VygotskyZPD 이론을 AI 에이전트 수준에서 구현한 점은 교육공학적으로 의의가 큼. 이는 단순한 정보 전달을 넘어, 학습자의 발달 수준에 맞춘 적응형 교육 지원이 AI 시스템을 통해 실현 가능함을 시사함.

(3) 사이버보안 교육이라는 특정 도메인에서의 성과이지만, Think-Plan-Act + 비계 설정 + RAG라는 아키텍처 조합은 법학, 의학, 공학 등 높은 정확성과 맥락 유지가 요구되는 다양한 전문 교육 분야에 적용 가능할 것으로 기대됨.


5. 리뷰어의 ADD(+) One: 생각 더하기

(1) Think-Plan-Act 인지 순환 구조는 인간 교사의 교수 행위를 모방한 것으로 볼 수 있음. 숙련된 교사는 학생의 반응을 관찰(Think)하고, 다음 교수 전략을 즉석에서 수립(Plan)하며, 이를 실행(Act)하는 과정을 반복함. 이 연구는 AI 에이전트가 이러한 교수적 추론 과정을 구조화된 형태로 재현할 수 있음을 보여준다는 점에서 흥미로움.

(2) 비계 설정과 RAG의 결합은 AI 교육 에이전트 설계에서 핵심적인 통찰을 제공함. RAG가 ‘무엇을 가르칠 것인가’에 대한 정확성을 보장하고, 비계 설정이 ‘어떻게 가르칠 것인가’에 대한 적응성을 담당하는 역할 분담은 향후 교육용 AI 시스템 설계의 참고 모델이 될 수 있음.

(3) 다만, 123명 규모의 사용자 연구에서 사용성과 인지된 정확성이라는 주관적 지표에 의존하고 있다는 점은 한계임. 향후 무선 통제 실험(RCT) 설계를 통한 사전-사후 학습 성취도 비교, 그리고 종단 연구를 통한 장기적 학습 효과 검증이 필요함. 특히 ZPD 기반 비계 설정이 학습자의 자기조절학습(SRL) 능력 발달에 미치는 영향을 장기적으로 추적하는 연구가 유의미할 것임.

(4) 본 연구의 Agentic AI 프레임워크를 K-12 교실에 적용한다면 어떨까? 예를 들어, 수학이나 과학 수업에서 학생 개인별 ZPD를 실시간으로 진단하고, Think-Plan-Act 사이클을 통해 맞춤형 학습 경로를 동적으로 조정하는 AI 튜터를 상상해 볼 수 있음. 이 경우, 교사는 개별 학생의 학습 데이터를 기반으로 한 대시보드를 통해 전체 학급의 학습 상황을 모니터링하고, AI 에이전트와 협력하여 보다 효과적인 수업을 설계할 수 있을 것임.


6. 추가 탐구 질문

(1) Think-Plan-Act 인지 순환 구조에서 각 단계(Think, Plan, Act)가 학습 효과에 기여하는 상대적 비중은 어떻게 다른가? 특히 Plan 단계의 깊이(depth)가 학습자의 이해도 향상에 미치는 영향은?

(2) ZPD 기반 비계 설정이 학습자의 메타인지 능력(자기 모니터링, 자기 평가) 발달에 미치는 영향은 어떻게 측정할 수 있는가?

(3) 적응형 RAG의 정확성과 비계 설정의 유연성 사이에 상충(trade-off)이 발생할 수 있는 상황은 무엇이며, 이를 어떻게 최적화할 수 있는가?


<출처> - Wang, B., Bai, Y., & Li, J. (2026). CyberJustice Tutor: An Agentic AI Framework for Cybersecurity Learning via Think-Plan-Act Reasoning and Pedagogical Scaffolding. *arXiv preprint* arXiv:2603.18470v1. [https://doi.org/10.48550/arXiv.2603.18470](https://doi.org/10.48550/arXiv.2603.18470)