LLM이 만든 설계 문제는 프로젝트 학습의 고차원적 사고를 평가할 수 있는가

1. 연구의 목적

(1) 프로젝트 기반 학습(PjBL)은 컴퓨터 공학 교육에서 실용적 기술과 깊은 인지 참여를 촉진함. 그러나 기존 PjBL 평가는 학습 전이 맥락에서의 고차원적 사고력(HOT) 측정을 어려워함. 특히 생성형 AI 도구 활용과 협업 학습이 증가하면서 개별 학생의 진정한 숙달 여부 파악에 한계가 드러남. 이러한 상황에서 교사들은 HOT 평가를 위한 시나리오 기반 문제를 만들고 싶어 하나, 양질의 문제를 직접 만드는 데 상당한 시간과 노력이 소요되는 것이 현실적 장벽임.

(2) 이 연구는 이러한 평가의 공백을 메우기 위해 ‘설계 문제(Design Problems, DPs)’라는 새로운 평가 방식을 제안함. 핵심 목표는 LLM(거대 언어 모델)이 PjBL 환경에서 HOT를 평가하는 DPs를 효과적으로 생성할 수 있음을 입증하는 것임. 구체적으로는 교수자의 DP 가치 인식과 실용성, LLM 생성 DP의 품질, 그리고 학생들이 LLM 생성 DP를 실제 교실에서 경험하는 방식을 분석함.

2. 연구의 방법

(1) 이 연구는 세 가지 핵심 연구 질문에 답하기 위해 혼합 연구 방식을 채택함.

• 교수자 인식 설문조사: PjBL 운영 경험이 있는 교수자 31명을 대상으로 DPs의 가치와 실용성에 대한 인식을 파악함. 개방형 질문으로 현행 평가 방식과 HOT 평가의 어려움을 수집함.
• LLM 기반 DP 생성 및 전문가 평가: 4개의 기존 PjBL 프로젝트(웹 보안, 분산 시스템, 소프트웨어 유지보수, 모바일 머신러닝)를 선정함. OpenAI GPT-4o와 추론 지향 모델인 Gemini 2.5 Pro를 활용하여 프로젝트별로 10개씩, 총 80개의 DPs를 생성함. 두 명의 전문가가 시나리오 품질, 학습 목표 정합성, 인지 복잡성, 명확성/구체성, 실현 가능성의 5가지 기준에 따라 각 DP를 독립적으로 평가함.
• 교실 적용 및 학생 경험 분석: 3개 학부 컴퓨터 공학 과정에 LLM 생성 DPs를 실제 평가 도구로 배포함. 학생들은 무작위로 할당된 DP 하나를 해결(Task A)하고, 다른 DP 하나를 5가지 평가 기준에 따라 평가(Task B)함. 웹 기반 시험 환경에서는 학생들의 답변 작성 시 키스트로크 데이터를 수집하여 인지 참여 패턴을 분석함.

(2) 연구의 주요 분석 대상과 비교 조건은 다음을 포함함.

• 교수자 인식: DP의 잠재적 가치와 실제 도입 시의 장벽 분석.
• LLM 모델 간 비교: GPT-4o와 Gemini 2.5 Pro가 생성한 DP 품질의 차이 분석. 특히 추론 지향 모델의 강점 확인.
• DP의 프로젝트별 일반화: 다양한 도메인과 규모의 PjBL 프로젝트에 대한 DP 생성 품질 비교.
• 학생 성과 분석: DP 성적과 전통적 프로젝트 성적 간의 상관관계를 분석해 DP가 포착하는 학습 측면의 독립성 확인.
• 시험 환경 비교: 종이 기반 시험과 웹 기반 시험에서의 학생 DP 수행 능력 및 행동 데이터(키스트로크) 분석.

3. 주요 발견

이 연구는 PjBL에서 고차원적 사고력을 평가하는 ‘설계 문제(DP)’의 유용성과 LLM의 생성 역량을 다각도로 조명함.

(1) DP의 핵심 정의 및 기존 평가와의 차이점: 설계 문제는 간결하고 현실적인 시나리오 기반의 질문으로, 학생들이 PjBL 프로젝트에서 배운 개념을 새로운 상황에 적용하도록 요구함. 이는 지식 회상이나 이해에 그치지 않고, 분석·평가·생성과 같은 블룸 분류학의 고차원적 인지 능력을 평가하는 데 초점을 둠. 전통적인 PjBL 평가는 주로 코드, 보고서 등 결과물에 의존하여 HOT의 전이 맥락을 포착하기 어려움. 설계 문제는 이러한 간극을 메우며, 특히 생성형 AI 활용이나 팀워크로 인해 개별 학습 성과가 모호해질 수 있는 환경에서 학생의 개별 역량을 명확하게 평가하는 도구임.

(2) LLM 생성 DP의 품질 및 전문가 평가: LLM은 PjBL 학습 목표에 부합하며 인지적으로 도전적인 DPs를 효과적으로 생성함.

• 전문가 합의: 두 전문가 평가자 간의 코헨 카파(Cohen’s 𝜅) 값은 0.66으로, DP 품질 평가에 대한 실질적인 합의가 있음을 나타냄.
• 고품질 DP의 발현: 전체 80개 생성 DP 중 50%인 40개 DP가 모든 5가지 평가 기준에서 전문가로부터 만점을 받음.
• 창의적 시나리오 재구성: LLM은 기존 프로젝트 개념을 새로운 도메인으로 창의적으로 전환하는 능력을 보임. 예를 들어, 모바일 행동 데이터를 노인 돌봄 건강 모니터링에 활용하는 DP는 학생들이 기존 Touchalytics 프로젝트에서 학습한 개념을 사회적으로 관련성 있는 새로운 맥락으로 이전하도록 유도함. 이는 단순한 프로젝트 변형이 아니라 HOT를 요구함.

(3) LLM 모델 간 DP 생성 품질 비교: 표준 LLM(GPT-4o)과 추론 지향 LLM(Gemini 2.5 Pro) 간 DP 생성 품질에는 유의미한 차이가 있음. 다음 표는 두 LLM이 생성한 DP에 대한 전문가들의 평균 점수를 비교함.

평가 기준	표준 LLM (평균)	추론 지향 LLM (평균)	p-값	효과 크기 (d)	핵심 시사점
시나리오 품질	0.77	0.97	<0.001*	0.88	추론 지향 LLM은 더 현실적이고 풍부한 시나리오를 제공하여 전이 학습을 효과적으로 지원함.
학습 목표 정합성	0.96	0.94	0.548	0.14	두 모델 모두 학습 목표에 잘 부합하는 DP를 생성함.
인지 복잡성	0.98	1.00	0.103	0.37	두 모델 모두 HOT를 촉진하는 DP 생성 능력이 높음.
명확성/구체성	0.93	0.94	0.851	0.04	두 모델 간 유의미한 차이 없음.
실현 가능성	0.94	1.00	0.018*	0.55	추론 지향 LLM이 짧은 평가 시간 내에 해결 가능한 적절한 범위의 DP를 생성하는 데 유리함.

• 추론 지향 LLM의 우위: 추론 지향 LLM이 시나리오 품질과 실현 가능성 측면에서 표준 LLM보다 통계적으로 유의미하게 우수함이 밝혀짐. 이는 복잡한 맥락과 제약을 고려한 문제 생성에 추론 능력이 필수적임을 의미함.

(4) 교실 적용에서의 학생 경험 및 행동 패턴: DP는 전통적 평가가 포착하기 어려운 학생의 인지적 참여를 드러냄. 다음 표는 각 코스에서 학생들의 DP 수행 능력을 요약함.

과정-프로젝트	N	평균 점수 (8점 만점)	표준 편차	평균 시간 (분)	평균 단어 수
Course A-Breached!	28	6.64	2.00	13.76	126.04
Course B-DT3	40	3.93	2.84	N/A	44.80
Course C-Touchalytics	10	7.60	0.97	10.90	154.80

• 평가 환경의 영향: DT3 프로젝트(종이 시험) 학생들의 DP 성적이 다른 웹 기반 시험 학생들보다 현저히 낮음. 이는 손글씨가 아이디어를 완전히 표현하는 데 방해가 되는 필사 장벽으로 작용했을 가능성을 시사함. 단어 수는 DP 성적과 강한 양의 상관관계(𝜌 = 0.67)를 보이며, 이는 상세한 설명과 정당화가 높은 점수로 이어짐을 의미함.
• 깊은 인지 참여의 증거: 웹 기반 시험의 키스트로크 데이터 분석 결과, 학생들은 답변 시작 전 평균 약 2분간 초기 계획 시간을 가짐. 작성 중에는 100자당 12~16자를 삭제하는 수정 행동을 보임. 또한 10초 이상 멈추는 잦은 일시 정지(세션당 평균 15회)가 관찰됨. 이 모든 행동은 학생들이 단순히 암기된 내용을 옮겨 적는 것이 아니라, 적극적으로 사고하고, 계획하고, 평가하고, 해결책을 정교화하는 깊은 인지 참여를 하고 있음을 강력하게 시사함.
• 전통적 평가와의 낮은 상관관계: DP 성적과 전통적인 프로젝트 성적 간의 상관관계는 거의 없음(𝜌 = -0.05 ~ 0.03). 이는 DPs가 전통적인 결과물 중심 평가와는 다른, 전이 지향적 HOT 측면을 포착함을 분명히 함. 특히, 프로젝트 성적은 높지만 DP 성적은 낮은 ‘Implementers’ 집단(28.2%)의 존재는 구현 성공이 반드시 설계 능력과 HOT를 의미하지 않음을 강력하게 주장함.
• 학생과 전문가 인식의 괴리: 학생들은 DP가 인지적으로 복잡하고 시나리오가 현실적이라고 높게 평가했으나, 실현 가능성(feasibility)은 낮게 평가함. 반면, 전문가들은 실현 가능성을 높게 평가함. 이는 전문가가 초심자의 인지 부하를 과소평가하는 “전문가 맹점” 현상과 일치하는 결과임.

4. 결론 및 시사점

(1) 이 연구는 설계 문제(DP)가 PjBL에서 전이 지향적 고차원적 사고력(HOT)을 평가하는 효과적인 보완적 도구임을 입증함. 특히, 거대 언어 모델(LLM), 그중에서도 추론 지향 LLM은 현실적이고 학습 목표에 부합하며 인지적으로 도전적인 DPs를 높은 품질로 안정적으로 생성하는 역량을 가짐이 밝혀짐. DPs는 전통적인 프로젝트 결과물 중심 평가가 포착하기 어려운 학생의 실제 설계 능력과 전이 학습 역량을 드러냄.

(2) 교육 현장에 주는 시사점은 명확함. AI 도구 사용 및 협업이 만연한 현대 학습 환경에서, DP는 학생의 개별적이고 진정한 학습 숙달을 평가하는 데 필수적인 보조 평가 도구로 기능함. LLM의 활용은 교사가 고품질의 프로젝트 맞춤형 DP를 만드는 데 드는 막대한 시간과 노력을 획기적으로 줄여줌. 이는 교사들이 더 많은 시간을 학생 지도와 피드백에 할애할 수 있음을 의미함.

(3) AI 기반 교육 도구 설계에 대한 시사점도 큼. 웹 기반 환경에서의 DP 평가가 학생들의 사고 과정을 더 잘 담아낼 수 있음이 확인됨. 키스트로크와 같은 행동 데이터를 분석하는 것은 학생들의 계획, 수정, 심사숙고와 같은 고차원적 인지 과정을 이해하는 데 귀중한 통찰을 제공함. 이러한 데이터는 향후 맞춤형 학습 지원 시스템 개발과 실시간 인지 부하 감지를 위한 기초 자료로 활용될 수 있음.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 DP 성적과 전통적 프로젝트 성적 간의 거의 없는 상관관계임. 이는 PjBL의 평가 딜레마에 대한 강력한 해결책을 제시함. 기존 평가가 단순히 ‘무엇을 만들었는가’에 집중하여 개별 학습자의 진정한 이해와 전이 능력을 놓치고 있었다는 반증임. 많은 교사가 PjBL의 이상을 추구하면서도 막상 평가에 이르면 결과물 중심의 저차원적 평가로 회귀하는 현실에서, AI가 이러한 평가적 맹점(assessment blind spot)을 보완할 수 있음을 보여줌. 즉, PjBL이 추구하는 궁극적인 목표인 ‘현실 문제 해결 능력’과 ‘지식의 전이’를 AI 기반 DP가 실질적으로 평가할 수 있다는 단언임.

(2) 이 연구는 ‘앎’의 본질에 대한 더 넓은 의미를 제안함. AI 시대에 단순한 지식의 암기나 반복적인 기술 구현은 그 가치가 빠르게 감소함. 대신 ‘새로운 문제에 직면했을 때 기존 지식을 어떻게 재구성하고 적용할 것인가’가 핵심 역량으로 부상함. 이 논문은 이러한 인지과학적, 교육철학적 요구에 LLM이라는 기술적 해법을 제시함. AI가 교육 현장에 던지는 질문이 ‘AI가 답을 다 아는데 학생이 무엇을 배워야 하는가?’였다면, 이 연구는 ‘AI가 질문을 낼 때 학생은 어떻게 비판적으로 사고하고 답을 구성할 것인가?’라는 더욱 고차원적인 학습의 방향성을 설정함. 이는 AI 시대 교육에서 지식의 ‘전이 가능성’과 ‘재구성 능력’이 핵심 학습 목표가 되어야 함을 역설함.

(3) 이 연구를 발전시킬 구체적인 아이디어를 제안함. 첫째, LLM 기반 DP 생성-평가-개선 순환 시스템 구축을 고려할 수 있음. 교사가 LLM이 생성한 DP를 검토하고 피드백을 제공하면, 이 피드백이 LLM의 다음 DP 생성 프롬프트 엔지니어링에 반영되는 구조임. 이렇게 하면 DP 품질을 지속적으로 향상시키고 교사의 초기 검토 부담을 줄임. 둘째, DP 해결 과정에서 수집되는 키스트로크, 시선 추적, 음성 기록 등 다중 모달 행동 데이터를 통합 분석하는 플랫폼을 개발함. 이는 학생의 인지적 병목 현상, 문제 해결 전략, 메타인지 활동을 실시간으로 감지하고, AI 기반의 맞춤형 개입 및 피드백 제공 가능성을 확장함. 셋째, 학생과 전문가 간 ‘실현 가능성’ 인식 차이를 해소하기 위해, LLM이 명시적으로 다양한 난이도와 시간 제약을 가진 DP를 생성하도록 프롬프트를 고도화함. 예를 들어, ‘15분 안에 해결할 수 있는, 특정 기술 제약을 포함한 DP를 생성하시오’와 같은 구체적인 지시로 학생들의 인지 부하를 조절함.

6. 추가 탐구 질문

(1) LLM이 생성한 설계 문제(DP)를 활용한 학습 경험이 학생들의 장기적인 전이 학습 능력과 고차원적 사고력 발달에 실제로 긍정적인 영향을 미치는가? DP 해결 과정에서 얻은 인사이트가 다른 과목이나 실제 문제 해결 상황으로 얼마나 잘 전이되는가?

(2) 컴퓨터 공학 교육 외에 디자인, 비즈니스, 인문학 등 다른 전공의 프로젝트 기반 학습에서 LLM 생성 DP가 유사하게 고차원적 사고력 평가에 효과적일 수 있는가? 또한, 다양한 문화적 배경을 가진 학습자들에게 LLM 생성 DP가 보편적으로 적용될 수 있으며, 문화적 편향성은 없는가?

(3) LLM이 생성한 DP의 ‘독창성’과 ‘교육적 가치’를 어떻게 정의하고 평가할 것인가? 교사의 수정 없이 LLM이 100% 자율적으로 생성한 DP를 교육 현장에 바로 적용하는 것에 대한 윤리적, 교육적 책임 소재는 누구에게 있는가?

출처

• Suleiman, A. D., Hou, D., & Raida, M. N. (2026). LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning. Proceedings of the 2nd ACM Virtual Global Computing Education Conference V. 1 (SIGCSE Virtual 2026). https://doi.org/10.1145/3795867.3831014