생성형 AI 시대, 학습자의 AI 리터러시를 평가하는 새로운 방법: X1-X2-X3 패턴

1. 연구의 목적

(1) 생성형 AI(GenAI)는 감독받지 않는 온라인 평가의 유효성을 위협함. 특히 그럴듯한 답변을 쉽게 만들 수 있는 기술 과목에서 이 문제는 더욱 심각함. 학생들의 AI 사용이 일상화되면서 기존 평가는 의도한 학습 목표를 명확히 보여주지 못하는 한계를 지님. 이는 학업 무결성 문제뿐만 아니라, 평가 자체가 학생의 진정한 이해와 판단력을 측정하지 못하게 됨을 의미함.

(2) 이 연구는 AI 사용을 단순히 금지하는 대신, AI를 통합한 평가 설계를 개발하고 정교하게 다듬는 것을 목표로 함. 학생의 학문적 추론과 판단력이 평가에 명확히 드러나도록 하는 새로운 평가 패턴을 제시함으로써, AI 시대에 맞는 평가의 유효성을 확보함.

2. 연구의 방법

(1) 연구는 실천 기반의 반복적 평가 설계 연구 방식을 채택함. 통제된 실험이 아닌, 실제 교육 환경에서 발생하는 문제를 해결하며 평가 패턴을 정교화하는 데 주력함. 영국 런던 퀸 메리 대학교의 대규모 데이터베이스 시스템 학부 과정 모듈(270명)에서 4단계에 걸쳐 적용하며 설계의 변화 과정을 탐색함.

(2) 주요 분석 대상은 AI-aware 질문 설계와 X1-X2-X3 응답 구조임. 연구팀은 GenAI 도구로 초안 질문을 미리 시험하며 AI가 쉽게 답변하지 못하도록 질문을 수정했고, 학생들에게는 AI 답변 활용 과정, 자신의 이해, 비판적 판단을 모두 포함하는 3단계 응답 형식을 요구함. 총 4단계의 배포(과제 연습, 실제 과제, 모의고사, 기말고사)에서 이 두 가지 요소를 어떻게 정교화했는지 문서, 루브릭, 학생 응답 데이터를 바탕으로 분석함.

3. 주요 발견

이 연구는 AI 시대에 학생들의 AI 리터러시, 학습 성과, 그리고 자기 성찰 능력을 평가하는 재사용 가능한 설계 프레임워크인 X1-X2-X3 평가 패턴과 AI-aware 질문 설계를 제안함.

(1) X1-X2-X3 평가 패턴의 핵심 정의: 이 패턴은 AI 도구 사용을 투명하게 드러내고 평가에 통합하는 3단계 구조를 가짐. 기존 평가가 학생의 최종 결과물에만 초점을 맞췄다면, 이 패턴은 AI 답변을 활용하는 과정, 학생의 이해를 기반으로 한 수정, 그리고 AI 답변에 대한 비판적 판단을 모두 평가의 핵심 영역으로 포함함. 이는 AI 활용 능력 자체보다 AI 시대에 인간이 갖춰야 할 고차원적 사고 측정에 중점을 둠.

(2) X1: AI 답변 추출 및 증빙 (Extract and Evidence) * 역할: 학생은 AI 챗봇(또는 웹)에서 얻은 답변의 핵심 내용을 100단어 이내로 간결하게 추출함. 이후 사용한 AI 서비스 이름, 타임스탬프, 그리고 현재 질문과 답변 필드가 명확히 보이는 전체 화면 스크린샷을 증거로 제출함. * 평가 내용: AI 답변 검색 및 증거 제시 능력 * 논문 예시: 학생이 출처가 명시된 개념 모델을 제출하나, 이는 표면적으로 그럴듯해도 개념적 분별력이 부족한 상태. X1은 초기 정보 탐색 과정을 가시화하는 단계임.

(3) X2: 학생의 답변 및 차이점 설명 (Student’s Answer and Difference) * 역할: 학생은 X1의 AI 답변을 참고하되, 자신의 언어로 수정된 답변을 작성함. 이후 X1 답변과의 주요 차이점을 200단어 이내로 설명함. 만약 차이점이 없다면, X1 답변이 완벽하다고 판단한 이유를 자신의 논리로 정당화함. * 평가 내용: 학문적 이해 기반의 수정 및 설명 능력, 핵심 학습 목표 달성 여부 * 논문 예시: 학생이 개념 모델에서 Source, Owner, Provider를 별개의 엔티티로 분리하고 명시적 관계를 설정함. 이 과정에서 원본 AI 답변이 엔티티와 속성을 혼동했음을 학문적 관점에서 설명하며 수정의 정당성을 제시함.

(4) X3: 학습 경험 서술 및 AI 답변 평가 (Narrative and Assessment) * 역할: 학생은 AI 답변을 활용하고 자신의 답변을 수정하는 과정에서 무엇을 배웠는지 간략하게 서술함. 또한, X1의 AI 답변에 대해 5점 척도와 같은 제한된 등급을 매긴 후, 그 등급에 대한 정당화 이유를 100단어 이내로 제시함. * 평가 내용: 메타인지적 반성 능력, AI 답변에 대한 비판적 판단 능력 * 논문 예시: 학생이 원본 AI 답변을 중간 등급으로 평가하며, 시작점으로 유용했으나 개념적으로는 미흡했고, 별개의 설계 객체를 통합한 오류가 있었음을 설명함. 이는 AI 답변을 맹목적으로 수용하지 않고 비판적으로 판단하는 능력을 보여줌.

이러한 X1-X2-X3 구조는 학생이 AI 도구로 답변을 생성하는 능력뿐 아니라, 생성된 답변을 학문적으로 평가하고 수정하며 자신의 학습 과정을 성찰하는 능력까지 측정함.

(5) AI-aware 질문 설계 (Stress Testing): * 역할: 연구팀은 질문을 개발할 때, 최신 GenAI 도구로 초안 질문을 직접 스트레스 테스트함. 일반적인 프롬프트로도 AI가 충분히 그럴듯한 답변을 쉽게 생성하는지 확인함. 만약 AI 답변이 너무 쉽게 만족스러운 수준에 도달하면, 질문을 시나리오 기반, 맥락이 풍부하며 모듈별 특이성을 포함하는 형태로 수정함. 이는 질문에 모듈별 스키마, 전문 용어, 미묘한 판별 요소를 추가하여 학생이 해석, 판별, 판단 능력을 발휘하도록 유도하는 것임. * 논문 예시: ‘데이터 웨어하우스 스키마를 나열하고 설명하시오’와 같은 일반적인 질문은 AI에 너무 쉬움. 이를 ‘주요 데이터 웨어하우스 스키마를 나열하고 분류하시오’와 같이 수정해 단순 정보 검색이 아닌 판단을 요구함. * 결과: AI-aware 질문 설계는 AI가 직접적인 답변 엔진으로 기능하는 신뢰도를 낮추고, 과제를 해석과 판단의 영역으로 이동시키는 데 기여함. 이는 X1-X2-X3 응답 구조와 상호 보완적으로 작용하여, AI 사용을 가시화하고 평가 가능하게 만듦.

(6) 평가 결과의 변별력 유지: AI 통합 과제에서 명확한 최고점 패턴(ceiling effect)은 관찰되지 않음. AI 지원 SQL 질문 그룹은 평균 11.50/18점(중앙값 12), AI 지원 데이터베이스 설계 질문 그룹은 평균 6.55/18점(중앙값 6)을 기록하며 다양한 점수 분포를 보임. 특히 개념적으로 복잡한 데이터베이스 설계 항목에서 변별력이 높았음. 이는 AI가 초기 구조나 일반적인 SQL 골격에는 강했지만, 학문 분야별 특유의 개념적 차이나 미묘한 논리에는 취약함을 시사함. 연구는 AI 도구의 태스크별 강점과 한계를 다음과 같이 제시함.

이러한 결과는 AI가 생성하는 유창한 답변과 학문적 추론 사이의 차이를 명확히 보여줌.

과제 유형	GenAI가 자주 도움을 준 지점	X2/X3에서 드러난 GenAI의 반복적인 단점
SQL	조인 경로, 그룹화 골격, 초기 쿼리 구조	잘못된 엔티티 카운트, term과 같은 판별자 누락, 불완전한 HAVING/집계 로직
데이터베이스 설계	후보 엔티티, 속성, 광범위한 분해 아이디어	개념적/관계형 설계 혼동, 엔티티 부적절하게 묶음, 정규화 및 의존성 문제 놓침
아키텍처	유창한 요약 및 광범위한 요점/개념 나열	모호한 학문적 프레이밍, 모듈별 특정 구분 누락, 설득력 있지만 불완전한 설명

4. 결론 및 시사점

(1) 이 연구는 AI-aware 질문 설계와 X1-X2-X3 평가 패턴의 결합이 AI 도구 사용을 투명하게 만들고, 평가자가 학생의 비판적 판단과 수정 과정을 명확히 확인할 수 있도록 함을 입증함. 이는 AI 허용 여부의 문제가 아니라, AI가 생성한 결과물을 학문적 맥락에서 비판적으로 검토하고 개선하는 학생의 역량을 평가하는 실질적인 방법을 제시함.

(2) 교육 현장에서는 AI를 사용하는 환경에서 학생의 비판적 판단, 메타인지 능력, 그리고 AI 리터러시를 평가하는 구체적이고 재사용 가능한 프레임워크를 제공받음. 특히 기술 과목에서 AI 답변의 표면적 유창함과 학문적 정확성 간의 차이를 변별하는 데 효과적임. 이는 AI를 교육 현장에 통합하면서도 학업 무결성을 유지하려는 교사들에게 실질적인 가이드라인을 제공함.

(3) AI 도구 설계자에게는 AI가 초기 정보 검색과 구조화에는 유용하지만, 개념적 미묘함, 도메인 특이성, 비판적 추론에는 여전히 한계가 있음을 보여줌. 이는 교육용 AI 개발 시 학생의 고차원적 사고를 촉진하고, AI 답변의 한계를 명확히 인지하도록 돕는 방식으로 설계되어야 함을 시사함. AI는 ‘정답’을 제시하는 역할에 머물지 않고 학생의 비판적 사고 과정을 지원하는 방향으로 진화할 필요가 있음.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 AI 사용을 단순히 ‘허용’하는 데 그치지 않고, AI 사용의 ‘과정’과 학생의 ‘판단’을 평가의 핵심 요소로 끌어올렸다는 점임. 기존 평가는 최종 결과물에만 집중하여 AI의 개입 여부를 추측하거나 금지하는 데 급급했음. 그러나 이 연구는 AI-aware 질문 설계와 X1-X2-X3 패턴을 통해 ‘AI에 대한 비판적 평가 능력’을 평가의 본질적 대상으로 설정함. 이는 AI 시대에 인간만이 할 수 있는 고차원적 사고인 판단, 수정, 성찰을 명확히 측정하려는 시도라는 점에서 기존 논의와 차별화됨. AI를 도구로 활용하되, 그 도구의 한계를 이해하고 자신의 주체적인 지식 구성을 드러내는 역량을 강조하는 점이 이 연구의 핵심임.

(2) 이 논문이 명시하지 않은 더 넓은 의미는 다음과 같음. 구조적으로 보면, 이 연구는 AI 시대에 ‘지식의 생산자’로서의 인간 역할을 재정의하는 작업임.

• 인지과학: AI가 생성한 ‘인지적 산물’에 대한 인간의 메타인지적 평가 능력의 중요성을 강조함. 정보 검색만으로는 부족하며, 정보의 질을 평가하고 자신의 기존 지식과 통합해 새로운 지식을 구성하는 복합적인 인지 과정이 중요함을 역설함. AI가 텍스트를 생성할 때, 인간은 그 텍스트를 비판적으로 ‘해독’하고 ‘재구성’하는 능력을 발휘해야 함.
• 교육철학: ‘지식’의 본질에 대한 질문을 던짐. AI가 생성한 ‘정보’가 과연 ‘지식’인가, 그리고 학생이 그 정보를 바탕으로 ‘자신만의 지식’을 구성했는지를 어떻게 평가할 것인가에 대한 실천적 답변을 제시함. AI는 정보에 대한 접근성을 높이지만, 그 정보를 지식으로 변환하는 주체는 여전히 학습자임을 강조함.
• 정책: AI 시대의 ‘학업 성취도’를 어떻게 정의하고 측정할 것인가에 대한 정책적 가이드라인을 제시함. AI 사용 규제만으로는 충분하지 않으며, AI 리터러시를 핵심 역량으로 포함하는 교육 과정과 평가 시스템의 필요성을 역설함. 이는 미래 사회에서 요구되는 인재상을 반영하는 교육 정책 수립에 중요한 함의를 지님.

(3) 이 연구를 발전시킬 구체적 아이디어는 다음과 같음.

• 다양한 학문 분야로의 확장 및 검증: 이 X1-X2-X3 패턴을 인문학, 사회과학, 예술 등 다른 분야의 평가에 어떻게 적용할 수 있을지 구체적인 프로토타입을 개발하고 검증하는 연구가 필요함. 특히 정답의 범위가 더 넓고 주관적인 판단이 중요한 분야에서의 적용 방식은 흥미로운 탐구 지점임. 예를 들어, 문학 비평 과제에서 AI가 생성한 비평문을 X1으로 제시하고 학생이 이를 수정, 평가하는 방식은 비판적 사고력 측정에 유용할 수 있음.
• AI 프롬프트 엔지니어링 역량 평가 통합: X1 단계에서 AI 답변의 품질뿐만 아니라, 학생이 어떤 프롬프트를 사용하여 AI 답변을 얻었는지도 평가 요소로 포함할 수 있음. 효과적인 프롬프트 엔지니어링 역량을 간접적으로 측정함으로써, AI 도구 활용의 심층적인 이해도를 파악함. 이는 학생이 원하는 답변을 얻기 위해 AI와 어떻게 상호작용하는지를 평가하는 중요한 기회가 됨.
• 교사 워크로드 경감을 위한 AI 활용 연구: 이 평가 방식이 교사의 평가 부담을 가중시킬 수 있다는 한계를 극복하기 위해, AI를 활용한 자동 채점 또는 평가 지원 도구를 개발하는 연구가 필요함. 특히 X1과 X2의 차이점을 분석하거나 X3의 정당화 논리를 평가하는 AI 시스템의 가능성을 탐색하여, 교사가 더 고차원적인 피드백에 집중할 수 있도록 함.

6. 추가 탐구 질문

(1) X1-X2-X3 패턴이 학생들의 학습 동기나 AI 도구에 대한 심리적 부담감에 어떤 영향을 미치는지, 그리고 시간이 지남에 따라 AI 도구 사용 습관에 어떤 변화를 가져오는지에 대한 심층 연구가 필요함?

(2) 이 평가 패턴을 AI 챗봇이 아닌 다른 유형의 AI (예: 이미지 생성 AI, 데이터 분석 AI, 코드 자동 완성 AI)를 활용하는 과제에 적용할 경우, X1-X2-X3의 각 요소는 어떻게 변형되어야 하는지에 대한 질문?

(3) AI 챗봇이 지속적으로 발전하여 X1 단계의 답변이 거의 완벽해질 경우, X2와 X3 단계에서의 학생의 비판적 판단과 수정 능력을 여전히 효과적으로 측정할 수 있는가? 아니면 평가의 초점이 AI 답변의 ‘진위’보다 ‘활용 전략’이나 ‘윤리적 함의’ 등으로 이동해야 하는가?

출처

• Islam, R., & Roelleke, T. (2026). Assessment Design in the GenAI Era: The X1-X2-X3 Assessment Pattern for Testing Students’ AI Literacy, Learning Outcomes, and Reflection. arXiv preprint arXiv:2608.12351v1 [cs.CY].