AI 시대, 학습 평가는 어떻게 달라져야 하는가?

1. 연구의 목적

(1) 인공지능(AI), 특히 대규모 언어 모델(LLM)의 급속한 확산이 고등 교육에서 학습 증명 및 평가 방식을 근본적으로 교란함. 전통적으로 학생의 이해도를 측정하던 과제물(에세이, 문제 풀이, 코드 작성 등)이 AI 시스템에 의해 최소한의 노력으로 표면적으로 생성될 수 있음이 문제점으로 부상함. 이는 역량의 전통적 지표가 외부에 위탁될 때 학습을 어떻게 평가해야 하는지에 대한 비판적 윤리적 질문을 제기함.

(2) AI 시대 고등 교육 평가의 윤리적 과제를 대학 수준 관점에서 분석함. 학문적 부정행위가 아니라 평가 관행과 측정 목표 학습 성과 간의 깊은 불일치를 핵심 문제로 규정함. 산출물 중심의 평가 모델이 아닌 과정 중심의 대안적 평가 모델이 필요함을 주장하며, 학생의 주체성과 책임감을 보존하는 윤리적 평가 전략 수립을 목표로 함.

2. 연구의 방법

(1) 문헌 검토와 실증적 설문 데이터를 활용한 혼합 연구 접근 방식을 사용함. 기존 연구를 분석하여 AI 시대 평가가 직면한 ‘프록시 위기(Proxy Crisis)’의 전반적 지형을 파악함. 동시에 고등 교육 현장의 교수자 인식을 심층적으로 탐구함.

(2) 북미와 방글라데시 대학의 고등 교육 전문가 및 학생 20명을 대상으로 설문조사를 수행함. AI 시대 평가 도전과제에 대한 양적 태도 데이터와 질적 경험 내러티브를 모두 수집함. 설문 결과는 주로 교수자의 AI 탐지 도구 신뢰도, 평가 취약성 인식, 기관의 지원 수준을 측정함.

3. 주요 발견

이 연구는 AI의 출현이 ‘산출물 중심 평가’ 모델의 종말을 고하고 있으며, 기존 평가 시스템의 근본적인 오정렬을 폭로함. 학습의 증거로서 최종 산출물에 의존하는 방식이 더 이상 유효하지 않음을 명확히 밝힘.

(1) ‘산출물 중심 평가’의 붕괴: AI는 과제물 생산의 난이도를 붕괴시킴. 이는 완성된 산출물이 더 이상 학생의 인지적 노력과 숙달 과정을 직접적으로 반영하지 못함을 의미함. 과거에는 과제물의 질이 인지적 노력과 비례한다는 가정이 유효했으나, AI는 이 연결 고리를 끊어냄. 이는 단순한 기술 발전이 아니라, 교육적 자격 인증의 인식론적 기반을 근본적으로 뒤흔듦을 강조함.

(2) 전통적 평가 지표의 무력화 현상:

• AI 생성물은 인간의 작업과 구별 불가능함. Deans 외(2024) 연구에서 챗GPT가 생성한 대학원 수준의 과제물이 합격 수준 이상으로 수행되며, 인간 채점자조차 AI 생성물과 학생이 작성한 작업을 구분하는 데 어려움을 겪음이 나타남. 심지어 해당 분야 전문가조차 탐지율이 무작위 수준에 불과함. 이는 과제의 ‘복잡성’이 더 이상 AI 방어 수단이 아님을 의미함.
• 정통성 있는 평가(Authentic Assessment)도 AI에 취약함. Kofinas 외(2025) 연구는 LLM이 현실 세계 시나리오를 탁월하게 시뮬레이션할 수 있음을 보여줌. 방대한 전문 및 사례 기반 콘텐츠로 훈련된 모델은 상황에 맞는 그럴듯한 답변을 매우 높은 정확도로 구성하여, 정통성 있는 과제가 유도하려던 적용적 판단을 효과적으로 모방함. 이는 표면적인 과제 설계 변경만으로는 AI 생성 응답을 안정적으로 구별할 수 없음이 시사됨.

(3) 현장 교수자의 불신과 평가 시스템의 허상: 설문조사 결과는 제도적 정책과 교수자 신념 사이의 심각한 불일치를 드러냄.

설문 지표	20명 중 동의 응답 수	백분율
전통적 과제는 AI에 매우 취약함	18	90%
기관은 AI 탐지 소프트웨어에 크게 의존함	15	75%
탐지 도구의 정확성과 공정성에 높은 신뢰를 가짐	4	20%
AI 시대에 맞춰 평가를 근본적으로 재설계함	4	20%
컴퓨터 과학 분야의 높은 취약성 인식	19	95%
인문사회 및 전문 학위 분야의 높은 취약성 인식	16	80%

위 표에서 보듯이, 기관은 AI 탐지 소프트웨어에 크게 의존하지만, 불과 20%의 교수자만이 이러한 도구의 정확성과 공정성을 신뢰함. 이러한 55%포인트의 격차는 교수자들이 행정적 요구 때문에 의무적으로 탐지 도구를 사용하나, 그 과정의 진정성을 믿지 못함을 의미함. 이는 ‘제도적 보안 연극(Institutional Security Theater)’에 지나지 않으며, 학문적 진정성에 대한 제도적 신뢰의 체계적 실패를 보여줌.

(4) AI 활용 능력에 따른 불평등 심화: 응답자의 약 45%가 유료 구독형 LLM을 사용하는 학생들이 무료 버전을 사용하는 학생들보다 스타일이 더 명확하고 논리적 오류가 적은 결과물을 제출함을 지적함. 이는 현재의 평가가 학생의 타고난 학업 능력 대신, 고급 컴퓨팅 비용을 지불할 수 있는 사회경제적 지위를 무심코 평가하고 있음을 시사함. 저소득층 학생들은 품질 낮은 AI 지원을 받으면서도, 조악한 AI 산출물을 식별하도록 보정된 탐지 도구에 더 큰 의심을 받을 수 있어 기존의 불평등이 새로운 차원에서 심화될 위험이 있음.

(5) 교수자의 ‘교육적 소진’과 관계 악화: 질적 피드백 분석 결과, ‘교육적 소진(Pedagogical Burnout)’이 만연함이 드러남. 교수자들은 AI 사용을 증명하는 부담이 교육 설계, 학생 멘토링, 학술 활동에서 시간과 인지적 자원을 빼앗아 간다고 보고함. 멘토 대신 ‘디지털 검사관’이 되어 학생들이 AI를 사용했다는 ‘정황 증거’를 수집하는 데 많은 시간을 보냄. 이는 탐지와 회피의 ‘군비 경쟁’으로 이어져 기관의 에너지를 소모하며, 학생-교수자 간의 신뢰를 훼손하여 고등 교육의 가치와 모순됨.

4. 결론 및 시사점

(1) 이 연구는 AI 시대에 ‘산출물 중심 평가’ 모델이 더 이상 교육적으로 건전하지 않고 윤리적으로 문제 소지가 많음을 입증함. 윤리적 불일치를 해결하려면 평가의 초점을 최종 ‘산출물’에서 ‘학습 여정’으로 전환하는 구조적 변화가 필수적임을 강조함. 이는 평가 목적을 최종 결과물 인증에서 지속적인 인지 과정의 문서화 및 평가로 재개념화함을 의미함.

(2) 교육 현장 또는 AI 설계에 주는 시사점 1: ‘감시’ 대신 ‘설계’에 자원을 재분배해야 함. 징벌적 AI 탐지 도구의 우선순위를 낮추고, 탐지 인프라에 할당된 자원을 교수자의 과정 중심 평가 설계 교육 및 개발에 재투자해야 함. 탐지와 회피 간의 군비 경쟁은 궁극적으로 승리할 수 없으며 교육적으로도 역효과를 낳음. 남아있는 탐지 도구 사용에도 의무적인 인간 검토, 명확한 이의 제기 경로, 그리고 오류율에 대한 투명한 정보 공개가 수반되어야 함.

(3) 교육 현장 또는 AI 설계에 주는 시사점 2: 위험 기반 모델을 채택하고 과정 중심 교수법을 장려해야 함. HEAT-AI와 같은 프레임워크를 활용하여 다양한 맥락에서 AI 사용에 대한 윤리적 가이드라인을 설정해야 함. 고부담 자격 인증 시험에는 더 엄격한 인간 검증을 적용하고, 형성적이고 저부담 과제에는 AI 참여를 폭넓게 허용하는 비례적 접근 방식이 필요함. 또한 교수자가 노동 집약적인 구술 시험 및 비판적 평가와 같은 과정 중심 교수법을 구현할 수 있도록 제도적으로 지원해야 함. 승진, 종신 재직, 교육상 기준에 교육 혁신 가치를 명시적으로 반영하여 교수자의 역량 개발을 유도함이 시급함.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 AI가 단순한 ‘학습 도구’ 또는 ‘부정행위 유발자’가 아니라, 기존 고등 교육 평가 시스템의 인식론적 토대를 붕괴시키는 촉매제임을 명확히 단언함에 있음. 기존 논의가 주로 AI 탐지 기술의 정확성을 높이거나 사용 규칙을 강화하는 데 초점을 맞추었다면, 이 연구는 학습 증명의 ‘산출물-노력 비례’ 인과 고리가 AI에 의해 파괴되었음을 직시함. 이는 ‘무엇을 안다는 것’을 어떻게 정의하고 측정할 것인가에 대한 근본적인 질문을 던지며, 교육계가 회피할 수 없는 구조적 재설계의 필요성을 강력히 제기함이 가장 날카로운 지점임.

(2) 논문이 명시하지 않은 더 넓은 의미는 교육의 본질과 학습자 주체성에 대한 성찰로 이어짐. AI가 고품질의 산출물을 쉽게 생성할 수 있게 됨에 따라, 학습자에게 요구되는 ‘인지적 노동’의 가치와 형태가 재정의됨. 이는 인지과학적으로 학습이 일어나는 과정(메타인지, 자기조절학습 능력 등)에 대한 이해를 심화시킬 필요성을 제기함. 교육철학적으로는 ‘누가, 무엇을, 왜 배우는가’라는 질문을 다시 던지게 함. AI 시대의 교육은 지식의 습득에 그치지 않고, AI를 도구로 활용하여 실제 문제를 해결하고 비판적으로 사고하며, 스스로 학습 과정을 성찰하는 ‘초인지적 역량’의 개발 및 평가로 나아가야 함을 보여줌.

(3) 이 연구를 발전시킬 구체적 아이디어는 다음과 같음.

• AI 에이전트 기반의 학습 과정 평가 시스템 개발: 학생이 AI 에이전트와 협업하여 과제를 해결하는 과정 전체를 기록하고 평가하는 시스템을 설계함. 예를 들어, 프롬프트 입력, AI의 중간 산출물, 학생의 수정 이력, AI와의 대화 내용 등을 학습 과정의 핵심 증거로 활용하여, 단순한 최종 결과물이 아닌 학생의 비판적 사고, 문제 해결 전략, AI 활용 능력을 종합적으로 평가함.
• ‘Desirable Difficulties’를 활용한 평가 시뮬레이션 환경 구축: Bjork와 Bjork의 ‘바람직한 어려움’ 개념을 활용하여, 실제 교육 환경에서 AI의 도움을 제한적으로 허용하되, 학생이 인지적 노력을 기울여야만 해결할 수 있는 ‘자원 제한적 문제 해결 시뮬레이션’ 환경을 개발함. 이는 특정 개념을 학습하는 데 필수적인 핵심 인지 과정을 건너뛸 수 없도록 설계하여, AI가 제공하는 ‘편리함’ 속에서도 ‘깊이 있는 학습’이 발생하도록 유도함.
• 교수자 재교육 및 커뮤니티 강화: AI 시대 평가 재설계를 위한 교수자 전문성 개발 프로그램을 체계적으로 구축함. 과정 중심 평가 설계 워크숍, AI 기반 피드백 도구 활용법 교육, AI 리터러시 함양 프로그램 등을 통해 교수자들이 새로운 평가 패러다임을 이해하고 실제 수업에 적용할 수 있도록 지원해야 함. 동시에 교수자들이 AI 시대 평가에 대한 고민과 해결책을 공유하는 ‘전문적 학습 공동체(PLC)’를 활성화하여 현장의 시행착오를 줄이고 성공 사례를 확산시킴.

6. 추가 탐구 질문

(1) AI가 학습 과정을 단순히 대리하는 데 그치지 않고, 학생의 자기조절학습 능력이나 메타인지 능력을 향상시키는 도구로 활용될 때, 이러한 ‘AI 기반 학습 증진 효과’는 과정 중심 평가 프레임워크에 어떻게 측정되고 반영될 수 있는가?

(2) 과정 중심 평가로의 전환은 특히 대규모 강의 환경에서 교수자의 평가 부담을 얼마나 현실적으로 가중시키는가? 이러한 부담을 효과적으로 완화하기 위한 기술적 지원이나 자동화된 피드백 도구의 역할과 한계는 무엇인가?

(3) AI 탐지 도구에 대한 제도적 불신이 팽배한 상황에서, 새로운 평가 프레임워크와 정책이 교육 현장의 교수자와 학생 모두의 신뢰를 얻고 성공적으로 정착하기 위한 사회심리학적 및 정책적 조건은 무엇인가?

출처

• Chowdhury, M. Z. U. S., & Khan, S. R. (2026). Evaluation in the Age of AI: Output as Evidence of Learning. arXiv preprint arXiv:2608.22660.