말은 쉽다: GenAI 시대에 구조적 평가 변화가 필요한 이유와 설명적 역설
말은 쉽다: GenAI 시대에 구조적 평가 변화가 필요한 이유
GenAI가 교육 평가의 타당성을 근본적으로 위협하는 상황에서, 현재 교육기관들이 내놓은 신호등 시스템이나 AI 사용 선언과 같은 대응책들은 과연 충분할까요? 이 연구는 이러한 접근 방식들이 평가의 근본적인 작동 방식, 즉 구조를 바꾸지 못하고 있다고 비판하며, 설명적 변화와 구조적 변화라는 새로운 개념적 구분을 제시합니다.
1. 연구의 목적 및 핵심 개념
연구의 목적
현재 교육기관들의 GenAI 대응책들이 왜 실패할 수밖에 없는지를 설명적 변화(Discursive Changes)와 구조적 변화(Structural Changes)라는 독창적인 이분법적 개념 구분을 통해 밝히고, 평가의 초점을 ‘규칙’에서 ‘설계’로 전환해야 함을 주장합니다.
설명적 변화 vs. 구조적 변화
이 연구의 핵심 개념은 현재의 대응책들이 놓치고 있는 부분을 명확히 구분합니다.
| 구분 | 정의 | 성공 의존도 |
|---|---|---|
| 설명적 변화 | 평가의 근본 메커니즘은 그대로 둔 채, 학생들에게 지침이나 규칙을 전달하는 것에만 의존하는 방식. | 학생의 자발적인 준수 및 신뢰 |
| 구조적 변화 | 과제를 수행하는 방식의 본질, 형식, 메커니즘 자체를 직접적으로 변경하여, 학생의 자발적인 준수에 의존하지 않는 방식. | 평가 설계의 견고성 |
2. 연구의 방법 및 분석
분석 방법
현재의 신호등 시스템, AI 평가 척도, 선언적 접근법 등 GenAI 대응 평가 프레임워크들을 설명적 변화와 구조적 변화라는 개념틀로 조사 분석했습니다.
현재 대응책의 진단
| 대응책 유형 | 분류 | 문제점 |
|---|---|---|
| 신호등 시스템 | 설명적 변화 | 평가 구조를 바꾸지 않은 채 ‘이렇게 써라, 저렇게 쓰지 마라’고 말하는 규칙에 불과함. |
| AI 사용 척도/선언 | 설명적 변화 | 성공이 전적으로 학생이 지침을 자발적으로 따를 것이라는 신뢰에 의존함. |
| 사용 내역 공개 요구 | 설명적 변화 | 규칙 전달에만 초점을 맞추고 있으며, 집행이 어려움. |
3. 주요 발견: 집행의 환상과 설명적 역설
(1) 거짓된 집행의 환상
- 신호등 비유의 문제: 신호등과 같은 비유는 실제 교통 신호등이 가진 강력한 물리적, 제도적 집행 시스템(카메라, 경찰, 벌금 등)을 연상시킵니다.
- 교육 현장의 현실: 교육에서의 AI 사용 규제에는 그러한 강력한 집행력이 없습니다. 이 비유는 강력한 통제 장치가 있는 것처럼 만들어 교육자들에게 거짓된 집행의 환상을 유발합니다.
(2) 설명적 역설 (Discursive Paradox)
- 상세함의 역설: AI 사용에 대한 지침이 상세하고 구체적일수록, 교육기관이 명시하는 것과 실제로 검증할 수 있는 것 사이의 격차인 설명적 역설을 더 명확하게 드러낼 뿐입니다. 즉, “이렇게 하지 말라”고 상세히 말할수록, 실제 집행이 불가능함을 스스로 드러내는 모순에 빠집니다.
4. 결론 및 시사점: 구조로의 전환
(1) 질문의 초점 전환
AI 시대의 평가 타당성 문제는 설명적 접근법들로는 해결 불가합니다.
- 낡은 질문 (설명): ‘어떤 규칙을 만들까?’
- 새로운 질문 (구조): ‘AI가 존재하는 세상에서도 타당성을 유지하는 평가를 어떻게 설계할까?’
(2) 평가 구조 변화 전략
- 과정 중심 평가로의 전환: 최종 결과물 중심 평가에서 과정 중심 평가로 실제적으로 전환해야 합니다.
- 모듈 단위의 타당성 확보: 개별 과제의 AI 방어력보다는 여러 과제를 연결하여 전체적으로 학생의 역량을 입증하는 모듈 단위의 타당성 확보 전략을 고려해야 합니다.
5. 리뷰어의 ADD(+) One: 교육 실천 제언
(1) 구조적 평가 요소 체크리스트 개발 제안
교육자들이 자신의 평가 과제를 자가 진단할 수 있는 구조적 평가 요소 체크리스트를 개발해야 합니다.
- 체크리스트 예시:
- 실시간 시연 및 발표 요소가 있는가?
- 과정에 대한 성찰적 기록을 요구하는가?
- 이전 과제와의 연계성이 확보되었는가?
- AI로는 생성하기 어려운 개인적 경험이나 현장 자료를 활용하는가?
- 결과물이 아닌 과정 중심의 평가인가?
- 여러 과제를 연결하여 전체적으로 학생의 역량을 입증하는 모듈 단위의 평가인가?
(2) 규칙을 활동으로 구조화하는 연습
기존의 설명적 지침을 구조적 활동으로 바꾸는 연습이 필요합니다.
(설명적 규칙) “AI로 아이디어만 얻고 글은 직접 쓰시오.”
(구조적 활동) “AI와 브레인스토밍한 대화 로그를 제출하고, 그중 어떤 아이디어를 왜 채택, 기각했는지 구술로 설명하시오.”
6. 추가 탐구 질문
- 학습의 질 향상: 다양한 구조적 평가 방식을 실제로 적용했을 때, 평가 타당성뿐만 아니라 학습의 질도 향상시킬 수 있을까?
- 교수자 지원: 구조적 평가는 종종 교수자의 더 많은 시간과 노력을 요구할 수 있는데, 이에 필요한 지원은 무엇이며, 그 과정에서 겪는 어려움은 무엇일까?
- 전공별 모델: 전공 분야(예: 인문학, 공학, 예술)에 따라 효과적인 구조적 평가 방식의 유형과 모델에는 어떤 차이가 있을까?
출처: Corbin, T., Dawson, P., & Liu, D. (2025, May 15). Talk is cheap: why structural assessment changes are needed for a time of GenAI. Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2025.2503964