27초 채점의 두 얼굴

지난해 11월 말, 경기의 한 초등학교에서 4학년 스물네 명이 ‘어린이날 기념 학급 행사로 무엇을 하면 좋을까’라는 주제로 글을 썼다. 손글씨 답안을 스캔해 경기도교육청 하이러닝의 AI 평가 도구에 넣자 27초 만에 초벌 채점이 끝났다. 학생마다 675자 안팎의 피드백도 붙어 있었다. 담임교사는 평가에 들이던 시간만큼 다음 수업 준비에 공을 들일 수 있게 됐다고 했다. 경향신문이 AI 평가 도구를 써 본 초·중·고 교사 열다섯 명의 사용기를 모아 전한 장면이다.

같은 기사에는 정반대의 증언도 실려 있다. 16년차 고등학교 교사는 “같은 학생의 답안을, 동일 채점 요소를 넣고 돌려도 돌릴 때마다 점수가 다르게 나온다”고 했다. 27초라는 숫자에 감탄한 독자라면 이 문장 앞에서 멈추게 된다. 두 증언은 한 도구의 두 얼굴이고, 어느 쪽도 거짓이 아니다.

매번 같은 점수라고 옳은 점수는 아니다

평가론에 오래된 구분이 있다. 신뢰도는 잴 때마다 같은 값이 나오는가를 묻고, 타당도는 재려던 것을 재고 있는가를 묻는다. 올라설 때마다 다른 숫자가 나오는 체중계는 신뢰도가 없는 저울이다. 매번 같은 숫자를 보여주는 체중계라 해도, 그걸로 아이의 키를 잴 수는 없다. 그게 타당도의 문제다.

교육 당국은 AI 채점이 “주관이 배제돼 있으며 공정하고 일관성을 유지한다”고 소개한다. 현장의 증언은 그 일관성부터 흔들린다고 말한다. 이유는 도구의 원리에 있다. 지금의 AI 채점은 글을 이해하고 판단하는 것이 아니라, 채점 기준과 답안의 내용·구조가 유사할 때 확률적으로 그럴듯한 평가를 내놓는 방식이다. 그래서 상·하위권처럼 판단이 갈리지 않는 답안은 비교적 정확히 가려내면서도, 잘 쓴 구석과 모자란 구석이 섞인 중위권 답안에서는 정확도가 떨어진다는 경험담이 나온다. 최근의 대규모 검증 연구들도 같은 결론을 반복한다. 대형언어모델 심판은 일관성은 확보하기 쉬워도 글의 길이나 문체, 제시 순서 같은 표면 단서에 흔들리며, 그 점수가 좋은 글을 가려낸다는 보장, 곧 타당도는 별개의 문제라는 것이다.

말하자면 27초는 채점을 마친 시간이라기보다 그럴듯한 초안이 나온 시간이다. 하이러닝이 초벌 점수를 격자무늬와 괄호로만 표시하고 교사가 클릭해야 점수로 인정하도록 설계된 것은, 시스템 스스로 그 사실을 알고 있다는 뜻이기도 하다.

무엇을 맡기고 무엇을 지킬 것인가

그렇다고 27초의 다른 얼굴을 지울 이유는 없다. 경기 고양의 한 중학교 국어 교사는 네 학급 ‘주장하는 글쓰기’ 수행평가에서 학생당 1시간 걸리던 피드백을 10~20분으로 줄였다. 줄인 시간으로 고쳐쓰기 수업을 진행하고 두 번째 피드백을 줬다. 피드백을 두 번 받는 글쓰기 수업은 학생에게 이전에 없던 경험이다. 생활기록부 초안을 AI로 만들고 교사가 최종 검토한 사례도 “무에서 유를 창조할 때보다 힘이 훨씬 덜 들었다”는 평가를 받았다. 성공 사례에는 공통점이 있다. 모두 최종 점수가 아닌 피드백에 쓰였고, 배움의 중간 과정에 놓였으며, 초벌 뒤에 교사의 판단이 있었다.

교사들의 경험을 종합하면 경계선이 그려진다.

AI에 맡겨 볼 만한 일	사람이 지켜야 할 일
손글씨 스캔, 채점 요소 키워드 확인 같은 기계적 대조	글을 처음부터 끝까지 읽고 내리는 총체적 판단
형성평가의 초벌 피드백, 고쳐쓰기 전후 비교	성적에 반영되는 최종 점수와 그 책임
생활기록부·평가 기준 문구의 초안	경계선에 선 중위권 답안의 판정
채점 기준을 명료한 언어로 다듬는 연습 상대	학생의 이의 제기에 답하는 대화

반론은 만만치 않다. 기술은 좋아지고, 채점 병목은 현실이라는 것이다. 이달 국가교육위원회는 수능 서·논술형 도입안을 공론화에 부쳤다. 위원장은 지난해 12월 “(서·논술형 평가의) 답은 AI에서 가져올 수 있다”고 말했다. 서·논술형을 늘리자는 말은 채점을 감당할 수 있느냐는 질문과 한 몸이고, 교사 손으로만 감당할 수 없다면 AI 말고 마땅한 대안이 없는 것도 사실이다.

인정할 것은 인정하되, 위험은 사라지지 않고 형태를 바꾼다는 점은 말해 두고 싶다. 일치도가 오를수록 교사의 최종 클릭은 요식이 되기 쉽다. 17년차 국어 교사는 “신뢰도가 점점 쌓인다면 AI 평가 도구로 교사의 평가를 대체하는 경향이 충분히 생길 것”이라고 했다. 경기도교육청의 홍보 영상 속 “AI가 채점 도와준 거니까 너희들 할 말 없지?”라는 대사가 논란이 된 것도 같은 맥락이다. 이의 제기가 막히는 순간 평가는 배움의 대화이기를 멈추고 판정이 된다. 평가권 논쟁의 핵심은 교사의 밥그릇 지키기가 아니다. 점수 뒤에 “왜 이 점수인지” 답해 줄 사람이 남아 있느냐다.

도구는 이미 교실에 들어왔고, 다시 나가지 않는다. 남은 과제는 27초가 끝나는 곳에서 교사의 판단이 시작되게 하는 일이다. 이 점수는 무엇을 잰 값인가. 그 질문을 손에서 놓지 않는 한, 27초의 두 얼굴은 위협이기를 멈추고 쓸 만한 분업이 된다.

출처

• 김송이. (2025. 12. 22.). 24명 서술형 답안, 27초 만에 ‘채점 끝’···그런데 이 점수, 믿을 수 있을까. 경향신문. https://www.khan.co.kr/article/202512221658011
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models. arXiv. https://arxiv.org/pdf/2606.19544
• 국가교육위원회 수능 서·논술형 도입 공론화 보도. (2026. 8.). 뉴스1. https://www.news1.kr/society/education/6031978