609 ／ 609
서·논술형 수능, 진짜 시험대는 채점이다
기말고사가 끝난 교무실에서 흔히 보는 풍경이 있다. 동학년 교사 둘이 서술형 답안 한 장을 사이에 두고 십 분째 자리를 뜨지 못한다. 부분 점수를 줘야 할까? 채점 기준표를 다시 읽고, 비슷한 답안들을 나란히 놓고, 협의 끝에 점수를 정한다. 답안 백여 장에서도 이만한 공이 드는 일이 수십만 장 규모가 되면 어떤 문제로 바뀔까? 지금 벌어지는 수능 개편 논쟁의 진짜 쟁점이 거기에 있다.
이달 국가교육위원회가 수능에 서·논술형 문항을 들이고 전 과목을 절대평가로 바꾸는 안을 공론화에 부쳤다. 8월 중순부터 보름간 온라인 의견을 받고, 이달 말 국민참여위원회 숙의 토론을 거쳐 10월에 대국민 공론화로 넘어간다. 찬반의 골은 깊다. 오지선다 반복 풀이로는 사고력을 기를 수 없다는 쪽과, 고교학점제와 내신 5등급제의 부작용을 확인하기도 전이라 시기상조라는 쪽이 맞선다.
논쟁을 지켜보며 초점이 조금 비껴가 있다는 생각을 하게 된다. 서·논술형이냐 선다형이냐는 문항의 문제다. 정작 성패를 가를 것은 문항 뒤에 있는 채점이다. 해마다 수십만 명이 치르는 시험에서 긴 글 답안을 누가, 며칠 안에, 얼마나 고르게 읽어 낼 수 있을까? 이 물음에 답이 없으면 좋은 문항도 소용이 없다. 반대 논거의 중심에 사교육과 나란히 채점 공정성이 놓이는 이유다.
유력한 답으로 AI가 거론된다. 속도만 보면 맞는 답이다. 그런데 대규모 평가에 기계를 들여 본 기관들의 표정이 밝지 않다.
| 기관 | AI에 대한 태도 | 사람의 자리 |
|---|---|---|
| 영국 Ofqual | AI 채점은 기대만큼 좋지 않다며 환각·편향을 경고, 과제형 평가 감독 강화 | 규제와 감독의 주체 |
| 국제 바칼로레아 | 활용은 허용하되 산출물 인용·표기 의무화, 검출기는 결정적 증거로 불인정 | 진위와 점수의 최종 판단 |
| 미국 칼리지보드 | AP 수행 과제에 제한적 허용, 교사 확인 지점 미이행 시 0점 | 과정을 확인하는 면담자 |
연구가 경고하는 결함은 구체적이다. 대형언어모델 심판은 답안이 제시된 순서에 흔들리고, 길게 쓴 글에 후하고, 자기가 쓴 듯 매끄러운 문장에 더 좋은 점수를 준다. 사람 채점자라면 연수와 협의로 다듬었을 편향이 기계 안에서는 보이지 않는 채로 수십만 답안에 똑같이 적용된다. 규모는 AI의 장점이자, 편향이 걸러지지 않았을 때는 가장 큰 위험이 된다. 최근에는 자동 채점이 성별·계층 같은 집단별로 같은 품질의 글에 같은 점수를 주는지 재는 공정성 지표 연구까지 나왔다. 고부담 시험에 쓰려면 이 감사를 먼저 거쳐야 한다는 뜻이다.
사람이냐 기계냐는 잘못된 질문이다
그렇다고 인간 채점이 결백한 것도 아니다. 채점자 사이 편차, 뒤로 갈수록 쌓이는 피로, 앞 문장이 좋으면 뒤도 좋게 읽는 후광까지, 사람 손 채점의 흠은 오래 연구된 사실이다. 사람이냐 기계냐로 묻는 한 논쟁은 제자리를 돈다. 물어야 할 것은 절차다. 어떤 절차를 갖추면 그 점수를 믿을 수 있을까? 여객기를 믿고 타는 이유를 생각해 보면 방향이 잡힌다. 승객이 믿는 것은 조종사의 비범한 실력이 아니라, 이륙 전 점검표와 이중 확인이 사람의 실수를 걸러 낸다는 절차다. 시험 점수를 믿는 마음도 같은 자리에서 나온다.
절차의 원형은 이미 학교 안에 있다. 내신 서·논술형에서 동학년 교사들이 채점 기준을 함께 세우고, 경계선 답안을 돌려 읽고, 판단이 갈리면 협의로 좁히는 평가자 협의다. 국내 연구는 이 협의 테이블에 AI를 참여시키는 교사-AI 협업 모델을 제안한다. 사람 사이 협의라는 오래된 절차에 기계를 끼워 넣는 것이지, 기계에 절차를 내주는 것이 아니다. 올해 발표된 교사 인터뷰 연구가 도달한 원칙도 같다. 에세이는 사람이 읽어야 하고, AI는 돕되, 최종 결정은 사람이 한다.
수능이라는 규모로 가면 여기에 몇 가지가 더 필요하다. 모든 답안의 이중 채점, 불일치 답안의 제3 채점, 집단별 편향의 정기 감사, 이의 제기 시 인간 재검토의 보장. 어느 것도 새로운 발명이 아니고, 비용이 드는 절차일 뿐이다. 그 비용을 설계에 넣지 않은 서·논술형 도입은 채점 논란 몇 번에 무너질 것이고, 무너진 자리에는 다시 오지선다가 돌아올 것이다.
10월의 공론화가 도입 찬반을 세는 자리로 끝나지 않기를 바란다. 어떤 채점 절차라면 내 아이의 글을 맡길 수 있을까? 시민에게 물어야 할 질문은 이쪽이고, 이 질문에 답이 쌓여야 서·논술형은 구호에서 제도가 된다.
출처
- 뉴스1. (2026. 8.). 국가교육위원회, 수능 서·논술형 도입·전 과목 절대평가 공론화 착수. https://www.news1.kr/society/education/6031978
- Ofqual. Ofqual’s approach to regulating the use of artificial intelligence in the qualifications sector. GOV.UK. https://www.gov.uk/government/publications/ofquals-approach-to-regulating-the-use-of-artificial-intelligence-in-the-qualifications-sector/ofquals-approach-to-regulating-the-use-of-artificial-intelligence-in-the-qualifications-sector–2
- Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models. arXiv. https://arxiv.org/pdf/2606.19544
- Assessing fairness in AI-assisted writing scoring. (2026). ScienceDirect. https://www.sciencedirect.com/science/article/pii/S1075293526000541
- EvaluAId, 교사-AI 협업 채점 원칙 연구. (2026). CHI 2026. https://doi.org/10.1145/3772318.3790814
- 교사-AI 협업 기반 평가자 협의 모델. KCI. https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART003235709