글로 쓴 문제해결력이 곧 문제해결력은 아니다 — 서·논술형과 AI 자동채점

30년 넘게 객관식이 지배한 대학수학능력시험이 흔들린다. 국가교육위원회는 사고력과 문제해결력, 표현력을 재겠다며 서·논술형 평가 확대를 검토한다. 오래 막혀 있던 이 논의를 다시 꺼낸 것은 AI다. 수십만 장의 답안을 사람이 채점하는 일은 현실적으로 불가능에 가까웠는데, AI가 그 벽을 낮추고 있기 때문이다.

방향은 반갑다. 다만 속도 이야기에 묻혀 잘 들리지 않는 질문이 하나 있다. AI가 채점하는 ‘글로 쓴 답안’은 정말로 우리가 재고 싶은 그 능력을 재고 있는가.

왜 지금 다시 서·논술형인가

국교위는 2028~2037년을 아우르는 중장기 국가교육발전계획 시안을 2026년 10월 말 공개하고, 공청회와 숙의를 거쳐 2027년 3월 최종안을 확정할 계획이다. 수능 절대평가 전환과 서·논술형 도입은 아직 검토 단계이며, 확정된 것은 없다. 이르면 지금 초등학교 6학년이 치를 2033학년도 수능이 대상으로 거론된다.

서·논술형이 지금껏 수능에 들어오지 못한 이유는 분명했다.

• 규모. 2026학년도 수능 응시자는 55만 4174명이다. 성적은 시행 3주 만에 나온다. 이 인원의 서술 답안을 이 일정에 채점하는 것은 불가능에 가깝다.
• 편차. 같은 답안을 채점자마다 다르게 읽는다. 채점 신뢰도 확보가 어렵다는 이유로, 국교위가 지난해 의뢰한 연구도 도입이 현실적으로 어렵다고 결론지었다.
• 선례. 일본은 2021학년도 대입에 서·논술형을 넣기로 했다가 시행 1년 전인 2019년에 백지화했다. 민간 위탁 채점에 무자격자가 동원돼 신뢰가 무너진 탓이다.

그런데 AI가 이 셋 중 앞의 둘을 정면으로 겨눈다.

AI가 바꾸는 것

현장의 숫자는 인상적이다. 서울시교육청의 채움AI는 2025년 66개교에서 2026년 120개교로 늘었고, 2027년 전체 중·고교로 확대될 예정이다. 인간과 AI의 채점 일치도는 0.8을 넘겼다. 경기도의 하이러닝은 손글씨를 인식해 수백 명의 답안을 5분에서 10분 안에 채점하는 장면을 시연했다. 채점에 드는 시간은 글쓰기형에서 78퍼센트, 피드백 작성에서는 45시간이 3시간으로 줄었다는 보고도 있다.

교사들의 반응도 단순한 거부가 아니다. 경기도교육연구원 조사에서 AI 단독 채점의 신뢰도는 5점 만점에 3.84였지만, AI와 교사가 함께 채점하는 방식의 신뢰도는 4.48로 가장 높았다. 교사들은 AI를 내치지 않는다. 다만 자기가 통제할 수 있는 자리에 두고 싶어 한다.

여기까지만 보면 이야기는 깔끔하다. 사람이 못 하던 일을 AI가 열어 준다. 그러나 채점이 빨라졌다는 것과 옳게 채점했다는 것은 다른 문제다.

빨라진 채점 앞의 근본 질문

여기서 처음의 질문으로 돌아간다. 서·논술형 평가가 재겠다고 내건 것은 분석력, 비판적 사고, 문제해결력이다. 그런데 실제로 채점되는 것은 글로 표현된 사고다. 이 둘은 같은가.

평가이론은 이 간극을 구인타당도라는 말로 다룬다. 어떤 시험이 재겠다고 선언한 바로 그 능력을 실제로 재는 정도다. 수학 문제를 글로 풀어 쓰게 하면, 자칫 수학 능력이 아니라 글쓰기 능력을 재게 된다. 문제는 풀 줄 알지만 그 과정을 글로 옮기는 데 서툰 학생은 낮은 점수를 받는다. 재려던 것과 무관한 요인이 점수를 흔드는 것이다.

이것이 공허한 우려가 아니라는 증거도 있다. 의학교육 연구에서 학생들의 성찰 글쓰기 점수와 실제 환자 소통 수행 점수 사이에 유의미한 상관이 없었다. 잘 쓴다고 잘하는 것이 아니고, 잘한다고 잘 쓰는 것도 아니었다. 문제를 풀 수 있다고 글로 적는 능력과 실제로 문제를 푸는 능력은 겹치되 같지 않다.

AI 채점이 이 질문을 더 날카롭게 만든다

AI가 들어오면 이 문제는 사라지는 게 아니라 오히려 도드라진다.

AI 자동채점의 강점은 신뢰도다. 같은 답안에 늘 같은 점수를 준다. 그러나 일관되게 채점한다는 것이 옳게 채점한다는 뜻은 아니다. 자동 에세이 채점 연구가 오래 지적해 온 약점이 여기 있다. 채점 모델은 어휘 난이도나 문장 길이 같은 표면 특징에 쉽게 기운다. 어느 연구자는 철자와 고급 어휘는 완벽하되 내용은 무의미한 글을 만들어 내는 프로그램을 짰는데, 그 글이 자동채점에서 높은 점수를 받았다. 2025년의 한 연구는 문항 지문에서 단어를 가져오거나 답을 나열하는 식의 조작이 여러 채점 시스템을 모두 속이는 데 성공했다고 보고했다.

정확도 자체도 아직 충분하지 않다. KICE 연구진은 현장이 요구하는 채점 정확도를 80퍼센트 이상으로 보는데, 지금 AI의 정확도는 60에서 70퍼센트 수준이라고 밝혔다. 그래서 KICE의 권고는 신중하다. AI를 최종 채점자가 아니라 초안을 만드는 도구로 쓰라는 것이다.

꼬리가 몸통을 흔들 때

더 깊은 문제는 채점의 정확도가 아니라 방향이다.

AI가 채점하려면 채점 기준이 또렷해야 한다. 그래서 기준을 잘게 세분화한다. 그러면 신뢰도는 올라간다. 그런데 기준이 촘촘해질수록 다양한 답을 품겠다던 서·논술형의 취지는 줄어든다. 한 전문가는 초기에는 답변의 내용과 분량을 제한하는 응답제한형 출제가 불가피하다고 본다. 자유롭게 사고하라면서, 채점할 수 있게 답을 좁히라는 요구가 겹친다.

극단으로 가면 순서가 뒤집힌다. 무엇을 재고 싶은가가 출제를 정하는 게 아니라, AI가 채점할 수 있는가가 출제를 정하게 된다. 공민왕의 개혁을 소재로 800자 상상 글쓰기를 시켰다고 하자. 그 기발함을 AI가 공정하게 채점할 수 있는가. 채점하기 어려운 문항은 자연히 사라지고, 남는 것은 AI가 다루기 좋은 문항이다. 교육이 평가 도구의 능력에 맞춰지는 역전이다.

AI 초벌 채점 뒤 교사가 다시 본다는 안전장치도 마냥 든든하지 않다. 수백 장의 AI 결과를 교사가 실질적으로 뒤집기는 어렵다. 재검토가 요식 행위가 되면, 통제하고 싶다던 교사의 자리는 이름만 남는다.

그래서 무엇을 할 것인가

이 글은 서·논술형에 반대하지 않는다. 오히려 방향은 옳다고 본다. 변별을 위한 초고난도 객관식보다, 사고를 직접 묻는 평가가 AI 시대에 맞다. AI도 유용하다. 교사가 통제하는 협력 채점의 신뢰도가 가장 높았다는 숫자가 그 쓸모를 보여 준다.

다만 순서가 있다. 먼저 물어야 할 것은 채점을 얼마나 빨리 하느냐가 아니라, 우리가 무엇을 재려 하는지다. 그 합의가 없으면 AI는 재기 쉬운 것을 재고, 우리는 잰 것을 능력이라 부르게 된다.

붙잡을 것은 몇 가지다. AI는 초안과 피드백의 도구로 두고 최종 판단은 사람이 쥔다. 채점 기준을 좁히는 대가로 무엇을 잃는지 매번 확인한다. 그리고 무엇보다, 문제를 풀 수 있다고 쓰는 것과 실제로 푸는 것 사이의 간극을 잊지 않는다. 이 간극을 기억하는 한, AI 채점은 위험이 아니라 도구가 된다.

출처

• 교육플러스. AI가 수능 논술 채점한다면. https://www.edpl.co.kr/news/articleView.html?idxno=21280
• 서울신문. 서·논술형 시험, 30년 수능 흔드나. https://www.seoul.co.kr/news/society/education-news/2026/08/10/20260810500211
• 국민일보. 채점 불신에 좌초한 일본, 한국의 AI 대응. https://www.kmib.co.kr/article/view.asp?arcid=9000003060&code=11131100&sid1=soc
• 오마이뉴스. AI 서·논술형 채점의 맹점. https://www.ohmynews.com/NWS_Web/View/at_pg.aspx?CNTN_CD=A0003258752