607 ／ 609
외운 글은 검출기에 잡히지 않는다
지난 5월 서울신문이 전한 교실 풍경이 있다. 학생들이 수행평가 주제를 미리 받아 생성형 AI에게 모범 답안을 만들게 하고, 그 답을 통째로 외워 시험 시간에 손으로 옮겨 적는다. 제출물은 자필이라 AI의 흔적이 없고, 표절 검사 프로그램을 돌려도 걸리는 것이 없다. 결과는 만점이다. 생각을 보려던 서술형 평가가 암기 평가로 되돌아간 셈이다.
이 이야기를 들은 사람은 대개 같은 해법을 떠올린다. 더 좋은 탐지 도구를 들이면 되지 않느냐는 것이다. 실제로 AI 작성 여부를 판별해 준다는 검출기가 여럿 나와 있고, 어떤 업체는 정확도 98%를 내세운다. 그 길이 막다른 길이라는 것이 이 글의 논지다.
스탠퍼드 연구진이 2023년 상용 AI 검출기 일곱 개를 시험했다. 외국어로서 영어를 배운 필자들의 토플 에세이를 넣자 평균 61.3%가 AI 작성물로 잘못 판정됐다. 미국 학생이 쓴 글에서는 오판이 거의 없었다. 검출기가 실제로 재는 것은 부정의 증거가 아니라 문장의 결이다. 어휘가 단정하고 구문이 교과서적인 글, 그러니까 외국어로 조심스럽게 쓴 정직한 글일수록 기계가 쓴 글과 닮아 보인다. 연기 대신 서툰 억양에 울리는 화재경보기인 셈이다. 업체가 내세우는 98%도 독립 검증에서는 오탐률이 5~12%까지 올라갔다. 서른 명 학급이라면 한두 명이 억울하게 지목될 수 있다는 계산이 나온다.
여기서 비용의 비대칭을 생각하게 된다. 부정 하나를 놓치면 평가의 변별이 조금 흐려진다. 정직한 학생 하나를 부정행위자로 지목하면 그 학생이 학교와 평가에 걸었던 신뢰가 무너진다. 영어로 글을 쓰는 한국 학생의 답안은 정확히 그 오탐 지대 위에 놓여 있다. 잡히지 않는 부정과 잡히는 결백 사이에서, 검출기는 교실을 지키는 도구가 되기 어렵다.
앞서 간 기관들이 고른 길
국제 바칼로레아는 어떤 검출기도 결정적 증거가 될 수 없다고 못 박고, 탐지 대신 표기를 의무로 삼았다. AI가 만든 문장은 학생 자신의 작업이 아니므로 인용 부호를 치고 출처를 밝히게 하고, 진위가 의심스러우면 검출기 점수가 아니라 그 학생을 아는 교사의 판단과 수업 맥락으로 확인한다. 미국 칼리지보드는 AP 수행 과제에 AI를 제한적으로 허용하되, 연구 과정 중간중간 교사와 만나는 확인 지점을 두고 이를 거치지 않으면 0점 처리한다. 지난해 12월 교육부와 시도교육청이 내놓은 수행평가 관리 방안도 방향이 같다. 일률 금지 대신 활용 범위를 정하고, 활용 과정을 표기하게 하고, 수업 중 실시간 관찰형 평가를 늘리라는 것이다.
구술 3분이 검출기보다 정확하다
중학교 국어의 주장하는 글쓰기 수행평가로 옮기면 이런 그림이 된다. 결과물 한 편을 걷어 채점하는 대신 과정 세 토막을 본다. 개요를 짜는 날 자기 주제와 근거를 3분 동안 말로 설명하게 하고, AI와 주고받은 대화 기록을 부록으로 붙이게 하고, 최종본에서 스스로 고친 대목 하나를 골라 왜 고쳤는지 쓰게 한다. 외워 온 글은 첫 번째 질문 앞에서 무너진다. 자기가 고르지 않은 주제, 자기가 세우지 않은 근거는 3분의 구술을 버티지 못한다. 검출기 없이도 진짜 저자는 드러난다.
반론은 두 갈래로 온다. 하나는 품이다. 구술을 듣고 대화 기록을 훑는 일은 완성본 한 편을 채점하는 일보다 손이 많이 간다. 다른 하나는 객관성이다. 교사 재량이 큰 과정 평가는 점수 시비와 민원 앞에서 결과물 채점보다 취약해 보인다. 둘 다 근거 있는 걱정이고, 특히 객관성 쪽이 과정 평가를 망설이게 하는 실제 이유다. 다만 따져 보면 방향이 반대다. 개요와 대화 기록, 고쳐 쓴 흔적은 그 자체로 남는 증거라, 왜 이 점수인지 묻는 학부모에게 완성본 한 장보다 많은 근거로 답하게 해 준다. 말솜씨 걱정은 구술의 과녁을 바꾸면 줄어든다. 유창한지를 재지 않고, 자기 근거를 자기 말로 짚는지만 본다. 품 문제는 순증이라기보다 이동에 가깝다. 진위를 의심하고 검증하는 데 쓰던 품이 과정을 보는 품으로 옮겨 가고, 관찰형 평가에서는 채점과 수업이 한 시간 안에서 겹친다. 억울한 지목 한 건이 학급에 남기는 상처와 견주면, 옮겨 갈 가치가 있는 품이다.
물어야 할 질문이 바뀌었다고 생각한다. 누가 AI를 썼는가는 이제 기계로도 사람으로도 깨끗이 가려낼 수 없는 질문이다. 이 학생의 생각은 어디에 있는가는 여전히 물을 수 있고, 평가를 그렇게 설계하면 답이 보이는 질문이다. 검출기를 사는 예산으로 구술 시간을 사는 편이 낫다.
출처
- 서울신문. (2026. 5. 25.). “AI 답변 달달 외워 만점”…’암기 평가’ 된 수행평가. https://www.seoul.co.kr/news/society/education-news/2026/05/25/20260525010009
- Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7). https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7
- International Baccalaureate. Artificial intelligence (AI) in learning, teaching and assessment. https://ibo.org/programmes/artificial-intelligence-ai-in-learning-teaching-and-assessment/
- College Board. Generative AI usage guidelines (AP). https://apcentral.collegeboard.org/help-center/generative-ai-usage-guidelines
- 교육부·전국 시도교육청. (2025. 12. 23.). 수행평가 시 인공지능(AI) 활용 관리 방안. https://www.moe.go.kr/boardCnts/viewRenew.do?boardID=294&boardSeq=104984&lev=0&m=020402