525 ／ 528
AI 피드백은 반복적인 글쓰기 학습에 어떤 영향을 미치는가?
1. 연구의 목적
(1) AI 기반 피드백 시스템이 고등 교육 글쓰기 학습에 빠르게 도입되고 있으나, 학기 전체에 걸친 반복적인 현장 사용 효과에 대한 실증적 증거가 부족한 상황임. 학생들은 AI의 즉각적인 지원을 높이 평가하지만, 동시에 AI 피드백의 정확성, 문맥 적합성, 일반적인 조언 경향, 그리고 과도한 의존성 위험에 대한 우려를 표함. 이러한 맥락에서 피드백 문해력(feedback literacy)과 평가적 판단(evaluative judgment) 역량은 학습자가 AI 조언을 능동적으로 해석하고 선별하며 활용하는 데 핵심적임.
(2) 이 연구는 한 학기 동안 에스토니아 대학생들이 반복적으로 작성한 반성적 에세이에 대해 AI 피드백을 받고 평가하는 과정을 심층적으로 관찰하는 것을 핵심 목표로 함. 특히 AI 피드백에 대한 학생들의 평가가 어떻게 변화하는지, 피드백의 구체성이 유용성과 어떤 관계를 갖는지, 그리고 AI 피드백이 다음 에세이의 성찰 깊이에 영향을 미치는지 탐구함. 또한, 학생들의 에세이 중 AI 생성 가능성이 있는 비중을 추정하여 AI 사용이 학습 과정에 미치는 잠재적 영향을 밝히고자 함.
2. 연구의 방법
(1) 에스토니아 대학 인문학 전공 1학년 학생 283명을 대상으로 한 학기 동안 진행된 디지털 역량 및 AI 코스워크 데이터를 활용한 관찰 연구임. 이 연구는 13회에 걸친 주간 반성적 에세이 과제에서 총 2988건의 에세이-AI 피드백-학생 평가(Homework Triplets)를 수집하여 분석함. 익명화된 텍스트 코퍼스를 GPT-5.4 API를 활용한 LLM 기반 자동 주석 기법으로 평가 주제, 유용성 인식, 에세이 성찰 깊이, AI 피드백 구체성 등 4가지 범주를 분류함. 에세이의 AI 생성 가능성은 검증된 AI 텍스트 분류기(Pangram)를 통해 추정함.
(2) 주요 분석 대상은 학생들이 자율적으로 선택한 AI 챗봇(대부분 챗GPT)을 사용하여 에세이에 대한 피드백을 얻고, 이에 대해 1~2문장으로 평가한 내용임. 학생들은 모든 과제에서 표준화된 프롬프트를 사용했으며, HW4 이후에는 더욱 구체적이고 깊이 있는 성찰을 유도하는 방향으로 프롬프트가 수정됨. 인간 교육 조교는 과제를 0-3점 척도로 채점했으나, 성찰 깊이 자체는 별도의 루브릭으로 평가되지 않음.
3. 주요 발견
이 연구는 AI 피드백의 반복 사용이 학생들의 글쓰기 학습에 미치는 복합적인 영향을 다음과 같이 밝혀냄.
(1) AI 피드백의 구체성 변화와 한계
- AI가 제공한 피드백은 대부분 매우 구체적이었음. 1-5점 척도에서 99%가 ‘대부분 구체적(4점)’ 또는 ‘매우 구체적(5점)’으로 평가됨.
- 피드백 프롬프트가 수정된 HW4 이후에는 피드백의 구체성이 더욱 높아졌음. 낮은 구체성(1-3점) 피드백 사례가 2%에서 1% 미만으로 감소했고, ‘매우 구체적(5점)’ 피드백은 2%에서 11%로 증가함.
- 구체적인 피드백은 학생들이 ‘일반적이거나 반복적이다’는 불만을 줄이는 데 기여함. 그러나 피드백의 구체성이 높다고 해서 학생이 반드시 그것을 유용하게 여긴다고 단정할 수 없음. 그림 4b는 구체성 최고점에서 유용성 인식 확률이 감소하는 경향을 보임.
(2) 학기 중 AI 피드백 평가의 변화
- 학생들은 학기 초에 AI 피드백을 대체로 수용적으로 평가했음. 가장 흔한 평가 주제는 ‘실용적인 지원’(actionable support)으로, 피드백이 사용 가능한 제안이나 명확한 다음 단계를 제시한다고 응답함 (전체 53%).
- 그러나 학기가 진행될수록 학생들의 평가는 더욱 비판적으로 변함. ‘실용적인 지원’이라고 응답한 비중은 HW1의 67%에서 HW13의 43%로 감소함.
- 동시에 ‘AI가 에세이를 잘못 읽었거나 과제를 오해했다’는 불만은 HW12에서 19%로 정점에 이름.
- 전체적으로 57%의 학생이 AI 피드백을 유용하다고 평가했으나, 34%는 혼합된 감정, 9%는 비유용하다고 평가함. ‘비유용하다’는 응답은 학기 말에 증가하는 경향을 보임. 이는 학생들이 피드백의 관련성, 신뢰성, 유용성을 판단하는 ‘피드백 문해력’이 발달했음을 보여줌.
(3) 성찰 깊이의 정체와 AI 생성 에세이의 급증
- 대부분의 에세이는 ‘기술적 성찰’(descriptive reflection, 94%) 수준에 머물렀음. 이는 강좌 내용을 개인적 경험과 연결하는 수준이며, 대안적 관점이나 비판으로 거의 나아가지 못함을 뜻함. ‘대화적 성찰’은 5%, 가장 깊은 ‘비판적 성찰’은 1% 미만이었음.
- 학생이 AI 피드백을 유용하다고 평가했는지 여부는 다음 에세이의 성찰 깊이와 유의미한 관계가 없음. 이는 AI 피드백이 성찰적 글쓰기를 직접적으로 심화시키는 데는 한계가 있음을 명확히 보여줌.
- AI 텍스트 탐지기(Pangram) 분석 결과, 전체 에세이 중 40%가 AI가 일부 또는 전체를 생성했을 가능성이 있는 것으로 나타남 (28%는 ‘AI 생성’, 12%는 ‘혼합’).
- AI로 생성되었을 가능성이 있는 에세이의 비중은 HW1의 8.5%에서 HW13의 40.3%로 4.8배 급증함.
- 특히, ‘대화적 성찰’이나 ‘비판적 성찰’로 분류된 소수의 에세이 중 51%가 AI 생성 가능성이 높은 것으로 추정됨. 이는 피상적으로 깊어 보이는 성찰이 실제 학생의 학습 활동을 반영하지 않을 수 있음을 강력히 시사함.
4. 결론 및 시사점
(1) 이 학기 연구는 AI 피드백을 정규 교육 과정에 통합하는 것이 단순히 새로운 조언 소스를 추가하는 것을 넘어, 글쓰기 과제 자체의 본질을 변화시킬 수 있음을 입증함. 학생들은 AI 챗봇 피드백을 대체로 유용하게 여겼으며, 특히 구체적인 제안을 제공할 때 그러함. 그러나 시간이 지남에 따라 학생들의 반응은 일반적인 조언, 내용 불일치, 지나치게 부드러운 칭찬과 같은 문제에 더 민감해지는 양상을 보임. 동시에 대부분의 에세이는 깊은 성찰로 나아가지 못하고 기술적 성찰 수준에 머물렀으며, 학기 말에는 AI가 생성했을 가능성이 있는 에세이가 상당히 많아졌음.
(2) AI 피드백의 교육적 가치는 학생들이 피드백을 얼마나 좋아하는지, 혹은 과제의 텍스트적 구성 요소가 얼마나 그럴듯해 보이는지에만 의존하지 않음. 그것은 과제를 둘러싼 환경 설계에 달려 있음. 학생이 여전히 스스로 글을 쓰고, 피드백을 해석하고, 질문하며, 자신의 글쓰기 과정의 일부로 통합하도록 동기 부여하는지가 관건임. 이는 교육 현장에서 AI 도구의 단순한 도입을 넘어, 학습자의 주체적인 참여를 유도하는 과제 재설계가 필수적임을 강조함.
(3) AI 지원 학습은 도구 접근성이나 피드백 품질만으로 그 성패가 결정되지 않음. 코스 설계, 평가 기대치, 학습자 주체성, 인지적 참여, 그리고 교사의 촉진 역할 등 다양한 요소가 복합적으로 작용함. 특히, 낮은 중요도의 반복 과제에서 AI 사용을 합법화하면, 학생들이 자신의 판단이 필요한 부분까지 AI에 위임하는 과의존으로 이어질 수 있음. 이 문제를 해결하기 위해 단순히 AI 사용을 금지하는 것을 넘어, 최종 텍스트 결과물에 대한 의존도를 낮추고, 글쓰기 과정에서의 상황적 결정(situated decisions)을 보여주는 방향으로 과제를 전환할 필요가 있음. 예를 들어, 버전 히스토리 추적, 피드백 수용/거부의 합리적 설명 요구 등이 그 방법이 될 수 있음.
5. 리뷰어의 ADD(+) One: 생각 더하기
(1) 이 논문에서 가장 주목할 지점은 AI 피드백이 학생들의 성찰 깊이 향상에 유의미한 기여를 하지 못했으며, 오히려 AI 생성 에세이의 사용을 부추겼다는 실증적 발견임. 기존의 AI 피드백 연구들이 대부분 단기적인 효과나 학생들의 주관적 인식에 초점을 맞추었던 것과 달리, 이 연구는 한 학기 동안의 반복적인 사용 패턴과 실제 글쓰기 산출물을 분석하여 AI 피드백이 학습자의 깊이 있는 인지 활동과 독립적인 글쓰기 노력을 대체할 수 있는 위험을 명확히 보여줌. 피드백의 ‘구체성’과 학생의 ‘유용성 인식’이 반드시 ‘깊이 있는 학습’으로 연결되지 않는다는 반직관적 결과는 AI를 교육에 통합할 때 단순히 ‘새로운 도구를 추가하는 것’을 넘어, 학습 과제 자체의 본질이 변할 수 있음을 강력히 경고함.
(2) 이 연구가 명시하지 않은 더 넓은 의미는 AI 시대의 학습 주체성과 인지적 노력에 대한 교육 철학적 재고로 연결됨. AI 피드백의 즉각적인 편리함은 학습자에게 ‘생각할 기회’와 ‘고민할 시간’을 박탈할 수 있음. 인지과학적으로 볼 때, ‘바람직한 어려움’(desirable difficulty)은 깊이 있는 학습과 기억 형성에 필수적인데, AI는 이러한 인지적 장벽을 제거하여 학습의 표면적 효율성은 높이지만, 본질적인 학습의 깊이를 저해할 가능성 있음. 이는 교육이 AI를 ‘도구’로 활용하는 것을 넘어, AI가 학습자의 ‘인지적 파트너’로서 어떤 역할을 해야 하는지에 대한 근본적인 질문을 던짐. 궁극적으로 교육은 ‘정보 습득’을 넘어 ‘사고력 함양’에 초점을 맞춰야 한다는 오랜 교육적 가치를 AI 시대에 재조명하는 계기가 됨.
(3) 이 연구를 발전시킬 구체적 아이디어는 ‘AI 협업 학습 과정 추적 및 메타인지 스캐폴딩 설계’를 제안함. 단순히 AI 피드백의 결과물만을 평가하는 것을 넘어, 학생들이 AI 피드백을 어떻게 해석하고, 비판적으로 평가하며, 자신의 글쓰기 과정에 통합하는지를 정교하게 추적하는 것이 필요함. 예를 들어, 글쓰기 버전 기록 시스템을 활용하여 AI 피드백 적용 전후의 수정 내역을 분석하고, 학생들이 피드백의 어떤 부분을 수용하고 거부했는지, 그 이유는 무엇인지에 대한 간략한 ‘메타인지적 설명’을 요구하는 과제를 설계함. 이러한 과정에서 교사는 ‘피드백 문해력’과 ‘자기 조절 학습’ 역량을 촉진하는 구체적인 스캐폴딩 질문이나 활동을 제공하여, AI를 비판적으로 활용하고 자신의 학습 과정을 주도하는 능력을 함양하도록 유도함.
6. 추가 탐구 질문
(1) AI 피드백의 ‘어조(tone)’가 학생의 피드백 수용도 및 성찰 깊이에 미치는 영향에 대한 추가 심층 분석은 없는지? 특히 AI가 ‘과하게 친절한’(overly nice) 피드백을 제공했을 때, 학생들이 비판적 평가 능력을 개발하거나 자신의 글쓰기를 깊이 있게 개선하려는 동기가 약화되는지?
(2) 이 연구는 주로 반성적 에세이 글쓰기에 초점을 맞춤. AI 피드백이 문제 해결형 과제, 팀 프로젝트, 창의적 글쓰기 등 다른 학습 맥락에서 학생들의 협업 역량, 비판적 사고, 창의성 발달에 어떤 영향을 미치는지에 대한 후속 연구는 어떻게 설계될 수 있는지?
(3) AI 텍스트 탐지 도구의 정확도와 신뢰성 문제(특히 비공식 지원 언어에서)는 어떻게 해결될 수 있는지? 이러한 도구의 사용이 학생들의 불안감을 높이거나, 예상치 못한 윤리적, 심리적 부작용을 야기할 가능성에 대해 교육 현장은 어떻게 대응해야 하는지?
출처
- Karjus, A., Leoste, J., & Õun, T. (2026). Student Evaluation of Repeated AI Feedback Across a Semester of Writing. arXiv preprint arXiv:2607.16115v1 [cs.CY].