AI 활용 교육은 글쓰기 생산성과 품질을 어떻게 높이는가?

1. 연구의 목적

(1) 생성형 AI, 곧 챗GPT 같은 도구들이 빠르게 확산되면서 글쓰기 분야에 미치는 영향은 엄청남. 그러나 교육 현장에서는 이 도구들을 어떻게 효과적으로 가르치고 활용해야 할지에 대한 명확한 이해와 전략이 부족함. 특히 고품질의 효율적인 글쓰기 능력이 필수적인 교육 및 전문 직업 환경에서 AI 활용 역량은 새로운 핵심 요구 사항으로 부상함. 이런 배경에서 교육자들은 AI 활용 교육에 대한 실질적인 가이드라인을 절실히 필요로 함.

(2) 이 연구는 카네기 멜런 대학원생들을 대상으로 한 전문 글쓰기 과제에서 생성형 AI와 체계적인 교육이 글쓰기 생산성과 품질에 어떤 영향을 미치는지 측정하는 데 핵심 목표를 둠. 특히 영어 원어민(NES)과 비원어민(NNES) 학생 그룹 간의 효과 차이를 분석하고, 글쓰기 과정의 하위 작업별 AI의 기여도를 밝혀내어, AI 기반 교육 전략을 수립하는 데 필요한 실증적 기반을 마련함.

연구 과정 개요: AI 활용 교육 전후의 학습 활동 순서

2. 연구의 방법

(1) 이 연구는 양적 데이터와 질적 데이터를 모두 활용하는 혼합 연구(Mixed-methods) 방식을 채택함. 대학원 수업 환경에서 실제 과제를 활용해서 AI의 영향을 측정했다는 점에서 생태학적 타당성을 높임. 학생들의 글쓰기 소요 시간(생산성)과 과제 점수(품질)를 수치로 분석했고, AI 활용에 대한 학생들의 인식과 경험은 설문 조사와 개방형 응답을 통해 질적으로 탐색함.

(2) 주요 분석 대상은 27명의 대학원생이었음. 이들은 AI 활용 교육을 받기 전과 후의 전문 메모 글쓰기 과제에서 성과를 비교함. 첫 번째 과제는 AI 사용 없이 진행했고, 세 번째 과제는 AI 활용 교육을 받은 후 AI의 도움을 받아 완료함. 특히 이 연구는 영어 원어민(NES) 학생과 비원어민(NNES) 학생으로 그룹을 나누어 AI 효과의 차등적인 영향을 면밀히 분석함. 연구 과정 중 두 번째 과제는 AI의 과도한 의존의 문제점을 보여주는 교육적 도구로만 사용되어 데이터 분석에는 포함하지 않음.

3. 주요 발견

이 연구는 체계적인 AI 활용 교육이 결합되었을 때, 생성형 AI가 글쓰기 생산성과 품질에 상당한 긍정적 영향을 미침을 명확히 보여줌. 특히 언어적 배경에 따른 효과 차이는 AI의 교육적 잠재력을 부각함.

(1) 글쓰기 생산성 대폭 향상: AI 지원은 글쓰기 소요 시간을 혁신적으로 단축함.

• AI 미사용 시 과제 완성에 평균 150분 소요됨.
• AI 활용 교육 후 AI 지원 과제 완성에는 평균 65분 소요됨.
• 이는 글쓰기 소요 시간의 56.7% 감소를 의미하며, 단 한 명의 학생을 제외하고 모든 학생이 AI 지원 과제에서 시간을 단축함.
• “AI는 시간을 절약하는 도구가 아니라, 시간을 압축하는 기계다.” 이 단축은 단순한 편의를 넘어, 학습자가 더 많은 과업을 수행하거나 더 깊이 사고할 기회를 제공함.

AI 지원이 연구 및 글쓰기 생산성(소요 시간)에 미치는 영향

(2) 글쓰기 품질 평균 A등급 달성: AI 지원 과제의 글쓰기 품질은 통계적으로 유의미하게 향상됨.

• AI 미사용 시 평균 91.67%(A-)를 받음.
• AI 지원 과제에서는 평균 95.83%(A)로 상승함.
• 이는 이미 우수한 수준의 대학원생들에게도 AI가 추가적인 품질 향상을 가져올 수 있음을 시사함.

AI 지원이 글쓰기 결과물(루브릭 점수) 품질에 미치는 영향

(3) 비원어민(NNES) 학생에게 특히 큰 품질 향상 효과: AI는 학습자 간의 격차를 줄이는 수평화 효과를 보여줌.

• 영어 원어민(NES) 학생들은 AI 사용 전후 점수 차이가 통계적으로 유의미하지 않음(91.7%에서 95.8%로 미미하게 상승).
• 그러나 비원어민(NNES) 학생들은 AI 미사용 시 87.5%에서 AI 지원 시 95.8%로 크게 향상됨. 이는 NES 학생들과 동일한 수준의 점수에 도달했음을 의미함.
• 이 결과는 AI가 제2 언어 학습자의 글쓰기 품질을 원어민 수준으로 끌어올릴 잠재력이 있음을 강력히 시사함.

AI 지원이 영어 언어 배경별 글쓰기 결과물(루브릭 점수) 품질에 미치는 영향

(4) 하위 글쓰기 작업별 효과 차이: AI는 모든 유형의 글쓰기 작업에 동일하게 강력하지 않음.

• AI는 글의 조직(organization)과 스타일, 흐름, 간결성(style, flow, and concision) 항목에서 통계적으로 유의미한 향상 경향을 보임. 이는 AI가 정보 정리 및 문장 구조 개선에 강점을 보인다는 증거임.
• 반면, 정책 논리(policy logic)와 정책 주장(policy argument)과 같은 복잡한 추론 및 비판적 분석을 요구하는 작업에서는 효과가 미미했음. 이는 AI의 현재 역량이 미치는 ‘들쭉날쭉한 기술적 경계(jagged technological frontier)’를 보여줌. AI는 아직 인간의 복합적인 판단과 심층적 사고를 완전히 대체하지 못함.

하위 작업	AI 미사용 시 중앙값 (IQR)	AI 지원 시 중앙값 (IQR)	통계적 변화 결과
조직	3 (1)	3 (0)	Z = -1.89, p = .06
스타일, 흐름, 간결성	3 (1)	3 (0)	Z = -1.73, p = .08
외부 조사 품질	3 (0)	3 (0)	Z = -1.51, p = .13
요약	3 (0)	3 (0)	Z = -1.41, p = .16
외부 조사 분석	3 (1)	3 (0)	Z = -1.11, p = .27
정책 주장	3 (1)	3 (0)	Z = -1.07, p = .29
정책 명료성	3 (0)	3 (0)	Z = -0.83, p = .41
정책 논리 및 전체성	3 (1)	3 (1)	Z = -0.24, p = .81

AI 지원이 글쓰기 루브릭 하위 작업별 성과 변화에 미치는 영향 요약

(5) 학생들의 AI에 대한 높은 만족도 및 활용 의지: 학생들은 AI의 효용성을 높게 평가하며 미래에도 활용 의지를 보임.

• 학생들은 AI가 요약(Mdn = 4.0), 글쓰기(Mdn = 4.0), 웹 리서치(Mdn = 3.0)에 가장 유용하다고 응답함.
• 대부분의 학생은 AI 사용 후 자신의 글쓰기 속도 개선을 크게 인지함(Mdn = 5.0, 5점 만점). 품질 개선에 대한 인식도 높음(Mdn = 4.0).
• 개선 효과의 약 67%를 AI 사용 덕분으로 돌림.
• 특히 NNES 학생들은 NES 학생들보다 AI가 글쓰기에 통계적으로 유의미하게 더 유용하다고 인식함.
• NNES 학생들의 자기 인식 글쓰기 역량 또한 AI 활용 후 유의미하게 향상되는 경향을 보임.

영어 원어민 및 비원어민 학생의 인지된 영어 글쓰기 역량에 미치는 시간의 영향

4. 결론 및 시사점

(1) 이 연구는 체계적이고 구조화된 AI 활용 교육이 대학원생의 전문 글쓰기 생산성을 획기적으로 높이고, 글쓰기 품질 또한 향상시킨다는 사실을 입증함. 특히 비원어민 학생들의 글쓰기 능력을 원어민 학생들과 동등한 수준으로 끌어올리는 수평화 효과가 강력한 핵심 결론임.

(2) 교육 현장에 주는 가장 큰 시사점은 AI 활용 역량 교육이 이제 선택이 아닌 필수가 되었다는 점임. 단순한 AI 금지나 무분별한 사용 허용이 아니라, AI의 작동 원리, 프롬프트 엔지니어링, 실패 사례 학습 등을 포함한 포괄적인 교육 커리큘럼을 고등 교육 과정에 적극적으로 통합해야 함. 이는 학생들이 미래 AI 기반 직업 환경에 필요한 역량을 갖추도록 하는 최선의 전략임.

(3) AI는 학습자 간 학습 격차를 줄이는 강력한 도구로 기능할 잠재력이 있음. 특히 언어적 장벽을 가진 비원어민 학생들에게는 글쓰기 자신감과 실제적인 품질 향상을 가져다줌. 이는 교육 불평등 문제를 해결하고, 더 포용적인 학습 환경을 조성하는 데 AI가 기여할 수 있음을 의미함.

(4) 그러나 AI는 모든 글쓰기 작업에 만능이 아님을 인지해야 함. 단순 정보 정리, 문장 다듬기 등에는 탁월하지만, 복잡한 정책 수립, 심층적 논리 구성, 비판적 분석 등 고차원적 사고를 요구하는 영역에서는 여전히 인간의 개입과 판단이 결정적임. 교육 설계 시 AI의 강점을 극대화하되, 그 한계를 명확히 인식하여 학생들이 AI를 보조 도구로서 비판적으로 활용하도록 이끌어야 함.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 생성형 AI의 효과가 ‘도구 그 자체’가 아니라 ‘체계적인 교육’과 결합될 때 비로소 극대화된다는 점임. 기존 연구들은 AI 사용 시의 생산성 향상이나 품질 개선을 개별적으로 보여주었으나, 이 연구는 AI의 원리, 프롬프트 엔지니어링, 실패 모드 학습 등 포괄적인 교육 프로그램이 AI의 잠재력을 실제로 끌어올리는 구체적인 방법을 제시함. 특히 비원어민 학생들의 글쓰기 품질을 원어민 수준으로 끌어올리는 ‘수평화 효과’는 AI가 단순히 효율성 증대 도구를 넘어, 교육적 포용성과 접근성을 높이는 혁신적인 잠재력을 지님을 단언함. 이는 AI 교육이 기술 활용을 넘어 학습 격차 해소라는 더 큰 교육적 가치에 기여함을 보여주는 핵심 증거임.

(2) 이 연구가 명시하지 않은 더 넓은 의미는 AI가 이제 ‘디지털 문해력’의 본질을 재정의하고 있음을 시사함. 과거의 디지털 문해력이 정보 탐색, 비판적 읽기, 정보 생산 능력에 초점을 맞췄다면, 이제는 ‘AI와 협력하여 문제를 해결하고 새로운 지식을 창출하는 능력’이 핵심 문해력으로 자리 잡음. 이는 인지과학적 관점에서 인간의 인지 부하를 줄이고, 창의적 사고를 촉진하는 ‘인간-AI 협업 인지(Human-AI Collaborative Cognition)’ 모델로의 전환을 의미함. AI는 단순한 도구가 아니라, 인간의 인지 능력을 확장하고 보완하는 새로운 지능적 파트너로서 학습 과정에 깊이 통합되어야 하는 존재임. 이 변화는 교육 철학적 관점에서 인간의 역할과 AI의 역할을 재정립하는 근본적인 질문을 던짐.

(3) 이 연구를 발전시킬 구체적 아이디어는 두 가지임. 첫째, 초중등 교육 과정에 맞는 ‘AI 협업 문해력’ 모듈 커리큘럼을 개발해야 함. 이 연구에서 다룬 AI의 작동 원리, 프롬프트 설계, 한계 인식 등의 내용을 각 학년 수준에 맞춰 재구성하고, 교사가 이를 효과적으로 지도할 수 있도록 AI 활용 교수법 연수 프로그램을 개발하는 방안이 있음. 예를 들어, 초등학생은 AI와 상호작용하며 짧은 글을 구성하고 오류를 찾는 활동으로, 중고등학생은 AI가 생성한 정보의 출처를 비판적으로 검증하고 논리적 오류를 수정하는 프로젝트 기반 학습(PBL)을 도입하는 것임. 둘째, AI가 촉진하는 ‘메타인지적 학습 전략’을 명시적으로 설계해야 함. 학생들이 AI의 결과물을 맹목적으로 수용하지 않고, 자신의 판단과 비교하며 비판적으로 수정하고 개선하는 과정을 유도하는 과제 유형을 개발함. 예를 들어, AI가 생성한 텍스트에서 ‘환각(hallucination)’을 찾아내고, ‘비판적 사고’를 요구하는 질문으로 AI의 답변을 심화시키며, AI가 놓친 ‘맥락적 요소’를 추가하여 최종 결과물을 완성하는 등, 인간의 고유한 인지적 기여를 강화하는 프롬프트 기반의 학습 활동을 고안하는 것이 중요함.

6. 추가 탐구 질문

(1) AI 보조 글쓰기가 단기적인 생산성과 품질 향상 외에, 학생들의 장기적인 비판적 사고력, 독창적 글쓰기 능력, 문제 해결 능력 같은 고차원적 인지 능력 발달에는 어떤 영향을 미치는가? AI 의존도가 높아질수록 학습자 스스로의 인지적 노력이 줄어들어 ‘메타인지적 나태(metacognitive laziness)’가 발생할 위험은 없는가?

(2) 이 연구에서 제시된 AI 활용 교육 모델이 과학 기술 분야의 전문 글쓰기를 넘어, 인문학, 예술, 사회과학 등 창의성과 주관적 해석, 그리고 복합적인 인간 이해가 강조되는 다른 학문 분야의 글쓰기 교육에도 동일한 긍정적 효과를 가져올 수 있는가? 각 분야의 특성을 반영한 맞춤형 AI 활용 교육 전략은 무엇이 될 수 있는가?

(3) AI가 제공하는 글쓰기 지원과 피드백에 대해 학생들이 맹목적으로 신뢰하거나 수용하는 경향을 방지하고, 비판적 검토 능력을 함양하기 위한 AI 자체의 설계적, 윤리적 제언은 무엇이 될 수 있는가? 예를 들어, AI가 자신의 답변에 대한 신뢰도 지표를 함께 제시하거나, 학습자의 비판적 사고를 유도하는 반대 질문 프롬프트를 내장하는 등의 기능은 효과적인가?

출처

DOI: 10.1007/s40593-025-00528-z

• Pensky, A. E. C., Usdan, J. H., & Chang, H. (2025). Generative AI’s impact on graduate student professional writing productivity and quality. International Journal of Artificial Intelligence in Education, 35, 4057–4082. https://doi.org/10.1007/s40593-025-00528-z