AI 평가 척도(AIAS): 생성형 AI를 교육 평가에 윤리적으로 통합하는 방법은?

1. 연구의 목적

(1) 이 연구는 생성형 인공지능(GenAI)이 사회 여러 영역에 근본적인 변화를 가져오며 미래 교육의 핵심이 될 것임을 전제함. 이 기술이 혁신적인 교육 기회를 제공하는 동시에 윤리적 문제와 학업적 도전 과제를 던지고 있음이 배경임. 특히 교육 현장에서 챗GPT와 같은 생성형 AI의 확산으로 평가 방식에 대한 불확실성과 불안감이 커지는 상황임. AI의 윤리적 사용, 학업 무결성 유지, 비판적 사고 능력 함양에 대한 교육자 및 정책 입안자들의 우려가 커지는 시점임.

(2) 이 연구의 핵심 목표는 생성형 AI 도구를 교육 평가에 윤리적으로 통합하기 위한 실용적이고 포괄적인 도구인 AI 평가 척도(AIAS)를 제시하는 데 있음. AIAS는 교육자가 학습 성과에 맞춰 AI 사용 수준을 적절하게 선택하도록 지원함. 이는 학생과 교육자에게 명확성과 투명성을 제공하고, 기관에는 공정하고 공평한 정책 도구를 제공하며, AI의 잠재력을 수용하면서도 교육적으로 부적절할 수 있는 경우를 인지하는 섬세한 접근 방식을 제안함. 궁극적으로 교육 현장의 불확실성을 해소하고 AI의 오용보다는 학습 지원 도구로서의 활용 담론을 재정립하는 것이 목표임.

2. 연구의 방법

(1) 이 연구는 생성형 AI의 교육적 통합에 대한 인식 변화와 함께 등장한 프레임워크 개발 접근 방식을 취함. 처음에는 AI 사용을 금지하는 이분법적 사고방식에서 시작했으나, 점차 AI의 복잡성과 잠재적 이점을 인식하면서 다단계 척도로 발전시켰음. 특히 호주 에디스코완 대학교 교육학부와의 논의를 통해 초기 구상이 발전했으며, 단순성(적은 척도 지점)과 명확성(더 많은 척도 지점) 사이의 균형을 찾는 과정을 거쳤음. 최종적으로는 5점 척도로 구체화됨.

(2) 이 연구는 고등 교육 환경에 초점을 맞추지만, K-12 환경에서도 유연하게 적용 가능한 척도를 주요 분석 대상으로 삼음. AI 평가 척도(AIAS)의 각 레벨이 허용되는 AI 사용 범위와 학생의 책임 수준을 명시하며, 학업 무결성 유지, 학생 기술 개발, 학습 내용 및 평가에 대한 의미 있는 참여 사이의 균형을 중요하게 다룸. 이 척도는 특정 실험이나 통계적 분석을 거쳐 개발된 것이 아니며, 개념적 구상과 기존 문헌 검토를 바탕으로 한 실용적 프레임워크 제안임.

3. 주요 발견

이 연구는 생성형 AI의 교육 평가 통합을 위한 5단계 AI 평가 척도(AIAS)를 핵심적인 발견으로 제시함. AIAS는 교육자가 평가 과제를 생성형 AI 도구의 존재에 맞춰 재구성하고, 학생들에게 AI 사용 방식과 범위를 명확히 안내하여 학업 무결성을 유지하며 과제를 완수하도록 돕는 구체적인 지침임. 이는 AI 사용을 금지하는 이분법적 접근 방식에서 벗어나, AI를 학습 과정의 일부로 받아들이는 전환적 시각을 반영함.

이러한 AIAS는 교육 기관이 AI 도구의 활용을 단순한 ‘부정행위’의 관점에서 벗어나 ‘능동적이고 윤리적인 학습 도구’로 인식하도록 돕는 기준이 됨.

다음 표는 AIAS의 5단계 척도와 각 단계별 특징을 요약함.

척도 레벨	정의 및 허용 범위	주요 활동 (예시)
1: AI 사용 금지	AI 지원 없이 완전히 학생의 지식과 기술로만 평가를 완료함.	- 기술 미사용 토론, 구두 평가 - 교실 내 아이디어 구상, 그룹 활동 - 구술 시험
2: AI 지원 아이디어 구상 및 구조화	아이디어 구상, 구조화, 작업 개선 아이디어 생성에 AI를 사용함. 최종 제출물에 AI 생성 콘텐츠는 포함하지 않음.	- 공동 브레인스토밍으로 아이디어 생성 - AI로 작업 구조 개요 작성 - 연구 주제, 관심 영역, 자료 출처 제안
3: AI 지원 편집	학생이 만든 원본 작업의 언어 또는 내용 다듬기, 편집, 개선에 AI를 사용함. 새로운 콘텐츠 생성은 허용하지 않음. 원본 작업은 부록으로 제출해야 함.	- 문법, 구두점, 철자 교정 - 단어 선택 및 명확성 개선 - 구조적 편집 (문장 재구성) - 이미지 편집 (생성형 채우기 등)
4: AI 활용 과제 완성 및 인간 평가	AI를 사용하여 과제의 특정 부분을 완성함. AI 생성 콘텐츠에 대한 비판적 참여와 인간의 평가 및 해석이 중요함. AI 생성 콘텐츠는 인용 필수임.	- AI로 특정 주제 콘텐츠 생성 (데이터셋, 소셜 미디어 게시물) - AI 생성 콘텐츠와 인간 생성 콘텐츠 비교 분석 - AI 출력물의 편향성, 부정확성 비판적 평가 - AI 생성 콘텐츠를 대규모 프로젝트에 통합
5: 완전한 AI 활용	학생 재량 또는 교사 권고에 따라 AI를 전체 작업 과정에서 자유롭게 사용함. AI를 ‘보조 조종사’로 활용하여 창의성을 증진함.	- AI와 공동 작업으로 콘텐츠 반복 생성 - 다양한 AI 도구로 아이디어, 스타일 탐색 - 실시간 피드백 루프를 활용하여 작업 조정 - AI를 활용하여 완성된 제품 또는 예술 작품 제작

이 척도는 단순성을 유지하면서도 AI 사용의 복잡한 양상을 반영하도록 설계되었으며, 학업 무결성을 유지하며 학습 성과를 달성하도록 지원함. 특히 레벨 4는 학생들이 AI가 만든 결과물을 비판적으로 평가하고 해석하는 능력을 길러주어 단순한 도구 사용을 넘어선 심층적 참여를 유도함.

4. 결론 및 시사점

(1) 이 연구는 AI 평가 척도(AIAS)가 교육자와 학생이 생성형 AI 도구의 허용 가능한 사용에 대한 공통된 이해를 형성하고, 책임감과 정확성이라는 핵심 가치에 초점을 맞춰 과제를 제출하도록 지원하는 강력한 도구임을 입증함. AIAS는 AI 사용을 학업 부정행위로 간주하던 초기 입장에서 벗어나, AI를 윤리적이고 효과적인 학습 도구로 통합하는 새로운 패러다임을 제시함.

(2) 교육 현장에서는 AIAS가 생성형 AI 도구의 사용을 명확히 규정함으로써 학업 무결성 문제를 해결하고, 동시에 학생들이 미래 직장에서 필수적인 AI 활용 능력을 개발하도록 돕는 실질적인 가이드라인을 제공함. 특히 모호했던 ‘사이버 표절’에 대한 혼란을 줄이고, ‘사용/금지’라는 이분법적 접근 방식 대신 AI를 교육 과정에 통합하는 섬세한 방법을 제안함. 이는 비원어민 학습자나 언어 능력이 부족한 학생들에게 AI 지원 편집(레벨 3)이 학습 장벽을 낮추는 실질적인 기회가 됨을 보여줌.

(3) AI 도구 설계 및 정책 수립 측면에서 AIAS는 기관이 유연하고 지속 가능한 AI 정책을 개발하는 데 필요한 토대가 됨. 빠르게 발전하는 AI 기술에 발맞춰 정책이 지속적으로 업데이트되어야 함을 시사하며, AI 도구의 한계와 편향성, 보안 및 개인 정보 보호 문제에 대한 교육을 정책에 포함해야 함을 강조함. 또한, 디지털 격차와 AI 도구 접근성 문제를 고려하여 모든 학생에게 공정한 학습 환경을 제공하기 위한 표준화된 도구 사용 허용 또는 고급 도구 사용 제한과 같은 형평성 확보 방안 마련의 중요성을 일깨움. 학생의 AI 오용에 대한 불이익은 학업 무결성 위반으로만 접근하기보다, 기술 보조 도구 사용 기준을 명시한 평가 루브릭을 통해 해결하는 방안을 고려할 필요가 있음.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 생성형 AI를 교육적 ‘위협’이 아닌 ‘도구’이자 ‘역량’으로 전환하는 패러다임 전환을 위한 구체적인 방법론을 제시함에 있음. 많은 교육 기관이 여전히 AI 사용 금지 또는 탐지 솔루션 도입에 매달리는 동안, AIAS는 평가 설계 자체를 AI의 존재에 맞춰 재조정하자는 실용적이고 선제적인 제안을 내놓음. 이는 AI를 계산기나 인터넷처럼 교육의 표준 요소로 점진적으로 수용해 온 역사적 맥락을 반영하며, 단순한 규제를 넘어 학습의 본질을 재정의하는 비판적 낙관주의를 보여줌. AIAS는 학업 무결성을 보호하되, 학습자의 미래 역량 개발을 적극적으로 지원하는 균형 잡힌 접근 방식을 제공하는 점에서 기존 논의와 뚜렷한 차별점을 보임.

(2) 이 연구가 명시하지 않은 더 넓은 의미는 지식 생산의 주체성과 윤리적 책임에 대한 교육 철학적 재고로 연결됨. AIAS는 AI가 공동 저자가 될 수 있는 가능성을 열어둠으로써, ‘원본 작업’이란 무엇이며 인간 지능의 고유한 역할은 어디까지인지에 대한 근본적인 질문을 제기함. 이는 고등 교육의 목표가 단순히 지식을 전달하는 것을 넘어, 지식을 창조하고 비판적으로 평가하며 윤리적으로 활용하는 복합적인 능력을 함양하는 데 있음을 다시금 강조함. AIAS는 또한 인간-컴퓨터 상호작용(HCI) 분야에 대한 시사점을 지님. 교육 현장에서 AI 도구가 더욱 효과적으로 통합되려면, AI 도구 자체가 AIAS와 같은 윤리적 활용 기준을 내장하고 사용자에게 투명성을 제공하는 방향으로 진화해야 함을 의미함. 예를 들어, AI가 생성한 내용과 인간이 수정한 내용을 명확히 구분하는 인터페이스 기능은 AIAS 레벨 3의 요구 사항을 충족하는 데 필수적임.

(3) 이 연구를 발전시킬 구체적인 아이디어는 다음과 같음. 첫째, AIAS의 실제 교육 현장 적용에 대한 대규모 실증 연구를 제안함. 다양한 학문 분야와 학습자 집단(예: 문과, 이과, 예체능, K-12)에서 AIAS를 도입한 뒤, 학생들의 학업 성과, 자기효능감, AI 활용 윤리 인식, 그리고 교육자의 평가 설계 및 피드백 방식 변화를 정량적·정성적으로 분석함. 이를 통해 AIAS의 효과를 검증하고 각 레벨의 미세 조정을 위한 근거를 마련함. 둘째, AIAS를 동적으로 업데이트하고 공유할 수 있는 커뮤니티 기반 플랫폼을 구축함. AI 기술의 빠른 발전을 고려할 때, 척도 자체가 ‘살아있는 문서’로 기능하도록 교육자들이 각자의 경험과 새로운 AI 도구에 대한 인사이트를 공유하고, 척도 업데이트에 참여하는 협력적 생태계가 필요함. 이 플랫폼은 특정 과목이나 평가 유형에 대한 AIAS 적용 사례 라이브러리를 포함할 수 있음.

6. 추가 탐구 질문

(1) AIAS의 각 레벨이 학습자의 메타인지 능력 및 문제 해결 전략 습득에 미치는 장기적 영향은 무엇인가? 특히 AI 사용이 허용될수록 학습자가 자신의 사고 과정을 성찰하고 개선하는 기회가 줄어들 가능성은 없는가?

(2) AIAS를 팀 프로젝트나 협력 학습 환경에 적용할 때, 개별 학습자의 AI 사용 범위와 기여도를 어떻게 측정하고 평가할 수 있는가? 그룹 내 AI 사용에 대한 합의 형성 과정은 어떠하며, 이는 협력적 문제 해결 능력에 어떤 영향을 미치는가?

(3) AIAS가 제시하는 5단계 척도를 넘어서, AI 자체가 학습자의 평가 피드백 생성 또는 맞춤형 학습 경로 추천에 활용될 때, AIAS의 윤리적 통합 원칙은 어떻게 확장되어야 하는가? AI가 평가자의 역할을 일부 수행하게 될 경우, 책임 소재와 공정성 확보 방안은 무엇인가?

출처

• Perkins, M., Furze, L., Roe, J., & MacVaugh, J. (2024). The AI Assessment Scale (AIAS): A Framework for Ethical Integration of Generative AI in Educational Assessment. Journal of University Teaching & Learning Practice. https://doi.org/10.53761/q3azde36