651 ／ 660
학생의 AI 및 생성형 AI 지식, 어떻게 측정하는가?
1. 연구의 목적
(1) 이 연구가 해결하려는 문제와 배경
AI와 생성형 AI의 확산에 따라 사용자 및 개발자 모두의 AI 지식 교육 필요성이 증가함. 교육 현장에서는 맞춤형 학습부터 평가에 이르기까지 AI 응용 사례가 급증함. 특히 챗GPT와 같은 대규모 언어 모델(LLM)의 등장은 고등 교육의 교수 학습 방식을 근본적으로 변화시킴. 이에 따라 대학들은 생성형 AI 활용 가이드라인을 발표하고, 학생들의 AI 학습 기회를 늘려야 함. AI 리터러시에 대한 정의와 프레임워크가 제시되었지만, 기술적 개념, 실용적 응용, 윤리적 고려 사항 등 다양한 형태의 학생 지식을 종합적으로 평가하는 도구는 여전히 부족함. 대부분의 기존 도구는 자기보고식 태도나 경험에 의존하여 객관적인 지식 측정이 어려움.
(2) 연구의 핵심 목표
포괄적인 설문 도구를 설계하여 학생들의 AI 및 생성형 AI 지식 수준을 객관적으로 평가함. 이 도구가 교육 현장에서 진단적 및 형성적 평가 도구로서의 유용성과 타당성을 입증하는 것이 목표임. 이를 통해 학생들의 일반적인 오개념을 식별하고, 특정 지식 격차를 해소하기 위한 맞춤형 교육 설계의 기반을 마련함.
2. 연구의 방법
(1) 연구 접근 방식
AI 리터러시를 구성하는 네 가지 핵심 개념(알고 이해함, 사용하고 적용함, 평가하고 생성함, 윤리적으로 탐색함)을 바탕으로 설문 항목을 구성함. 기존에 검증된 세 가지 설문 도구, 즉 생성형 AI 리터러시 평가 테스트(GLAT), 퓨 리서치 센터(Pew Research Center)의 AI 리터러시 설문, Chiu et al. (2024)의 AI 리터러시 테스트에서 항목을 선별하고 연구 목적에 맞춰 일부 수정함. 이렇게 조합된 총 30개 문항의 설문 도구를 개발하여 학생들의 실제 지식 수준을 측정함.
(2) 주요 분석 대상 또는 비교 조건
한 대학의 학부 정보기술(IT) 전공 3, 4학년 학생 57명을 대상으로 설문을 시행함. 이 학생들은 사이버 보안을 부전공으로 하거나 네트워킹, 웹 개발, 클라우드 컴퓨팅을 전공하는 경우임. 연구자들은 이 설문이 처음 구현되는 만큼, 학생들의 전문 지식에 일정 수준의 동질성을 확보하고자 함. 설문은 온라인 시험 시스템에서 외부 도움을 차단하는 기능(Respondus lockdown browser 및 비디오 모니터링)을 사용하여 공정성을 확보함. 학생들에게는 추가 학점 과제로 제시되었으며, 설문 완료 시간은 평균 13분이었음. 설문은 AI 관련 내용이 직접적으로 포함되지 않은 과목에서 학생들의 AI 기본 지식을 진단하는 목적으로 활용됨.
3. 주요 발견
(1) AI 리터러시의 핵심 정의
이 연구는 AI 리터러시를 측정하기 위해 다음과 같은 네 가지 핵심 구성 개념을 활용함. 이 개념들은 AI에 대한 학생들의 지식과 이해를 다면적으로 평가하는 기준이 됨.
| AI 리터러시 구성 개념 | 역할 및 의미 |
|---|---|
| 알고 이해함 | AI의 기본 개념과 기술을 아는 것임. AI 응용 프로그램이 입력 데이터부터 기계 학습 기술까지 어떻게 작동하는지 이해하는 것을 포함함. 데이터 생성 방식과 AI 개발에서 인간의 역할 인지도 포함함. |
| 사용하고 적용함 | AI 도구를 활용하여 특정 작업을 수행하는 능력을 의미함. 일상생활, 학업, 직업 등 다양한 맥락에서 AI 응용 프로그램을 실제적으로 사용하는 역량임. |
| 평가하고 생성함 | AI 응용 프로그램의 결과를 비판적으로 분석하고 해석하는 능력임. AI 기술의 작동 방식을 포괄적으로 이해하여 AI 기술과의 상호 작용에 대해 정보에 입각한 의견을 형성하는 능력임. AI 응용 프로그램을 설계하고 코딩하는 능력까지 포함함. |
| 윤리적으로 탐색함 | AI의 윤리적, 사회적 함의를 이해하는 것이 중요함. 공정성, 책임, 투명성 등 인간 중심의 고려 사항뿐만 아니라 프라이버시, 잘못된 정보, 편향 등 AI 자체의 측면도 포함함. 윤리적 문제를 이해하고 판단하여 책임 있는 AI 사용 및 개발을 보장함. |
(2) 통합 설문 도구의 진단 역량 및 오개념
학생들의 설문 전체 평균 점수는 78.83%로 전반적으로 양호한 수준이었음. 하지만 이 도구는 학생들이 AI 및 생성형 AI 작동 방식에 대한 심각한 오개념을 가지고 있음을 명확히 밝혀냄. 특히 대규모 언어 모델(LLM)의 작동 방식과 검색 증강 생성(RAG)과 같은 고급 개념에 대한 이해가 현저히 낮았음.
전체 30개 문항 중 11개 문항이 정답률 75% 이하로 ‘오개념’ 문항으로 분류됨. 가장 낮은 정답률을 보인 문항은 LLM 작동 메커니즘에 대한 질문(Q17)으로 33.33%에 불과했음. 대부분의 학생들은 LLM이 웹 콘텐츠를 요약한다고 오해함. 이는 학생들이 AI를 표면적으로는 인지하지만, 그 내재적 작동 원리나 한계를 제대로 이해하지 못하고 있음을 단적으로 보여줌.
아래 표는 학생들의 전체 점수 분포를 나타냄.
| 점수 범위 | 문항 수 | 비율 |
|---|---|---|
| >90% | 8 | 26.7% |
| 80-90% | 7 | 23.3% |
| 70-80% | 9 | 30.0% |
| 60-70% | 2 | 6.7% |
| <60% | 4 | 13.3% |
이 분포는 전반적인 기초 지식은 높지만, 특정 심층 개념에서 이해 부족이 있음을 명확히 보여줌.
(3) AI 리터러시 영역별 성과 분석
영역별 성과는 다음과 같음. 특히 ‘알고 이해함’과 ‘윤리’ 영역에서 높은 점수를 보인 반면, ‘사용하고 적용함’과 ‘평가하고 생성함’ 영역에서 상대적으로 낮은 점수를 기록함.
-
알고 이해함 (Know & Understand) 평균 점수 81.73%로 가장 높은 성과를 보였음. 기본적인 개념과 사실적 지식에 대한 이해도가 높음을 시사함. 그러나 Q17(LLM 메커니즘)에서 정답률 33.33%를 기록하며 심각한 오개념이 확인됨. 학생들은 LLM이 다음 단어를 예측하는 방식보다는 웹 내용을 요약하는 것으로 오인하는 경향이 있음. 이 하나의 문항이 이 영역의 전체 평균을 크게 낮추는 요인이 됨. 반면, Q6(온라인 쇼핑 AI 활용)은 100% 정답률을 기록함.
알고 이해함 영역의 문항별 학생 정답률 -
사용하고 적용함 (Use & Apply) 평균 점수 74.74%로 중간 수준의 성과를 보임. 학생들은 AI를 실제 작업에 적용하는 능력에 부분적인 지식을 가짐. 특히 Q23(RAG 대 프롬프트)에서 정답률 50.88%에 그쳐, RAG의 핵심 이점(데이터 코퍼스에서 특정 증거 검색)을 오해하는 경향이 강함. 많은 학생이 RAG가 보지 못한 질문에 대한 일반화 능력을 향상한다고 잘못 생각함. 마케팅 제안 작성 시 덜 효과적인 전략을 묻는 Q22는 59.65%의 정답률을 보임.
사용하고 적용함 영역의 문항별 학생 정답률 -
평가하고 생성함 (Evaluate & Create) 평균 점수 74.94%로 역시 중간 수준의 성과를 보임. 학생들은 AI 시스템의 평가 및 생성 능력에 대해 혼합된 이해를 가짐. Q12(AI 시스템 성능 개선) 문항에서는 63.16%만이 더 많은 훈련 데이터를 최적의 개선 방안으로 선택함. 약 30%의 학생은 학습률 증가와 같은 알고리즘 조정에 더 큰 비중을 두는 경향을 보였음. 이는 데이터 중심 개선보다 알고리즘 중심 개선에 대한 편향된 인식을 나타냄. Q11(컴퓨터 비전 데이터 소스)은 68.42%의 정답률을 기록함.
평가하고 생성함 영역의 문항별 학생 정답률 -
윤리적으로 탐색함 (Ethics) 평균 점수 80.99%로 높은 성과를 보임. 학생들은 AI의 윤리적 함의에 대한 강한 이해를 가짐. 비윤리적인 개발자 행동(Q14)에 대한 정답률은 98.25%로 거의 완벽했음. 의료 환경에서의 설명 가능성(Q15), AI 생성 이미지의 저작권 문제(Q27), 클라우드 기반 AI 도구 사용 시 프라이버시 문제(Q29)에 대한 인식도 높았음. 그러나 Q28(생성형 AI 출력 제한) 문항에서 64.91%의 정답률을 기록하며 안전과 개방성 사이의 정책적 균형점에서 혼란을 보임. 채용에서의 AI 편향(Q30)은 73.68%가 역사적 데이터 편향을 주요 위험으로 지목함.
윤리 영역의 문항별 학생 정답률
4. 결론 및 시사점
(1) 이 연구가 입증하거나 주장한 핵심 결론
이 연구는 AI 및 생성형 AI에 대한 학생들의 지식을 평가하는 설문 도구가 포괄적이며 효과적인 진단 능력을 지님을 입증함. 학생들은 AI 기술의 존재와 활용처에 대한 표면적 인식은 높지만, LLM의 작동 메커니즘이나 RAG와 같은 심층 기술 원리 및 고급 활용법에 대한 이해는 현저히 부족함. 이는 AI 리터러시 교육에서 AI 사용법 습득만으로는 부족하며, 그 내부 작동 방식과 윤리적 함의까지 깊이 이해하는 것이 중요함을 시사함.
(2) 교육 현장 또는 AI 설계에 주는 시사점 1
이 설문 도구는 교육자들이 AI 교육과정을 설계하거나 개선할 때 강력한 진단 도구로 기능함. 강의 시작 전 학생들의 AI 지식 수준을 파악하여 특정 지식 격차(예: LLM 메커니즘, 데이터 중심 개선의 중요성)를 해소하기 위한 맞춤형 교육 내용을 편성할 수 있음. 특히 정보기술 전공 학생들에게는 단순한 AI 사용자 경험에 그치지 않고, AI 시스템의 아키텍처 원리에 대한 깊은 이해를 제공하는 교육과정의 필요성을 강조함. 교육은 기초 개념과 윤리적 측면뿐 아니라, ‘어떻게 작동하는가’와 ‘어떻게 최적화하는가’에 중점을 두어야 함.
(3) 시사점 2
AI 기술의 급변하는 속도를 고려할 때, AI 리터러시 교육과정은 지속적인 재검토와 업데이트가 필수적임. 이 설문 도구는 주기적인 지식 변화를 추적하고, 새로운 기술 개념(예: 새로운 생성형 AI 모델, 윤리적 쟁점)을 반영하여 문항을 수정하거나 추가하는 데 활용될 수 있음. K-12 교육 단계에서부터 생성형 AI의 사용이 증가함에 따라, 대학에 입학하는 학생들의 AI 지식 수준은 계속해서 변화할 것임. 따라서 교육기관은 이러한 변화를 선제적으로 파악하고 교육 내용을 유연하게 조정하는 역량을 갖춰야 함.
5. 리뷰어의 ADD(+) One: 생각 더하기
(1) 이 논문에서 가장 주목할 지점
이 연구의 가장 주목할 지점은 AI 리터러시 평가가 ‘자기보고식’ 태도나 인식 측정에 머물지 않고 ‘객관적인 사실 지식’ 측정으로 전환될 수 있음을 구체적인 설문 도구로 보여줌에 있음. 기존의 많은 AI 리터러시 연구는 학습자의 주관적 경험이나 인식에 의존하여 실제 지식 수준을 정확히 파악하기 어려웠음. 이 설문은 다수의 검증된 문항을 통합하여 학생들의 AI 및 생성형 AI에 대한 구체적인 오개념(예: LLM이 웹을 요약한다고 오해하는 것)을 식별해냄. 이는 교육자들이 막연한 ‘AI 리터러시 부족’이 아니라, ‘무엇을, 왜 모르는지’를 정확히 인지하고 그에 맞는 교육 콘텐츠를 설계할 수 있는 실질적인 토대를 제공함. 더 나아가 AI 리터러시 교육의 효과를 정량적으로 측정하고, 교육과정의 개선 방향을 명확하게 제시하는 출발점이 됨.
(2) 논문이 명시하지 않은 더 넓은 의미
이 연구는 AI 지식 평가 도구 제시에 그치지 않고, AI 시대의 교육 철학적 전환점을 시사함. AI가 일상 깊숙이 파고드는 상황에서, 교육은 더 이상 ‘도구 사용법’을 가르치는 데 그칠 수 없음. AI의 ‘블랙박스’ 내부를 이해하고, 그 작동 원리에서 파생되는 윤리적, 사회적 함의를 비판적으로 사유할 수 있는 능력, 즉 ‘책임 있는 AI 시민성’을 함양하는 것이 교육의 핵심 과제가 됨. 이 설문은 학생들의 피상적 이해와 심층적 이해 사이의 간극을 드러내어, AI 리터러시가 단순한 기술 활용 능력에 그치지 않고 메타인지적 성찰과 비판적 사고를 요구하는 복합적인 역량임을 강조함. 정책적 측면에서는 AI 교육 표준을 수립하고 국가 단위의 학습 성취도를 평가하는 데 필요한 객관적 지표 개발의 중요성을 환기함.
(3) 이 연구를 발전시킬 구체적 아이디어
이 연구의 설문 도구를 더욱 고도화하고 확장할 방안이 있음.
- 오개념 심층 분석 및 교육 콘텐츠 연계: 오답률이 특히 높은 문항(예: LLM 메커니즘, RAG의 이점)에 대해 학생들의 오답 선택 이유를 질적으로 탐색하는 후속 연구가 필요함. 예를 들어, 소규모 인터뷰나 심층 토론을 통해 오개념의 근본 원인을 파악하고, 이를 직접적으로 해소할 수 있는 마이크로 러닝 콘텐츠나 인터랙티브 시뮬레이션 개발로 이어지는 것이 바람직함.
- 전공별 맞춤형 모듈 개발: 현재 설문이 IT 전공 학생에게 초점을 맞춤을 고려, 인문학, 예술, 경영 등 다양한 비기술 전공 학생들의 AI 리터러시 특성을 반영한 모듈을 개발할 수 있음. 각 전공의 맥락에서 AI가 어떻게 활용되고 어떤 윤리적 문제가 발생하는지 구체적인 사례를 중심으로 문항을 구성하여, 범용 설문과 전공 특화 모듈이 결합된 하이브리드 평가 시스템을 구축함.
- AI 기반 설문 자동 업데이트 시스템: AI 기술의 빠른 변화 속도를 고려, 설문 문항의 유효성을 지속적으로 유지하기 위한 자동화된 시스템을 제안함. 예를 들어, 최신 AI 관련 뉴스와 학술 문헌을 챗봇 에이전트가 분석하여 새로운 핵심 개념이나 윤리적 쟁점을 식별하고, 기존 문항을 업데이트하거나 새로운 문항 초안을 생성하는 AI 기반 보조 도구를 개발하는 방안이 있음.
6. 추가 탐구 질문
(1) 논문의 미탐구 영역에서 비롯된 심층 질문?
학생들의 AI 관련 오개념이 단순히 지식 부족에서 기인하는 것인가, 아니면 대중 매체나 소셜 미디어에서 접하는 AI에 대한 과장되거나 편향된 정보의 영향 때문인가? 이 두 가지 요인을 구분하여 오개념의 근본 원인을 진단할 수 있는 방법은 무엇인가?
(2) 다른 맥락에 적용했을 때 달라지는 지점에 대한 질문?
이 설문 도구를 비기술 전공 학생이나 K-12 학생들에게 적용할 경우, 문항의 난이도, 내용 범위, 평가 방식(예: 실습 기반 문항 포함 여부)을 어떻게 조정해야 가장 효과적인 AI 리터러시 진단이 가능한가? 전공 및 연령대가 다른 그룹 간의 AI 리터러시 특성과 격차는 어떻게 나타나는가?
(3) 기술적·윤리적 측면에서 파생되는 질문?
빠르게 발전하는 생성형 AI 기술의 특성을 고려할 때, 이 설문 도구의 문항 유효성을 얼마나 자주 검증하고 업데이트해야 하는가? 설문 문항 업데이트 과정 자체를 AI(예: LLM 기반 자동 문항 생성 및 검증)를 활용하여 자동화하거나 보조할 수 있는 기술적, 윤리적 방안은 무엇인가?
출처
- Johri, A., Brozina, C., & Bagale, A. (n.d.). A survey instrument to assess students’ AI and generative AI knowledge. IEEE.