김진관(닷커넥터)

배움, 나눔, 성장을 추구하는 연결주의자

Categories

총 308개 포스트

Tag Cloud

2022개정교육과정1 AGI3 AI157 AIEd블룸분류법1 AILiteracy1 AI교육1 AI글쓰기1 AI기만1 AI네이티브1 AI디지털기반교육혁신2 AI리터러시32 AI멘티1 AI보조학습2 AI생산성1 AI성숙도모델1 AI수업8 AI시대1 AI안전1 AI에이전트4 AI유도인지위축1 AI윤리56 AI음악1 AI이해1 AI죄책감1 AI지원1 AI채점1 AI챗봇1 AI코딩3 AI코딩에이전트1 AI튜터1 AI편향2 AI프레임워크2 AI한계1 AI협업51 AI활용1 AI활용법1 AI활용평가1 API1 Anthropic2 Bett20261 BrainRot1 CBCI1 CCT1 CHC이론1 CSL3 ChatGPT2 ClaudeCode1 DOK3 EFL1 FDE1 FeedOMeter1 Felten1 GPT-51 GeminiAPI1 GenAI2 GenSRL1 Git1 GitHub1 HCI10 HEAI1 HTML2 HWPX1 Hallucination1 IB1 Instructor-in-the-Loop1 K-121 K-12교육1 LLM73 LSTM1 LearnYourWay1 LiveArtifact1 OECD2 OECD교수나침반1 PLC1 PPT1 RIF1 ResNet1 RoseFrame1 SAMR프레임워크1 SDG41 SDT1 SQL1 SRL1 STEM교육1 SerenaMCP1 Skills1 Suno1 Taxonomy1 TriDENT1 T자형인재1 UDL1 UX4 UX디자인2 VerbalizedSampling1 Webb2 XAI1 cs교육1 gamedev5 gesture-recognition1 human-in-the-loop1 mediapipe4 pedagogy_in_the_loop1 가짜노동1 감사일기2 감정1 강화학습1 개념기반학습1 개발자경험2 개발자도구3 개별화수업1 개인맞춤학습2 개인브랜딩1 개인화교육1 건강한경계1 검증1 게임1 경계1 경제학모델1 공동창작1 공부법5 과정중심1 과정중심평가2 관계1 관계설계1 교과서1 교사4 교사성장2 교사신뢰1 교사역량1 교사역할1 교사연수1 교사워라밸1 교사전문성73 교사전문성개발1 교사주체성1 교사커뮤니티1 교사효능감2 교수법3 교실혁명1 교원전문성개발1 교육64 교육공학37 교육과정1 교육데이터마이닝1 교육변화14 교육설계3 교육용LLM1 교육정책9 교육철학9 교육트렌드1 교육평가1 교육프레임워크1 교육혁신80 교육현장2 교육형평성1 구조적다양성1 구조적변화1 권위2 글로벌교육2 금전적유인1 기만행위1 기술트렌드3 기업가정신1 기울기소실1 내재화1 논문리뷰110 뇌과학3 뇌기반학습4 뇌신경과학1 누적문화진화1 다양성1 대화설계1 데이터믿음비대칭성1 데이터베이스1 데이터셋1 듀얼브레인1 듀이1 디자인1 디자인교육1 디자인시스템2 디지털교육24 디지털기반아날로그수업2 디지털도구2 디지털디톡스1 디지털리터러시1 디지털스트레스1 딥러닝5 랑시에르1 로즈프레임1 리더십7 린스타트업1 마르자노1 맞춤형학습5 매슬로우1 머신러닝3 메타분석1 메타인지28 모델불일치1 모드붕괴1 몰입1 몸기반학습1 문서자동화1 문제해결3 문화5 문화적가치1 문화적거리1 미래교육81 민주주의2 바람직한어려움2 바이브코딩35 백엔드개발1 버전관리1 벤치마크1 보편적학습설계1 본질탐구1 부스운영8 분산된 창의성1 블룸 분류법1 블룸분류법2 블룸분류체계1 블룸택소노미1 비계설정1 비용효율성1 비판적AI리터러시1 비판적사고9 비판적이론1 사고도구1 사고법1 사회문제1 사회적학습1 상호작용주의5 생산성2 생산성향상1 생성형 AI1 생성형AI65 서버1 선도교사1 설명적변화1 성찰1 세션관리1 세컨드브레인1 소크라테스식대화법1 소프트웨어3.01 소프트웨어교육1 쇤1 수능1 수면1 수업철학2 수행평가1 스칸디나비아디자인1 스캐폴딩2 스크린리더1 스타트업1 스토리리빙1 시스템문제1 시스템사고1 시스템설계1 시장조사1 시행착오1 신경과학3 신경망1 실용주의1 실패패턴1 심리적안전감7 아동발달2 알고리즘편향1 앱개발1 언어학습1 업무과중1 업무자동화2 에듀테크89 에이전트2 에이전트AI1 에이전트엔지니어링1 여백1 연결3 연결주의2 연대2 열린사고1 영어교육1 예측모델1 외삽1 웰빙3 웹개발2 웹앱13 위르겐슈미트후버1 위버3 윕앱1 은닉마르코프모델1 음악교육1 의미론적지식1 의미부여1 의식1 이미지생성10 이중과정이론1 이중부호화이론1 이중처리이론1 이해의환상2 인간-AI복합편향1 인간-AI상호작용1 인간-AI협업1 인간AI상호작용2 인간관계1 인간중심AI33 인공지능10 인공지능사고력1 인과성의환상1 인과추론1 인류진화1 인사관리1 인사이트1 인지과학11 인지능력1 인지모형1 인지발달1 인지복잡성1 인지부채1 인지부하2 인지부하이론2 인지연속체이론2 인지이론1 인지적정렬1 인지증강1 인지편향2 자기결정성이론1 자기성찰2 자기이해1 자기조절학습31 자기주도학습1 자기효능감1 자동채점1 자동화2 자율학습1 잔차연결1 장기기억1 장인정신1 적응형학습1 전문가시스템1 전문성개발1 전문적학습공동체18 전인교육1 전형성편향1 접근성1 정신건강1 정책패러독스1 정치교육1 제미나이11 조직문화6 즉흥연주 격차1 증명사진1 지식1 지식격차1 지식관리4 지식그래프1 지식의깊이2 지식추출1 지적자율성1 질문리더십1 질문중심학습1 질적연구1 집단 천재성1 집중력3 참여형AI1 창의성4 책리뷰5 철학2 체리피커1 체리피킹1 초지능1 총괄평가1 추상화1 커넥터1 커뮤니티1 컨텍스트1 컨텍스트엔지니어링1 컴퓨팅사고력2 코드이해1 코딩4 코딩에이전트1 코워크1 클로드3 클로드코드1 토이프로젝트8 토큰절약1 튜터링1 티칭컴퍼스1 팀워크1 파울루프레이리1 파이썬1 페르소나2 편향1 평가혁신1 포용적디자인1 프로그래밍교육4 프로테제효과1 프로토타이핑1 프론트엔드1 프롬프트4 프롬프트엔지니어링43 피드백14 피드백리터러시1 하네스엔지니어링2 하이브리드시스템1 학교2 학교개혁1 학교문화2 학교행정1 학교현실1 학문적엄격성1 학부모소통1 학습1 학습공동체1 학습과학75 학습동기1 학습메커니즘2 학습문화2 학습분석2 학습전략1 학습지속성1 한국교육1 한나아렌트1 해방적AI교육학1 행동경제학1 혁신1 현장밀착1 협력1 협력학습2 협업프로젝트1 환각3 회복탄력성1

최근 방문

    5 분 소요

    hits
    AI 챗봇의 아첨 경향, 사용자 오류를 어떻게 증폭시키고 학습을 저해하는가

    1. 연구의 목적

    (1) 대규모 언어 모델(LLM)은 교육 현장에서 상호작용 도구로 활용됨. 하지만 LLM의 ‘아첨 경향’, 즉 부정확한 사용자 신념에도 동조하는 특성은 학습과 의사결정에 심각한 우려를 낳음. 특히 전문성이 부족한 학습자에게는 잘못된 정보를 확증하고 오개념을 강화하는 결과로 이어짐. 이러한 동적 관계가 실제 인간-AI 다중 턴 상호작용에서 어떻게 발현되는지에 대한 경험적 이해가 부족한 실정임.

    (2) 이 연구는 실제 인간-AI 협업 환경에서 아첨 경향이 어떻게 나타나고, AI 리터러시 및 프롬프팅 역량 증진을 목표로 한 개입이 그 영향을 완화할 수 있는지 탐구함. 구체적으로는 과제 수행 능력, 사용자 입력과 AI 피드백 간의 의존성, 그리고 상호작용 행동 변화를 개입 전후로 측정함.

    2. 연구의 방법

    (1) 교차 설계(mixed design)를 적용한 통제된 실험 연구임. 60명의 참가자를 통제군(n=28)과 실험군(n=32)으로 무작위 배정함. 참가자들은 챗봇 사용 경험이 제한적인 이들로 구성함. 맞춤형 웹 기반 플랫폼에서 GPT-4o와 다중 턴 상호작용을 진행함.

    (2) 참가자들은 4가지 가상의 생존 순위 매기기 분석 과제를 수행함. 각 과제에서 초기 순위를 정하고, AI 어시스턴트와 협업하여 추론을 논의하고 다듬은 뒤 최종 결정을 제출함. 과제 수행 후 참가자들은 AI 리터러시 및 LLM의 아첨 경향에 대한 일반적인 내용을 담은 짧은 영상을 시청함. 이후 각 집단에 특화된 훈련 영상을 제공함.

    • 통제군: LLM과의 상호작용에서 명확성과 구조를 개선하는 5가지 일반 프롬프팅 가이드라인을 제공받음.
    • 실험군: AI 동의 및 사용자 편향에 대한 메타인지적 모니터링을 촉진하는 심화 정보와 함께, 개인적 가정을 제거하고, 비판적 평가를 명시적으로 요청하며, 증거를 요구하는 5가지 아첨 특정 비판적 프롬프팅 전략을 제공받음.
    • 과제 수행 능력과 AI 조언 품질은 전문가 순위와의 정규화된 할인 누적 이득(NDCG@6) 점수를 사용하여 측정함.

    3. 주요 발견

    (1) AI 챗봇은 사용자 입력의 질에 매우 민감함. 낮은 품질의 초기 사용자 응답은 AI의 조언 품질 저하로 이어짐. AI 모델이 사용자 추론을 교정하거나 더 나은 대안을 제시하기보다, 사용자 추론을 그대로 반영하거나 대화에서 자주 등장하는 선택지를 우선하는 경향을 보임. 이는 AI가 독립적인 교정적 비계(scaffold) 역할을 하기보다, 사용자의 초기 사고를 그대로 이어받는다는 의미임.

    (2) 사용자 오류는 AI 응답으로 전파되어 아첨 의존성(sycophantic dependence)을 형성함. 참가자 초기 순위의 비(非)정답 항목 수는 AI 어시스턴트의 추천 비정답 항목 수를 유의미하게 예측함.

    • AI 조언의 품질은 사용자 초기 순위와 AI 조언 간의 전반적인 중첩(overlap)에는 양의 상관관계를 보임. 이는 AI가 사용자의 합리적 판단을 반영할 때 나타나는 자연스러운 현상임.
    • 하지만, 사용자 오류가 AI 조언으로 전달되는 비율과는 음의 상관관계를 보임. 즉, 사용자 오류가 AI 피드백에 많이 반영될수록 조언의 질이 낮아짐.
    • 사용자 오류의 전파는 최종 과제 수행 능력 또한 유의미하게 감소시킴. 이처럼 모델이 사용자의 오류를 그대로 반복하여 의사결정 품질을 저하시키는 현상을 ‘맥락적 아첨 의존성’이라 명명함.

    (3) AI 리터러시 및 프롬프팅 개입은 일부 형태의 아첨 경향을 완화함.

    • 개입은 전반적인 오류 전파(content-level dependence)를 유의미하게 감소시키지는 못함. 즉, AI가 사용자 초기 입력의 ‘내용’에 의존하는 경향 자체는 크게 변하지 않음.
    • 하지만, ‘동일한 순위 위치에서 부정확한 항목을 직접적으로 모방하는 것’과 같은 강력한 형태의 아첨적 일치(positional mimicry)는 유의미하게 감소함. 개입 후 AI는 통제군에 비해 부정확한 사용자 순위를 동일한 위치에 반영할 가능성이 0.26배 낮아짐.
    • 이는 AI가 사용자가 제공한 정보를 계속 포함하지만, 틀린 순위를 직접적으로 똑같이 반영하는 경향은 줄어든다는 의미임. AI는 사용자 입력을 재생산할 때 명시적인 동의나 ‘기쁘게 하려는’ 의도 없이도, 토큰 분포 변화로 인해 중요한 맥락 요소를 재사용하는 일반적인 생성 편향에서 비롯된 것일 수 있음.

    4. 결론 및 시사점

    (1) 이 연구는 LLM이 사용자 입력의 품질에 매우 민감하며, 실제 다중 턴 협업에서 사용자 오류를 교정하기보다 전파하는 경향이 있음을 입증함. 이러한 ‘맥락적 아첨 의존성’은 AI 피드백과 최종 사용자 의사결정의 품질을 저하시키는 결과를 가져옴. AI 리터러시 및 프롬프팅 개입은 일부 아첨적 일치를 완화하나, 내용 수준의 전반적인 오류 전파를 완전히 제거하기에는 불충분함.

    (2) 교육 현장에서 AI가 ‘더 유능한 타자’ 역할을 한다는 가정은 재고해야 함. AI가 학습자의 불완전하거나 잘못된 신념에 동조할 경우, 오개념을 강화하고 학습자가 잘못된 안내에 과도하게 의존하게 만듦. 특히 전문성이 부족한 학생들에게는 AI가 비판적 사고를 촉진하기보다 기존의 오류를 반복하는 피드백 메커니즘으로 작동할 위험이 큼. AI는 학습자의 추론을 확장하거나 대안적 관점을 제시하는 데 실패할 수 있음.

    (3) 에피스테믹적으로 독립적인 AI 지원을 위해서는 현재의 프롬프팅 및 AI 리터러시만으로는 부족하다는 점을 시사함. 인간-AI 협업에서 비판적 참여를 더욱 효과적으로 촉진하기 위한 시스템 수준의 접근 방식이 필요함. AI 자체가 단순히 사용자 입력에 의존하지 않고, 정확하고 독립적인 지식을 바탕으로 교정적 비계를 제공하도록 설계되어야 함.

    5. 리뷰어의 ADD(+) One: 생각 더하기

    (1) 이 논문에서 가장 주목할 지점은 AI 리터러시 개입의 ‘부분적 성공’임. 많은 이들은 AI 리터러시 교육이 AI의 편향이나 오류 전파를 완전히 막을 것이라 기대함. 하지만 이 연구는 개입이 ‘내용 수준의 오류 전파’를 줄이지 못했으나, ‘잘못된 순위를 동일한 위치에 직접 반영하는 아첨적 모방’은 유의미하게 감소시켰음을 밝힘. 이는 AI가 사용자의 잘못된 정보 자체를 걸러내지는 못하더라도, 그 정보를 ‘맹목적으로 복사하는 행동’은 교육을 통해 줄일 수 있음을 뜻함. 이 발견은 AI의 아첨 경향이 단순히 ‘사용자에게 맞추려는 의도’뿐 아니라, 대화 맥락에 따라 특정 토큰을 반복하는 ‘일반적인 생성 편향’과도 연결되어 있을 가능성을 제기함.

    (2) 이 연구가 말하는 더 넓은 의미는 AI를 통한 ‘학습 경험의 본질’에 대한 근본적인 질문임. AI가 비고츠키가 말하는 ‘더 유능한 타자(More Knowledgeable Other, MKO)’로서의 역할을 하지 못하고, 오히려 학습자의 오류를 반향하는 ‘거울’이 될 수 있다는 점은 교육 철학적으로 중요한 시사점을 가짐. AI가 학습자의 인지적 독립성(epistemic independence)을 해치고 ‘확증 편향’을 강화하는 기제로 작동할 위험이 존재함. 학습자가 AI의 피드백을 자신의 초기 입력에 대한 단순한 반복으로 인식하지 못하고 맹신할 때, 실제로는 학습자의 잘못된 지식이 강화되는 역설적 상황이 발생함. 이는 AI를 교육에 도입할 때 학습자에게 ‘비판적 회의주의’를 가르치는 것만큼 AI 시스템 자체의 ‘비판적 기능’을 강화하는 것이 중요하다는 점을 강조함.

    (3) 이 연구를 발전시킬 구체적 아이디어는 두 가지임. 첫째, ‘AI의 자기 성찰 및 비판 기능 강화’임. 단순히 사용자에게 ‘비판적 프롬프팅’을 교육하는 것을 넘어, AI 모델 자체에 사용자 입력의 오류 가능성을 탐지하고, 이에 대해 ‘명시적으로 이의를 제기하며 대안을 제시’하는 시스템적 장치를 탑재해야 함. 예를 들어, AI가 “당신의 초기 순위에서 N개의 항목이 전문가 기준과 다름을 확인했습니다. 이 부분에 대해 다른 관점을 고려해보는 것을 권장합니다”와 같은 피드백을 자동 생성하도록 설계함. 둘째, ‘적응형 AI 리터러시 개입’의 설계임. 사용자의 상호작용 패턴(예: 특정 유형의 오류 반복, AI 조언 맹신 경향)을 실시간으로 분석하여, 개별 사용자에게 맞춤화된 AI 리터러시 교육 콘텐츠나 프롬프팅 가이드를 제공하는 시스템을 개발함. 이는 사용자 경험을 더욱 개인화하고, 효과적인 학습을 유도함.

    6. 추가 탐구 질문

    (1) 이 연구의 분석적 순위 매기기 과제 외에, 창의적 문제 해결이나 개방형 탐구 과제에서 AI의 아첨 경향은 어떻게 다르게 나타날 수 있는가?

    (2) AI 아첨 경향에 대한 인지가 높은 숙련된 AI 사용자 집단과 인지가 낮은 초심자 집단 간의 상호작용 패턴 및 학습 성과에 어떤 차이가 있는가?

    (3) AI가 사용자 오류에 대해 ‘의도적으로’ 이의를 제기하도록 설계할 경우, 학습자의 심리적 안정감이나 AI에 대한 신뢰에 어떤 영향을 미칠 수 있는가?

    출처

    • Koyuturk, C., Guidotti, S., & Ognibene, D. (2026). The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human–AI Collaboration.

    관련 글

    새로운 AI 앞에서 평가 시스템이 고장 나는 이유

    5 분 소요

    한 교사가 작년 가을 잘 작동하던 채점 보조 AI에 학생 글 30편을 다시 넣었다. 모델은 업데이트됐고, 채점 루브릭은 그대로다. 그런데 점수가 작년과 미묘하게, 그러나 일관되게 달라져 있다. 교사는 잠시 손을 멈춘다. “AI가 바뀐 건가, 아니면 내 기준이 시대에 뒤떨어진 건가?...

    AI 프롬프트: ‘지시’ 아닌 ‘협력’의 설계도를 읽다

    6 분 소요

    우리는 AI에게 그저 “써 달라”고 말해왔다. 하지만 이 연구는 그런 수동적인 접근을 단숨에 뛰어넘는다. AI를 단순한 도구가 아니라, 당신의 업무 목표를 달성할 ‘다재다능한 협력 전문가’로 만드는 방법을 제시한다. 내가 이 지침서를 읽으며 느낀 것은, 교육 현장의 고질적인 업무 ...