김진관(닷커넥터)

배움, 나눔, 성장을 추구하는 연결주의자

Categories

Tag Cloud

2022개정교육과정 AGI AI AIEd블룸분류법 AILiteracy AI글쓰기 AI기만 AI디지털기반교육혁신 AI리터러시 AI멘티 AI보조학습 AI성숙도모델 AI수업 AI시대 AI유도인지위축 AI윤리 AI음악 AI죄책감 AI지원 AI채점 AI챗봇 AI코딩 AI코딩에이전트 AI튜터 AI편향 AI프레임워크 AI한계 AI협업 Anthropic BrainRot CBCI CCT CHC이론 CSL ChatGPT DOK EFL FeedOMeter Felten GeminiAPI GenAI GenSRL HCI HEAI Hallucination IB Instructor-in-the-Loop K-12교육 LLM LSTM LearnYourWay OECD교수나침반 PLC RIF ResNet RoseFrame SDG4 SDT SRL Suno Taxonomy TriDENT T자형인재 UDL UX디자인 VerbalizedSampling Webb XAI cs교육 gamedev gesture-recognition human-in-the-loop mediapipe pedagogy_in_the_loop 개발자경험 개별화수업 개인화교육 게임 경제학모델 공동창작 공부법 과정중심평가 교과서 교사 교사연수 교사커뮤니티 교사효능감 교수법 교실혁명 교육 교육공학 교육변화 교육설계 교육용LLM 교육적취약성 교육정책 교육철학 교육평가 교육프레임워크 교육혁신 교육형평성 구조적다양성 구조적변화 권위 글로벌교육 금전적유인 기만행위 기술트렌드 기울기소실 내재화 논문리뷰 뇌기반학습 뇌신경과학 누적문화진화 대화설계 데이터믿음비대칭성 듀이 디자인교육 디지털교육 디지털기반아날로그수업 디지털도구 디지털리터러시 디지털스트레스 딥러닝 랑시에르 랜드마크 로즈프레임 리더십 마르자노 맞춤형학습 매슬로우 머신러닝 메타인지 모델불일치 모드붕괴 문화 문화적거리 미래교육 민주주의 바람직한어려움 바이브코딩 벤치마크 보편적학습설계 부스운영 분산된 창의성 블룸 분류법 블룸분류법 블룸분류체계 블룸택소노미 비판적AI리터러시 비판적이론 사고도구 사회적학습 상호작용주의 생성형 AI 생성형AI 선도교사 설명적변화 성찰 세컨드브레인 소크라테스식대화법 쇤 수업철학 숨은노동 스칸디나비아디자인 스캐폴딩 스크린리더 스토리리빙 시행착오 신경망 실용주의 심리적안전감 언어학습 에듀테크 연결주의 영어교육 외삽 웰빙 웹개발 웹앱 위르겐슈미트후버 윕앱 유사자동화 은닉마르코프모델 음악교육 의미론적지식 이미지생성 이중과정이론 이중부호화이론 이중처리이론 이해의환상 인간-AI복합편향 인간-AI상호작용 인간-AI협업 인간AI상호작용 인간중심AI 인공지능 인과성의환상 인과추론 인사이트 인지과학 인지발달 인지복잡성 인지부하 인지부하이론 인지연속체이론 인지이론 인지적정렬 인지증강 인지편향 자기결정성이론 자기조절학습 자기효능감 잔차연결 장기기억 적응형학습 전문가시스템 전문적학습공동체 전인교육 전형성편향 접근성 정책패러독스 정치교육 제미나이 조직문화 즉흥연주 격차 증명사진 지식 지식격차 지식의깊이 지적자율성 질적연구 집단 천재성 참여형AI 창의성 책리뷰 철학 총괄평가 코딩에이전트 타임머신 토이프로젝트 파울루프레이리 페르소나 포용적디자인 프로그래밍교육 프로테제효과 프로토타이핑 프롬프트 프롬프트엔지니어링 피드백 피드백리터러시 하이브리드시스템 학교 학교문화 학문적엄격성 학습 학습과학 학습동기 학습문화 학습분석 학습전략 한나아렌트 해방적AI교육학 혁신 협업프로젝트 환각

4 분 소요

hits

인과관계를 진정으로 이해하는 기계 VS 진정한 이해 없이 인과적 언어를 단순히 재현하는 기계


1. 연구의 목적

본 연구는 대규모 언어 모델(LLM)이 인간의 핵심 인지 편향 중 하나인 인과성의 환상(illusion of causality)을 보이는지 여부를 검증하는 것을 목적으로 합니다. 인과성의 환상이란, 실제로는 두 변수 사이에 아무런 증거가 없음에도 불구하고 인과 관계가 존재한다고 믿게 되는 인지적 오류를 말합니다.

이러한 편향은 “내가 이 약을 먹고, 마침 기분이 나아졌다. 따라서 이 약은 효과가 있다” 와 같이 일상적인 미신부터 사회적 편견, 고정관념 형성, 가짜뉴스 및 사이비 과학 확산에 이르기까지 광범위한 사회 문제의 근간이 됩니다. 연구진은 LLM이 이러한 인간의 편향을 그대로 학습하고 증폭시킬 수 있다는 우려 속에서, 특히 정확한 인과 추론이 필수적인 의료와 같은 민감한 영역에서 LLM이 편향된 판단을 내리는지 확인하고자 했습니다.


🔬 2. 연구의 방법

연구진은 인과성 환상을 측정하기 위해 실험 심리학에서 사용되는 고전적인 패러다임인 상관판단 과제(contingency judgment task)를 LLM에 맞게 조정하여 적용했습니다.

  • 데이터셋 구축: 1,000개의 영(0) 상관(null-contingency) 시나리오를 구축했습니다. 영 상관이란 원인(예: 약 복용)의 존재 여부와 결과(예: 회복)의 발생 확률이 완전히 동일하여, 둘 사이에 아무런 인과 관계가 없는, 즉 증거가 없는 상황을 의미합니다. (예: 약을 먹은 환자의 회복률 40%, 약을 먹지 않은 환자의 회복률 40%).
  • 변수 유형: 편향을 정교하게 측정하기 위해 4가지 유형의 변수 쌍을 사용했습니다:
    1. 가상의 질병/약 이름 (Glimber 약)
    2. 불특정 변수 (질병 X)
    3. 대체의학 (침술)
    4. 과학적으로 검증된 약 (파라세타몰)
  • 실험 절차: 3개의 최신 LLM(GPT-4o-Mini, Claude-3.5-Sonnet, Gemini-1.5-Pro)을 대상으로 실험을 진행했습니다. LLM에게 의사 또는 의학 연구자 역할을 부여하는 프롬프트를 제공하고, 각 시나리오(20~100개의 환자 사례 리스트)를 제시했습니다.
  • 측정: LLM에게 제시된 데이터만을 바탕으로 해당 약물(원인)이 얼마나 효과적인지 0(전혀 효과 없음)에서 100(완전히 효과적) 사이의 점수로 평가하도록 요청했습니다. 이 과제에서 정답은 0이며, 0점보다 높은 점수를 부여할 경우 인과성의 환상 편향을 보인 것으로 간주합니다.


📊 3. 주요 발견

실험 결과, 테스트된 모든 LLM이 인과성의 환상에 강력하게 취약하다는 것이 밝혀졌습니다.

  • (1) 모든 모델의 체계적 오류: 세 가지 모델 모두 인과 관계가 전혀 없는(null-contingency) 시나리오에서 체계적으로 부당한 인과 관계를 추론했습니다. 모든 모델의 평균 점수는 정답인 0보다 통계적으로 유의미하게 높았습니다.
  • (2) 모델별 편향 정도
    • GPT-4o-Mini가 평균 75.74점으로 가장 강력한 인과성 환상을 보였습니다.
    • Claude-3.5-Sonnet은 평균 40.53점을 기록했습니다.
    • Gemini-1.5-Pro는 평균 33.07점으로 편향이 가장 낮았으나, 여전히 정답(0)과는 거리가 멀었습니다.
  • 일관성 없는 추론: 모델들은 서로 다른 기준으로 편향된 판단을 내렸습니다. 즉, 잘못된 답을 도출하는 내부 기준이 모델마다 전부 달랐습니다.
  • 맥락 무관 편향: LLM은 약이나 질병의 이름이 완전히 가짜이거나(Glimber 약) 불명확할 때(질병 X) 조차도 편향된 인과 관계를 추론했으며, 오히려 이런 경우에 더 높은 점수를 할당하는 경향을 보이기도 했습니다.


💡 4. 결론 및 시사점

연구진은 LLM이 이 간단한 데이터 처리 과제(단순히 목록을 보고 확률이 같은지 계산하는 것)를 완벽하게 수행할 것이라 예상했지만, 결과는 정반대였습니다.

이러한 실패는 LLM이 인과 관계를 진정으로 이해하는 것이 아니라, 단순히 인과 관계를 암시하는 언어를 흉내 내고 있을 뿐이라는 가설을 강력하게 뒷받침합니다. 즉, LLM은 데이터에 기반한 규범적 원칙(normative principle)을 내재화하지 못했습니다.

이는 의료, 과학, 법률, 교육 등 정확한 인과 추론이 필수적인 전문 분야에서 LLM을 사용하는 것에 대해 심각한 우려를 제기합니다. 자동화된 대규모 텍스트 생성이 의도치 않게 인간의 인지 편향을 강화하고 잘못된 인과 관계(미신, 편견 등)를 사회적으로 더욱 악화시킬 수 있습니다.


✨ 5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 연구의 탁월한 점 (강점)

  • AI의 환각(Hallucination)보다 더 교활하고 근본적인 문제인 추론의 오류(Reasoning Error)를 정조준합니다. LLM은 제시된 데이터가 완벽하게 주어져도 그 데이터로부터 잘못된 결론을 도출할 수 있음을 보여줍니다.
  • 단순히 AI에게 미신에 대해 묻는 것이 아니라, 고전적인 인지 과학 실험 패러다임을 적용하여 AI를 피험자로 삼았습니다. 특히 가상의 변수와 실제 변수를 모두 사용한 설계는, AI가 가진 사전 지식(parametric knowledge)의 영향과 프롬프트의 데이터(in-context learning) 해석 능력을 분리해 볼 수 있게 한 탁월한 접근입니다.
  • 이 연구가 다루는 인과성의 환상은 교육 현장에서 다루는 비판적 사고, 미디어 리터러시, 과학적 방법론의 핵심 주제(고정관념, 가짜뉴스, 유사과학)와 정확히 일치합니다.

(2) 교육 현장을 위한 추가 제언

  • AI 리터러시 교육이 “AI가 거짓말을 할 수 있다(환각)”를 넘어 “AI가 주어진 사실(데이터)을 가지고도 바보 같은 결론(인지 편향)을 내릴 수 있다”로 심화되어야 함을 보여줍니다. 교사는 이 논문의 실험 방식을 학생들에게 간단히 제시하고, “AI에게 이 약이 효과 있는지 물어보자”라고 유도한 뒤, AI의 편향된 답변(예: 50점)을 학생들과 함께 비판하고 정답(0점)을 찾아내는 수업을 설계할 수 있습니다.
  • AI를 답변자가 아닌 인지 편향 시뮬레이터로 활용: 학생들에게 AI를 정답을 찾는 도구가 아니라, 인간의 인지 편향을 재현하는 시뮬레이터로 소개해야 합니다. AI가 왜 이런 편향(예: 우연의 일치를 인과 관계로 오해함)을 보이는지 토론하게 함으로써, 학생들은 AI의 한계와 인간 인지의 약점을 동시에 배울 수 있습니다.
  • 권위자 페르소나 벗기기: 본 연구는 LLM에게 의사나 연구자의 페르소나를 부여했습니다. 교육 현장에서는 AI가 설득력 있는 권위자의 목소리로 말할 때 그 내용에 대한 신뢰가 급증하는 경향이 있습니다. 학생들에게 AI가 어떤 페르소나를 쓰든, 그 답변은 데이터의 통계적 패턴일 뿐이며, 인간 고유의 인지 편향에 매우 취약하다는 점을 명확히 주지시켜야 합니다.


❓ 6. 추가 탐구 질문

  • 연구진은 한계점으로 CoT 프롬프트를 제안했습니다. 만약 “1단계: 약을 먹고 회복한 사람 수 계산. 2단계: 약을 안 먹고 회복한 사람 수 계산. 3단계: 두 비율 비교…“와 같은 CoT 프롬프트를 제공한다면, LLM이 이 규범적 추론을 따라 인과성 환상을 극복할 수 있을까요? 아니면 여전히 언어적 편향이 계산적 추론을 압도할까요?
  • 인간은 초반에 제시된 정보에 강한 영향을 받습니다(초두 효과). 만약 LLM에게 제시된 환자 목록 초반에 약 복용 후 회복 사례를 집중적으로 배치한다면, LLM의 인과성 환상 점수가 더 높아질까요? 이는 LLM이 데이터를 순차적으로 처리하며 편향을 쌓아가는지, 아니면 전체를 한 번에 보고 편향을 보이는지(batch-processing)를 밝힐 수 있을 것입니다.
  • 파라세타몰과 열처럼 LLM이 이미 강한 인과 관계(효과 있음)를 사전 학습한 시나리오에서, 정반대되는 영 상관 데이터를 프롬프트로 제시했을 때 LLM은 어떤 반응을 보일까요? 사전 지식과 제시된 데이터가 충돌할 때, LLM은 무엇을 우선시할까요?

_출처: Carro, M. V., Mester, D. A., Selasco, F. G., Marraffini, G. F. G., Leiva, M. A., Simari, G. I., & Martinez, M. V. (2025). Do large language models show biases in causal learning? Insights from contingency judgment. arXiv. https://arxiv.org/abs/2510.13985v1

참고