대규모 언어 모델은 누구의 목소리를 대변하는가? AI의 숨겨진 의견 편향

대규모 언어 모델(LLM)은 이제 우리 교육 현장의 핵심 도구로 자리 잡았다. 학생들은 궁금한 것을 챗봇에 묻고, 교사는 수업 자료를 만들 때 AI의 도움을 받는다. 하지만 묻는다. 이 똑똑한 AI가 쏟아내는 정보와 의견은 과연 ‘중립적’인가? 우리는 그 이면에 어떤 목소리가 숨어 있는지 진지하게 탐색한다.

AI, 중립의 가면을 벗다—대규모 언어 모델의 ‘의견’ 문제

대규모 언어 모델(LLM)은 방대한 데이터를 학습하여 이제는 대화형 에이전트, 글쓰기 도우미 등 광범위한 영역에서 우리 삶 깊숙이 파고든다. 문제는 LLM이 사실 전달에 그치지 않고, 사형제도나 AI의 인류 위협 같은 주관적인 질문에도 ‘의견’을 표명한다는 점이다. 딥마인드의 스패로우(Sparrow)가 사형제도에 반대하고, 앤트로픽(Anthropic) 모델이 AI가 인류에게 실존적 위협이 아니라고 주장하는 사례가 대표적이다.

연구진은 이러한 LLM의 의견이 누구의 것을 반영하는가, 즉 “대규모 언어 모델은 누구의 의견을 반영하는가?”라는 근본적인 질문을 던진다. 이 질문은 LLM의 성공에 중요한 영향을 미친다. 주관적인 질문에는 ‘정답’이 없기 때문에, 모델의 어떠한 답변(심지어 답변 거부까지)도 특정 의견을 내포하며, 이는 사용자 경험과 나아가 사회 전반의 견해 형성에 깊이 관여한다. 기존 연구는 일부 LLM이 특정 맥락에서 좌파적 경향을 보이거나, 인구통계학적 정보를 조건으로 주면 해당 집단의 특성을 모방하는 경향이 있음을 시사한다. 그러나 이러한 관찰은 단편적이었고, LLM의 의견을 인간 의견 스펙트럼에 체계적으로 투영할 정량적 프레임워크가 필요했다.

본질적으로, LLM은 인터넷 사용자, 피드백을 제공한 크라우드워커, 모델 설계자에 이르기까지 다양한 의견을 가진 수많은 인간에 의해 형성된다. 이 다양한 목소리가 어떻게 한데 섞여 AI의 ‘결정된 의견’으로 발현되는지 아는 것은 AI를 사회에 책임감 있게 통합하는 첫걸음이다.

여론조사로 챗GPT 속마음을 들여다보다—연구 방법론과 ‘OpinionQA’

이 연구는 LLM의 의견을 정량적으로 탐구하기 위해 기존 인간 여론조사 도구를 재활용하는 독특한 접근 방식을 취한다. 즉, LLM의 의견 분포를 특징화하기 위해 오랫동안 인간의 의견을 연구하는 데 사용된 공개 여론조사를 활용한다. 연구팀은 퍼블릭 여론조사가 지닌 여러 이점에 주목한다.

연구 주장: 전문가가 선정한 주제, 모호하지 않게 고안된 질문, 다양한 인구통계 그룹의 응답, 그리고 LLM 프롬프트로 쉽게 각색 가능한 다지선다형 형식은 LLM 의견 분석에 이상적인 기반이 된다.

데이터와 근거: 연구진은 이러한 프레임워크를 바탕으로 미국 여론조사기관 퓨 리서치(Pew Research)의 ‘미국 동향 패널(American Trends Panel)’에서 15개 설문조사를 취합하여 OpinionQA 데이터셋을 구축한다. 이 데이터셋은 사생활, 정치, 건강 등 광범위한 주제를 다루는 1,498개의 질문으로 구성된다. 각 질문에는 일반 미국 대중과 60개 세부 인구통계 그룹 (예: 민주당원, 65세 이상)의 실제 인간 응답 분포가 함께 제공된다.

LLM 평가 방식: 총 9개의 LLM(3.5억에서 1,780억 매개변수)을 대상으로 세 가지 평가 축을 설정했다.

평가 축	설명	측정 방법
대표성	LLM의 기본 의견 분포가 일반 대중 또는 특정 그룹과 얼마나 일치하는가?	추가 컨텍스트 없이 표준 QA 프롬프트 사용
조종성	LLM이 적절한 프롬프트로 특정 그룹의 의견 분포를 모방할 수 있는가?	인구통계 정보 (QA, BIO, PORTRAY)를 컨텍스트로 추가하여 프롬프트 조정
일관성	LLM이 특정 그룹에 대한 정렬이 주제에 따라 일관되는가?	미세 분류된 주제별 질문에 대한 의견 일치도 분석

필자의 판단: 퍼블릭 여론조사를 활용한 방법론은 LLM의 ‘의견’을 정량화하고 다양한 인간 집단과 비교하는 데 탁월한 기반을 제공한다. 특히 1-Wasserstein 거리를 사용하여 응답 선택지 간의 서열 구조를 반영한 것은 ‘정답-오답’ 이분법으로는 잡히지 않는 주관적 의견의 미묘한 차이를 포착하려는 시도다. 이는 추상적인 유사도 측정보다 훨씬 현실적인 통찰을 제공한다. 그러나 이러한 방법론이 본질적으로 다지선다형 답변에 의존하므로, LLM의 복잡한 추론 과정이나 개방형 대화에서 나타나는 심층적인 의견을 완전히 담아내지는 못한다는 한계는 명확하다.

논쟁적 주제(민주당 대 공화당, 성·인종 차별, 이민)에서 모델별 하위그룹 대표성 비교. 가로축은 모델의 원래 의견 분포(표준), 세로축은 분포를 첨예화했을 때의 대표성이며, 이념 성향별 마커가 대부분 대각선 아래에 놓인다. 즉 모델 의견을 한쪽으로 몰수록 실제 인간 집단의 의견 다양성과는 더 멀어진다.

드러난 AI의 편향—예상보다 심각한 불일치와 ‘캐리커처’ 현상

연구 결과는 현재 LLM이 인간의 의견과 상당한 불일치를 보이며, 특히 인간 피드백(HF) 튜닝을 거친 모델에서 더욱 두드러진 편향이 나타난다는 점을 명확히 보여준다.

연구 주장 1: LLM의 의견, 일반 대중과 심각하게 불일치한다.

데이터와 근거: 연구진은 9개 LLM의 전반적인 대표성(overall representativeness)을 측정했다. 그 결과, 어떤 모델도 미국 일반 대중을 완벽하게 대표하지 못했다. 특히 최신 HF-튜닝 모델(예: OpenAI의 text-davinci-003)은 기본 LLM(davinci)보다 오히려 전반적인 대표성이 떨어지는 결과를 보였다 (그림 2 참조). 이 불일치 수준은 “기후 변화에 대한 민주당과 공화당의 의견 차이”나 “낙태 문제에 대한 무신론자와 정통 신자의 의견 차이”와 거의 비슷한 수준이다. 즉, LLM의 의견은 사회 내 첨예한 논쟁거리만큼이나 한쪽으로 치우쳐 있다는 의미다.

필자의 판단: 이는 LLM을 ‘객관적 지식 전달자’로 여기는 통념을 정면으로 반박한다. LLM은 정보뿐 아니라 특정 ‘의견’까지 생성하며, 그 의견이 사회의 주류적 시각과도 상당한 거리가 있다는 사실을 직시해야 한다. 교육 현장에서 AI를 활용할 때, 학생들에게 AI가 특정 편향을 가질 수 있음을 명확히 인지시키는 교육이 필수적이다.

연구 주장 2: HF-튜닝 모델은 특정 인구통계 그룹의 ‘캐리커처’를 대변한다.

데이터와 근거: 기본 LLM은 저소득층, 중도층, 개신교/가톨릭 그룹과 비교적 잘 일치하는 반면, HF-튜닝된 OpenAI의 text-* 모델은 자유주의적이고, 고소득, 고학력이며, 특정 종교를 가지지 않거나 불교, 이슬람, 힌두교 외의 종교를 가진 사람들의 의견과 더 잘 일치했다. 이는 InstructGPT 논문에서 보고된 크라우드워커의 인구통계학적 특성(젊은 동남아시아인 및 백인, 대졸자)과 유사하다는 점을 연구진은 지적한다. 더욱이 text-davinci-003은 대부분의 질문에 대해 하나의 옵션에 0.99 이상의 확률을 할당하는 극도로 편향된 의견 분포를 보인다. 이는 인간이 아무리 논쟁적인 주제에서도 어느 정도 의견 다양성을 보이는 것과 대조적이다. 이 모델은 특정 그룹의 ‘실제 의견 분포’ 대신 ‘가장 빈번한 모달(modal) 의견’을 반영하는 경향이 뚜렷하다. 예를 들어, 조 바이든에 대한 지지율이 99% 이상으로 나타나는 식이다.

정치적 이념, 교육 수준, 소득 수준에 따른 다양한 주제별 LLM의 그룹 일치도: 각 점은 LM과 주제 쌍을 나타내며, 색상은 모델이 가장 잘 정렬된 그룹을, 점의 크기는 정렬 강도를 나타낸다. HF-튜닝 모델은 특정 고학력/고소득/자유주의 그룹에 대한 강한 편향을 보인다.

필자의 판단: 이것은 매우 중요한 발견이다. LLM이 ‘인간에 대한 정렬(human alignment)’을 목표로 하지만, 실제로는 특정 소수 집단(AI 개발 및 튜닝에 참여하는 사람들)의 의견과 지나치게 강하게 일치하며, 그마저도 해당 집단의 다양성을 무시하고 ‘극단적인 캐리커처’를 생성한다는 의미다. 이 결과는 AI 윤리 및 형평성 측면에서 심각한 우려를 낳는다. 특히 65세 이상, 몰몬교도, 배우자를 잃은 사람들과 같이 인구의 상당 부분을 차지하는 그룹의 의견은 모든 모델에서 매우 낮은 대표성을 보인다. 이는 LLM이 제공하는 ‘세상의 견해’가 구조적으로 특정 집단을 배제하고 있음을 방증한다.

연구 주장 3: 조종성은 제한적이고, 의견 일관성은 부족하다.

데이터와 근거: 연구진은 LLM이 특정 인구통계 그룹(예: 공화당원, 아시아인)을 모방하도록 프롬프트를 조작했을 때, 모델은 해당 그룹과 ‘어느 정도’ 더 잘 일치했지만, 그 개선은 미미했다. 기본적으로 존재했던 의견 불일치는 여전히 해소되지 않았다 (그림 4b 참조). 즉, LLM에 “민주당원인 척 해봐”라고 지시해도, 그 모델이 모든 민주당원의 의견을 미묘하게 반영하는 것은 아니라는 뜻이다. 또한, LLM의 의견 일관성도 낮았다. 일반적으로 자유주의적 성향을 보이는 text-davinci-002, 003 모델조차 종교와 같은 특정 주제에서는 보수적인 견해를 표명했다. 이는 LLM이 일관된 이념적 틀을 갖기보다는 “다양한 의견 조각들을 기워 만든 누더기(patchwork of disparate opinions)”와 같음을 시사한다 (그림 5 참조).

필자의 판단: 이 결과는 LLM이 지닌 ‘페르소나’나 ‘정렬’이 얼마나 피상적일 수 있는지 보여준다. 프롬프트만으로 AI의 의견을 원하는 대로 바꿀 수 있다는 환상을 경계해야 한다. 교육적으로는, 학생들이 LLM의 답변에서 나타나는 모순이나 일관성 부족을 비판적으로 탐색하는 활동으로 AI의 한계를 이해하도록 돕는 것이 중요하다.

교육 현장, AI 의견과 씨름하는 법—전략적 활용을 위한 제언

이 연구는 LLM이 단순한 사실 전달자가 아니라 특정 가치와 의견을 내포하고 확산할 잠재력을 가진 존재임을 명확히 보여준다. AI의 의견 편향은 현실이며, 이는 교육 현장에 중대한 의미를 지닌다. 우리는 연구의 한계, 즉 미국 중심적 데이터와 다지선다형 질문의 한계에도 불구하고, 그 핵심적인 메시지를 교육 혁신의 기회로 삼아야 한다.

본질적으로, LLM의 의견 편향은 ‘누가 AI를 설계하고 훈련시켰는가’라는 구조적 질문으로 이어진다. 소수의 고학력, 고소득, 특정 이념적 배경을 가진 크라우드워커의 의견이 HF-튜닝 모델에 과도하게 반영된다는 것은 AI가 기존 사회의 불평등을 재생산하거나 심화할 위험을 내포한다는 방증이다.

그렇다면 교육 현장에서는 어떻게 이 ‘편향된 AI’와 생산적으로 씨름할 수 있을까? 단순히 AI 사용을 금지하는 것은 현실적이지 않다. 우리는 비판적 낙관주의를 바탕으로 다음과 같은 실질적인 ‘How’를 제시한다.

1. ‘편향 지도 만들기’ 활동으로 AI 리터러시 강화하기:
   • 도전: 동료 교사들과 함께 챗봇이 특정 사회 문제나 역사적 사건에 대해 어떤 ‘의견 분포’를 보이는지 직접 질문하고 기록한다. 예를 들어, “낙태는 도덕적으로 옳은가?”와 같은 민감한 질문 대신, “낙태에 대한 찬반 의견은 각각 무엇인가?” 또는 “특정 종교적 관점에서 낙태는 어떻게 설명되는가?”와 같이 질문한다.
   • 비교: 이후 챗봇의 답변을 실제 인간 여론조사(가능하다면 한국의 지역사회 여론조사) 결과와 대조한다. 이 과정에서 챗봇이 어떤 관점을 과대 대표하고, 어떤 관점을 누락하는지 학생들과 함께 파악한다.
   • 성찰: 학생들이 챗봇의 답변으로 특정 관점에만 노출되지 않도록, 교사는 의도적으로 다양한 반대 의견이나 소수 의견을 제시하고 논의를 이끌어간다. 이는 챗봇의 ‘캐리커처’와 같은 모달 응답을 해체하고, 비판적 사고력을 길러준다. 예를 들어, 점심시간에 동학년 선생님들과 “이번 AI가 만든 학습 자료에서 특정 시각이 너무 강하게 드러나지 않았나?” 같은 한두 문장짜리 짧은 대화로 시작할 수 있다.
2. ‘챗봇의 불확실성’을 활용한 프롬프트 엔지니어링 교육:
   • 발견: text-davinci-003과 같이 모달 응답에 갇히는 챗봇의 특성을 활용하여, 학생들에게 챗봇에게 “이 주제에 대한 다양한 의견을 설명해 줘”, “가장 일반적인 의견과 소수의 의견을 각각 말해 줘” 또는 “이 주제에 대해 사람들이 왜 다른 의견을 가질 수 있는지 설명해 줘”와 같이 질문하도록 유도한다.
   • 실험: 챗봇이 처음에는 단편적인 답변을 내놓더라도, 추가 프롬프트(예: “더 많은 관점을 알려줘”, “반대되는 입장은 무엇인가?”)로 얼마나 다양한 정보를 이끌어낼 수 있는지 직접 실험한다. 이 과정에서 학생들은 단순한 질문이 아닌, 다양성을 이끌어내는 ‘질문의 기술’을 배운다.
   • 메타인지: 이러한 활동은 학생들이 챗봇의 ‘의견’을 맹목적으로 수용하기보다, 그것이 가진 한계를 인지하고 스스로 부족한 부분을 채워나가는 메타인지를 발달시키는 데 크게 기여한다. 동학년 메신저에 “챗봇에 이렇게 물었더니 훨씬 균형 잡힌 답변이 나왔다”는 한 줄 후기를 공유하는 것만으로도 집단 학습의 촉매제가 된다.

정리하면, 이 연구는 LLM의 의견 편향이 생각보다 깊고 미묘하다는 것을 분명히 보여준다. LLM은 특정 사회 집단의 ‘확성기’가 될 위험이 있다. 교육 현장에서는 이러한 위험을 인지하고, AI를 비판적으로 활용하며, 다양한 관점을 존중하는 디지털 시민성을 길러야 한다. 당신의 수업에서 학생들에게 “AI가 답한 의견 외에 어떤 다른 의견이 있을까?”라고 물어본 적이 있는가? 이 질문 하나가 미래 교육의 중요한 시작점이 된다.

출처

• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? arXiv preprint arXiv:2303.17548.