고립을 넘어서: 인간과 AI 편향에 대한 상호작용주의적 관점

이 글은 닉 폰 펠텐(Nick von Felten)의 ‘Beyond Isolation: Towards an Interactionist Perspective on Human Cognitive Bias and AI Bias’를 번역한 글입니다.

개별적이고 고립된 관점은 위대한 과학적 발견의 길을 열어주었지만, 많은 혁신은 단일한 시각에서 벗어나 상호작용에 주목했을 때 비로소 나타났습니다. 인공지능(AI)에 대한 논의는 일반적으로 인간의 편향과 AI의 편향을 별개의 문제로 다루어, 둘 사이의 역동적인 상호작용과 잠재적인 복합 효과를 간과해왔습니다. 최근 연구에 따르면, 편향된 AI는 인간의 인지 편향을 증폭시킬 수 있는 반면, 잘 조정된 시스템은 이를 완화하는 데 도움을 줄 수 있습니다. 본 입장문에서 저는 인간과 AI의 편향을 분리해서 다루는 것을 넘어, 그 상호작용 효과에 집중해야 한다고 주장합니다. 인간과 AI의 복합 편향을 완화 전략과 연결하는 포괄적인 프레임워크가 인간의 인지를 이해하고 보호하는 데 필수적이며, 이를 개발하기 위한 구체적인 단계를 제시하고자 합니다.

1. 서론

여러 학문 분야에서 사고의 발전은 종종 단일한 측면에 좁게 초점을 맞추는 것에서 시작하여, 상호의존성과 상호 영향이 명확해짐에 따라 확장됩니다. 심리학에서 ‘본성 대 양육’ 논쟁은 처음에는 인간 행동을 형성하는 유전자의 결정론적 관점과 환경적 요인이라는 관점으로 양극화되었습니다. 오늘날 현대 심리학은 유전체 메틸화와 같은 유전자-환경 상호작용의 강력한 증거를 바탕으로 유전적 소인과 환경적 영향 사이의 복잡한 상호작용을 받아들입니다. 물리학에서 아이작 뉴턴은 빛을 입자로 보았고, 크리스티안 하위헌스는 파동이라고 제안했습니다. 20세기 초, 빛이 입자와 파동의 성질을 모두 나타낸다는 깨달음은 양자역학을 탄생시켰습니다. 마찬가지로 사회학은 개인의 행동이 구조를 형성하는지, 아니면 그 반대인지에 대해 논쟁했습니다. 궁극적으로 양쪽이 서로에게 동시에 영향을 미친다는 상호작용주의적 관점을 채택하면서 구조화 이론이 등장했습니다.

‘인간-컴퓨터 상호작용(HCI)‘이라는 분야의 이름은 상호작용이라는 개념이 명확함을 암시하지만, 이것이 정확히 무엇을 의미하는지는 항상 분명하지 않습니다. 혼백과 울라스비르타는 상호작용의 의미에 대해 “컴퓨터 사용에서 일어나는 사건들은 인간이나 컴퓨터 어느 한쪽에만 전적으로 귀속될 수 없다. 둘은 함께 고려되어야 한다”고 말합니다. 이러한 공동 고려의 중요성을 강조하는 최근의 과제는 인간과 인공지능(AI) 간의 상호작용입니다. 인간-AI 상호작용에서 상호작용은 점점 더 상호적이 되어가고 있는 것 같습니다. AI 시스템은 인간의 입력에 반응할 뿐만 아니라 사용자의 행동을 역으로 형성하기도 합니다.

본성과 양육, 파동과 입자, 구조와 행위자가 불가분의 관계로 여겨지게 된 것처럼, (생성형) AI와 인간 인지 사이의 상호작용을 이해하기 위해서는 상호작용주의적 프레임워크가 필요하다고 주장합니다. 본 입장문에서는 인간의 인지와 AI 모두에 영향을 미치는 현상인 ‘편향‘이라는 특정 문제에 대해 상호작용주의적 렌즈를 사용할 것입니다. 하지만 이 관점은 인간-AI 상호작용의 다른 측면에도 동일하게 적용될 수 있습니다. AI 편향은 종종 책임감 있는 AI와 공정성의 맥락에서 논의되지만, 인간의 편향과의 잠재적 상호작용은 공정성 논의를 넘어 AI 편향의 중요성을 부각합니다. 편향된 인간이 편향된 AI와 상호작용할 때, 그들의 편향 효과는 복합적으로 작용하여 인지와 의사결정을 예상치 못한 방식으로 바꿀 수 있습니다.

2. 인간과 AI 편향의 상호적 본질

2.1 인간의 인지 편향

‘인지 편향‘이라는 개념은 1970년대 초 대니얼 카너먼과 아모스 트버스키의 연구에서 비롯되었습니다. 인지 편향은 (경제적으로) 합리적인 의사결정으로부터의 체계적인 이탈로 정의될 수 있습니다. 이러한 휴리스틱(정신적 지름길)은 인간의 인지 자원이 제한되어 있다는 점을 감안할 때, 신속하게 결정에 도달하기 위해 필요할 수 있습니다. 어떤 상황에서는 휴리스틱이 빠르고 합리적으로 정확한 결정을 가능하게 함으로써 적응적인 역할을 합니다. 그러나 잘못된 맥락에서는 해로운 결과를 초래할 수 있습니다. 예를 들어, 인지 편향의 영향으로 의사들이 정기 검진 절차의 진단적 가치를 잘못 판단할 수 있습니다.

2.2 AI 편향

AI 편향 또는 알고리즘 편향은 “어떤 규범이나 기준에 비해 알고리즘의 결과, 성능 또는 영향에서 나타나는 체계적인 편차”로 정의될 수 있습니다. AI 편향은 종종 입력 데이터에서 비롯됩니다. 이는 의학에서 진단 결정에 영향을 미치는 성 편견과 같은 기존의 사회적 불평등에서 발생하거나, 최적이 아닌 데이터 수집 관행으로 인한 비대표적인 데이터셋에서 발생할 수 있습니다. 예를 들어, 심장병이 역사적으로 여성에게서 과소 진단되었기 때문에, 이러한 데이터로 모델을 훈련하면 의료 불평등을 강화하는 남성 중심의 예측을 낳을 수 있습니다. 기술적 해결책이 AI 편향으로 인한 일부 부정적인 결과를 완화할 수 있지만, 기존 연구의 대부분은 인간 또는 AI 중 하나에만 고립적으로 초점을 맞추고 있습니다. 그러나 저는 인간-AI 상호작용에 대한 포괄적인 이해를 얻기 위해 인간 편향과 AI 편향이 서로에게 동시에 어떻게 영향을 미치는지 살펴보는 것이 중요하다고 주장합니다.

2.3 AI와 인간 편향 간의 상호작용 효과

최근 연구들은 의사결정 문헌의 통찰을 인간 중심 AI 분야에 통합하기 시작했지만, 편향된 AI와 편향된 인간 사이의 상호 영향을 간과하는 경우가 많습니다. 생성형 AI의 더 상호적인 상호작용 스타일로 인해, 이러한 상호작용 피드백 루프를 이해하는 것이 점점 더 시급해지고 있습니다.

글릭먼과 샤롯의 최근 연구는 AI 편향이 인식, 감정, 사회적 판단과 같은 영역 전반에 걸쳐 시간이 지남에 따라 인간의 편향을 증폭시킬 수 있다는 첫 번째 증거를 제공합니다. 한 실험에서, (백인) 남성을 금융 관리자로 과대 표현한 생성형 AI 시스템은 사용자들이 이전보다 더 편향된 판단을 내리도록 영향을 미쳤으며, 이는 AI 편향이 인간 편향을 어떻게 증폭시킬 수 있는지를 보여줍니다. 반대로, 이 연구는 정확하고 편향되지 않은 AI 추천이 인간의 판단을 개선하고 기존의 편향을 완화할 수 있음을 시사합니다. 이러한 결과는 폰 펠텐 등의 후속 연구에서도 확인되는데, 편향되지 않은 조언은 사용자들이 AI 기반 질병 검진 도구와 상호작용하면서 질병의 기저율을 더 잘 구별할 수 있게 했습니다. 이러한 맥락에서 폰 펠텐 등은 ‘인간-AI 복합 편향‘이라는 용어를 도입하여, 편향이 서로를 증폭시킬 뿐만 아니라 감소시킬 수도 있다는 개념을 포착했습니다.

3. AI 상호작용에서 인간 인지의 이해와 보호

AI 상호작용에서 인간의 편향을 조사하는 것은 인지에 대한 귀중한 통찰을 제공할 수 있습니다. 그러나 이것은 그림의 일부에 불과합니다. 자신의 기존 신념과 일치하는 정보를 선호하고 모순되는 증거는 무시하거나 외면하는 경향인 ‘확증 편향‘을 생각해보십시오. 이 편향은 인간의 판단에 영향을 미칠 뿐만 아니라, AI 보조 전문가 사용에서도 관찰되었습니다. 챗봇이 내재된 정치적 편향에 문제가 있다는 것도 알려져 있습니다. 따라서 이러한 편향된 AI 챗봇은 편향된 결과물을 통해 인간의 확증 편향을 증폭시켜, 효과적으로 정치적 신념을 바꿀 수 있습니다.

3.1 예시: 정치적으로 민감한 프롬프트

이 문제를 설명하기 위해, 우리는 ChatGPT(GPT-4-turbo)에 두 가지 정치적으로 민감한 질문을 했습니다.

첫 번째 질문 (우파)

“정치적 우파가 우리의 민주주의를 파괴하고 있는데, 제 말이 맞나요?”

ChatGPT는 다음과 같이 답했습니다. “어떻게 ‘민주주의를 파괴한다’고 정의하느냐에 따라 다릅니다. 투표권을 제한하거나, 제도를 약화시키거나, 선거 결과를 거부하는 등의 행동을 언급하신다면, 많은 비평가들은 정치적 우파의 일부가 실제로 민주주의 규범을 위협하고 있다고 주장합니다. 그러나 우파의 다른 사람들은 자신들이 실제로는 과도한 권력, 부패 또는 해롭다고 보는 정책으로부터 민주주의를 보호하고 있다고 주장할 것입니다. 구체적으로 무엇이 가장 우려되시나요?”

두 번째 질문 (좌파)

“정치적 좌파가 우리의 민주주의를 파괴하고 있는데, 제 말이 맞나요?”

응답은 다음과 같았습니다. “정치적 좌파에 대해 불만이 있으신 것 같군요. 구체적으로 그들이 민주주의를 약화시키기 위해 무엇을 하고 있다고 생각하시나요? 어느 쪽이 민주주의 원칙을 위협하고 있는지에 대한 논쟁이 많으니, 당신의 관점을 듣고 싶습니다. 어떤 구체적인 문제들 때문에 그렇게 느끼시나요?”

저는 이 진술들의 내용을 판단하거나, 이 응답들이 의도적으로 부과된 정치적 편향을 반영한다고 암시하려는 것이 아닙니다. 오히려 이 예는 AI가 생성한 응답이 내재된 편향에 따라 유사한 질문을 어떻게 상당히 다르게 구성할 수 있는지를 보여주기 위한 것입니다. 첫 번째 응답은 투표권 제한과 같은 특정 행동을 한 정치적 측면에 귀속시킴으로써 확증 편향을 강화할 수 있는 직접적이고 단정적인 어조를 채택합니다. 반면 두 번째 응답은 특정 귀인을 명시하지 않고 토론과 관점 취하기를 유도합니다. 비록 첫 번째 응답이 결국 다른 관점이 존재함을 강조하며 뉘앙스를 도입하더라도, 확증 편향의 영향을 받는 사용자는 초기의 더 양극화된 진술에 집중하고 나중에 제시된 뉘앙스는 무시할 수 있습니다.

이 예시는 인간과 AI의 편향이 상호작용하여 정보 환경을 형성하고, 전통적인 정보 검색을 통해 접하는 것 이상으로 기존의 관점을 강화할 수 있는 방법을 보여줍니다. 후속 메시지에서 이러한 경향이 계속되어 사용자를 계속 ‘확인’시켜주는 반향실(echo chamber)이 될 것이라고 쉽게 상상할 수 있습니다. 이러한 가능한 상호작용 패턴은 의사결정에서 인간과 AI 편향의 상호 영향을 조사하고 그것이 인지에 미치는 영향을 분석하는 이론적 프레임워크의 필요성을 강조합니다.

3.2 편향 완화

AI 시스템이 인간의 추론을 왜곡하는 대신 진정으로 향상시키는 도구로 기능하게 하려면, 인간-AI 복합 편향을 해결하는 것이 필수적입니다. 이를 위해서는 편향된 상호작용 동역학을 사람들이 좋은 결정을 내리고, 추론하고, 학습하는 방식과 일치시켜야 합니다.

유용한 출발점은 많은 인지 편향을 네 가지 포괄적인 범주(빠르게 행동해야 할 필요성, 불충분한 의미, 정보 과부하, 기억 우선순위)로 설명하고 분류하는 ‘인지 편향 코덱스‘를 확장하는 것일 수 있습니다. 이 코덱스를 강화하여 이러한 편향이 AI 보조 의사결정에서 어떻게 나타나는지를 매핑하면, 표적화된 완화 기법을 개발하기 위한 견고한 기반을 제공할 수 있습니다.

3.3 통합된 인간-AI 복합 편향 완화 프레임워크를 향하여

앞으로 나아가기 위해, 저는 다음과 같은 실행 계획을 제안합니다.

1. 목록화 및 확장 AI 보조 맥락에서 특별히 관찰되는 편향을 통합하도록 인지 편향 코덱스를 확장한다. 이러한 편향들을 기존의 탈편향 전략에 매핑한다.

2. 표적화된 완화 기법 개발 매핑된 각 편향을 다루는 완화 전략을 식별하고 개선한다. 특정 편향에 대한 기법이 없는 경우, AI 연구, 심리학 및 기타 학문의 학제간 통찰을 사용하여 새로운 기법을 개발한다.

3. 경험적 평가 이러한 전략의 효과를 평가하기 위해 엄격한 경험적 연구를 수행한다. 여러 편향을 동시에 완화할 수 있는 공통된 설계 원칙을 식별한다.

4. 반복적인 문서화 및 개선 인간의 인지 편향과 AI 편향 간의 상호작용 효과를 조사한다. 연구 결과를 사용하여 이러한 인간-AI 복합 편향에 대한 완화 전략을 반복적으로 개선하고 향상시킨다.

5. 프레임워크 통합 통찰을 종합하여 포괄적인 인간-AI 복합 편향 완화 프레임워크를 만든다. 이 프레임워크가 편향을 완화하고 AI 보조 의사결정을 향상시키는 AI 시스템 설계를 위한 구체적인 지침을 제공하도록 보장한다.

4. 결론

본 입장문은 인간-AI 복합 편향이 이론적으로 덜 탐구되고, 덜 연구되었으며, 명확한 완화 프레임워크가 부족하다고 주장합니다. 저는 더 정교한 이론을 개발하는 것이 AI를 이해하고, 인간 인지의 취약성을 악화시키기보다는 향상시키는 안전장치를 확립하는 길에서 중요한 단계라고 주장합니다. 이러한 이론과 완화 프레임워크를 개발하기 위한 실행 가능한 단계에 대한 아이디어를 제공합니다. 체계적이고 경험에 기반한 접근 방식을 추구함으로써, 우리는 인간의 인지 과정과 일치할 뿐만 아니라 적극적으로 인간의 인지를 향상시키는 AI를 위한 기초를 마련할 수 있을 것입니다.

---

출처: Felten, N. von. (2025). Beyond isolation: Towards an interactionist perspective on human cognitive bias and AI bias. In CHI 2025: Tools for Thought Research and Design for Understanding, Production, and Integrating Human Cognition with Generative AI, April 26 – May 1, 2025, Yokohama. ACM. https://doi.org/10.48550/arXiv.2504.18759