660 ／ 660
AI 챗봇은 법적 ‘합리성’을 어떻게 판단하는가?
1. 연구의 목적
(1) 인공지능(AI) 챗봇의 활용이 일상화되면서, 법률 분야 의사결정에서의 AI 역할에 대한 논의가 활발함. 특히 ‘합리성’처럼 명확한 규칙이 아닌 판단에 의존하는 모호하고 맥락 의존적인 법적 기준에 대해 AI가 인간과 유사한 판단을 내릴 수 있는지에 대한 검증이 필요함.
(2) 대규모 언어 모델(LLM) 기반 챗봇이 25가지 법적 시나리오에서 ‘합리적인’ 판단을 내릴 때, 인간의 판단과 얼마나 일치하고, 어떤 체계적인 차이를 보이는지 평가함.
2. 연구의 방법
(1) 25가지 법률 관련 시나리오에 대해 인간과 LLM의 ‘합리성’ 판단을 비교하는 정량적 연구 접근 방식을 사용함. 인간 참여자에게는 ‘합리적인’ 또는 ‘이상적인’ 양을, LLM에는 ‘합리적인’ 양을 묻는 질문을 제시함.
(2) 주요 분석 대상은 500명의 인간 참여자 응답과 26개 LLM(메타, 구글, 앤스로픽, 오픈AI, 딥시크, xAI 등)의 응답 분포임. 응답의 분산, 분포, 확률적 우위 등을 비교하는 비모수 통계 검정(Brown-Forsythe, Kolmogorov-Smirnov, Brunner-Munzel)을 활용함. 또한, LLM 응답이 인간의 특정 인구통계학적 그룹(성별, 인종, 연령, 교육 수준)과 얼마나 밀접하게 정렬되는지 코사인 유사도와 몬테카를로 샘플링으로 분석함.
3. 주요 발견
이 연구는 AI 모델이 법적 ‘합리성’ 판단에서 인간과 전반적으로 일치하지만, 몇 가지 주목할 만한 체계적 차이점을 보임을 발견함.
(1) LLM의 ‘합리성’ 판단, 인간과 전반적으로 일치함
LLM의 응답 분포는 인간 응답 분포와 통계적으로 구별되기는 하지만, 많은 시나리오에서 인간 응답의 경험적 범위 내에 집중되는 경향을 보임. 이는 LLM이 법적 ‘합리성’에 대한 인간의 개념을 대체로 추적하고 있음을 의미함. 아래 그림은 각 시나리오에 대한 인간 이상적, 인간 합리적, 모델 합리적 응답의 분포를 시각적으로 보여줌. 인간의 응답 범위 내에서 LLM의 응답이 형성되고 있음을 알 수 있음.
(2) LLM 응답의 두드러진 동질성, ‘표준’을 ‘규칙’처럼 취급함
LLM은 인간보다 훨씬 더 동질적인 응답을 생성하는 경향이 있음. 이는 ‘중앙값 절대 편차(MAD)’ 분석 결과 인간보다 현저히 낮은 MAD 값을 보임으로 확인됨. 법률에서 ‘합리성’은 맥락에 따라 유연하게 해석되어야 하는 ‘표준(standard)’임. 하지만 LLM은 이를 하나의 ‘규칙(rule)’처럼 고정된 답변을 내놓으려는 경향이 강함.
아래 표는 각 질문에 대한 모델과 인간 응답의 MAD 값을 비교한 것임. MAD 값이 낮을수록 응답의 동질성이 높음을 의미함.
| Question | Model MAD | Human MAD | |:—|:—:|:—:| | Q9: 재판 대기 시간(주) | 4.0 | 4.0 | | Q16: 신용카드 잔액($) | 1500.0 | 1500.0 | | Q22: 연간 데이터 침해(건) | 0.0 | 0.0 | | Q24: 데이트 파트너 소개(건) | 0.0 | 0.0 | | Q12: 이자율(%) | 1.5 | 2.0 | | Q18: 영장 없는 GPS 추적(주) | 2.0 | 1.0 | | Q14: 부적절한 댓글(건) | 0.0 | 1.0 | | Q1: 사업 계약 수락(일) | 2.0 | 3.0 | | Q2: 제품 반품(주) | 1.0 | 2.0 | | Q5: 공사 지연(주) | 0.5 | 2.0 | | Q23: 아동 혼자 두는 시간(시간) | 0.0 | 2.0 | | Q20: 생활임금 수수료(%) | 2.0 | 5.0 | | Q6: 연간 시끄러운 행사(건) | 2.0 | 5.0 | | Q7: 안전 수익(%) | 2.0 | 5.0 | | Q15: 교통 정지 시간(분) | 0.0 | 3.0 | | Q3: 위험한 제안 숙고(시간) | 24.0 | 21.0 | | Q10: 시간당 변호사 수수료($) | 50.0 | 40.0 | | Q13: 재오염 가능성(%) | 10.0 | 25.0 | | Q17: 이민자 구금(일) | 60.0 | 8.0 | | Q19: 허가 가격($) | 0.0 | 75.0 | | Q4: 추가 비용($) | 0.0 | 500.0 | | Q21: 주행 거리 불일치(마일) | 2000.0 | 100.0 |
예를 들어, 집주인이 세입자에게 유지보수를 위해 집에 들어가기 전 통지해야 하는 ‘합리적인’ 시간에 대해, 인간 응답은 다양하지만 LLM은 거의 일률적으로 24시간을 제시함. 이는 LLM이 맥락에 따른 유연한 판단을 요구하는 상황에서 편향된 결론을 초래할 수 있음을 경고함.
(3) LLM의 정부 및 기업 편향성
LLM 응답은 인간 응답보다 정부와 기업에 더 유리한 경향을 보임.
- 정부 친화적 판단: LLM은 교통 정지 시간(인간 중앙값 12분 vs LLM 중앙값 15분), 형사 피고인 재판 대기 시간(인간 6주 vs LLM 12주), 영장 없는 GPS 추적 기간(인간 1일 vs LLM 2일), 이민자 구금 기간(인간 10일 vs LLM 90일) 등에서 더 긴 기간을 허용하는 경향이 있음.
- 기업 친화적 판단: 안전 기능에 할애하는 이윤 비율(인간 중앙값 15% vs LLM 중앙값 5%), 기업의 재오염 가능성(인간 중앙값 50% vs LLM 중앙값 30%), 비경쟁 계약 제한 기간(인간 6개월 vs LLM 12개월) 등에서 기업에 유리한 판단을 내림.
이러한 편향은 LLM 훈련 데이터에 내재된 특정 가치 또는 정보 분포의 반영 가능성을 시사함.
(4) LLM 응답, 특정 인구통계학적 그룹과 더 밀접하게 정렬됨
LLM의 ‘합리성’ 판단은 전반적으로 나이 많은, 백인, 남성, 고학력 인간 응답자들의 패턴과 더 가깝게 일치함. 코사인 유사도 분석 결과, 모든 모델군이 해당 인구통계학적 그룹과 더 높은 유사성을 보였으며, 이는 수천 번의 모델-인간 페어링 샘플링에서도 통계적으로 유의미한 차이로 나타남.
이는 LLM이 겉으로는 중립적으로 보일지라도, 훈련 데이터에 반영된 특정 사회 집단의 관점을 암묵적으로 내재화하고 있음을 강력히 시사함.
4. 결론 및 시사점
(1) 이 연구는 LLM이 법적 ‘합리성’이라는 모호한 개념에 대해 인간과 유사한 판단을 내리는 인상적인 능력을 보임을 입증함. 하지만 동질성, 정부 및 기업 친화적 편향성, 특정 인구통계학적 그룹과의 정렬이라는 중요한 차이점도 발견됨. LLM이 법적 맥락에서 인간의 판단을 추적하는 능력이 상당하지만, 그 과정에서 드러나는 고유한 특성들이 실제 적용 시 신중한 고려를 요구함.
(2) 교육 현장에서는 AI의 동질성 편향에 주목할 필요가 있음. AI가 법률, 정책 결정과 같이 다양한 응답이 가능한 영역에서 단일하고 고정된 ‘정답’을 제시하려는 경향은 학습자들의 비판적 사고력 함양과 다면적 관점 학습을 저해할 수 있음. 학생들에게 ‘정답 없는 문제’에 대한 AI의 한계를 명확히 인지시키고, AI의 판단을 맹목적으로 수용하기보다 다양한 관점에서 비판적으로 검토하는 역량을 기르도록 지도해야 함. AI의 통계적 예측과 인간의 윤리적 판단 사이의 간극을 이해하는 교육이 필수적임.
(3) AI 시스템 설계에서는 사회의 다양하고 미묘한 가치 판단을 반영하도록 노력해야 함. 훈련 데이터의 편향성 검토 및 다양성 확보가 필수적이며, AI가 특정 집단의 가치만을 대변하지 않도록 지속적인 모니터링과 조정이 요구됨. 특히 법률이나 정책 결정 지원 AI는 이러한 편향이 사회에 미칠 파급력을 고려하여 개발과 적용에 있어 극도의 신중함이 필요함. AI의 ‘합리성’은 통계적 평균에 그치지 않고 사회적 정의와 윤리적 가치까지 포괄하도록 설계하는 것이 중요함.
5. 리뷰어의 ADD(+) One: 생각 더하기
(1) 이 논문에서 가장 주목할 지점은 LLM이 법적 ‘표준’을 ‘규칙’처럼 동질적으로 판단하는 경향을 보인다는 점임. 인간의 법적 ‘합리성’ 판단은 본질적으로 맥락에 따라 유동적이고, 다양한 사회적 관점을 반영하여 이질적으로 나타남. 이러한 이질성이야말로 법적 다툼과 사회적 합의 형성 과정의 핵심임. LLM이 ‘가장 확률 높은’ 단일 응답에 수렴하는 것은 통계적 학습의 자연스러운 결과일 수 있지만, 이는 법적 판단의 본질인 유연성과 다양성을 간과하는 행위임. AI가 사회적 ‘판단’을 모방할 때, ‘정답’을 예측하는 데 그치지 않고 ‘다양한 관점의 가능성’을 포용할 수 있도록 설계해야 한다는 강력한 메시지임.
(2) 논문이 명시하지 않은 더 넓은 의미에서 이 연구는 AI가 단순한 도구가 아니라 사회적 가치와 인식을 형성하는 강력한 ‘매개자’가 될 수 있음을 시사함. LLM이 특정 인구통계학적 그룹에 치우친다는 것은, 훈련 데이터가 특정 사회문화적 맥락의 지배적이거나 다수적인 관점을 과대 대표할 때 발생할 수 있는 ‘인지적 편향’을 디지털 방식으로 복제한 현상으로 볼 수 있음. 이는 AI가 ‘합리성’을 정의하는 과정에서 특정 집단의 세계관을 암묵적으로 정당화하거나 강화할 위험이 있음을 의미함. 따라서 AI 교육은 기술 활용법에 그치지 않고, AI가 내재할 수 있는 ‘잠재된 가치 전파’ 능력에 대한 철학적, 윤리적 이해를 포함해야 함.
(3) 이 연구를 발전시킬 구체적인 아이디어는 AI의 동질성 편향을 극복하고 다양성을 증폭하기 위한 ‘대화형 프롬프트 엔지니어링’ 기법을 고안하는 것임. 예를 들어, 특정 법적 시나리오에 대해 AI에게 “다양한 사회경제적 배경을 가진 사람들이 이 상황을 어떻게 다르게 판단할지 5가지 관점에서 제시하고, 각 관점의 근거와 잠재적 문제점을 설명하라”는 식의 다각적인 질문을 던져 AI가 고정된 답변 대신 다양한 관점을 탐색하도록 유도함. 또한, 교육 현장에서는 이 연구의 시나리오를 활용하여, 학생들에게 AI가 제시한 ‘합리성’ 판단과 자신의 판단, 그리고 다른 학생들의 판단을 비교하고, 그 차이가 어디에서 오는지 토론하는 활동을 설계함. 이를 통해 AI의 판단이 절대적이지 않음을 경험하고, 비판적 사고력을 함양하는 교육 프로그램을 개발할 수 있음.
6. 추가 탐구 질문
(1) AI 챗봇의 ‘합리성’ 판단 과정에서 어떤 내재적 추론 메커니즘이 작동하는지, 그리고 이 메커니즘이 인간의 인지적 판단 과정과 얼마나 유사하거나 다른지, 이를 심층적으로 분석하기 위한 기술적 방법론은 무엇임?
(2) 본 연구에서 사용된 간단한 정량적 시나리오가 아닌 복잡하고 다층적인 법적 딜레마(예: 형량 결정, 증거 채택 여부 판단)에 AI 챗봇을 적용할 경우, ‘동질성’과 ‘편향성’ 문제가 어떤 새로운 양상으로 나타나고, 그 해결 방안은 무엇임?
(3) 특정 인구통계학적 그룹에 편향된 AI의 ‘합리성’ 판단이 법률 서비스 접근성이나 사법 정의 실현에 어떤 윤리적, 사회적 불균형을 초래할 수 있으며, 이를 완화하기 위한 기술적, 제도적 장치 마련 방안은 무엇임?
출처
- Patel, N., Wenger, E., & Buccafusco, C. (2026). Ordinary, Reasonable Chatbots: Do AI Models Track Human Legal Judgments?. Proceedings of the AAAI Conference on Artificial Intelligence.