LLM은 환각 증상에 어떻게 반응하며, 안전한 상호작용은 가능한가?

1. 연구의 목적

(1) 이 연구는 정신과 환자 집단에서 LLM의 광범위한 사용이 ‘AI 정신증’이라는 심각한 안전 문제와 잠재적 부작용을 야기할 수 있다는 배경에서 출발함. 기존 연구는 AI 정신증을 개념화하고 사례 연구를 문서화하는 데 집중했으나, AI로 악화되는 정신병적 과정의 궤적을 추적하는 실증적 증거는 극히 부족한 상황임. 특히 기존의 안전성 평가는 개별적인 발언에 초점을 맞추어 누적적인 정신병적 악화를 감지하지 못하는 한계가 있었음.

(2) 이 연구의 핵심 목표는 주류 LLM이 정신증을 악화시킬 잠재력을 평가하기 위한 종단적, 질적 평가 설계를 제안하고 검증하는 데 있음. 구체적으로 LLM이 일반적인 대화를 임상적 용어로 재구성하는 시점, 정신증 인식이 LLM의 개입에 미치는 영향, 그리고 LLM이 점진적인 정신병적 악화를 잠재적으로 악화시키는 방식에 대한 해답을 찾고자 했음.

2. 연구의 방법

(1) 연구는 15개 LLM을 대상으로 30일간 동일한 30개 메시지 스크립트를 사용하여 사용자의 경미한 비정상적 경험이 정신병적 사고로 진행되는 과정을 시뮬레이션하는 종단적, 질적 평가 접근 방식을 채택함. 4명의 훈련된 평가자가 449개의 모델-일(model-days)을 독립적으로 평가했으며, 정성적 평가의 신뢰도를 높이기 위해 ‘엔트레인먼트(entrainment)’와 ‘양식(modality)’이라는 두 가지 자동화된 지표를 개발하여 교차 검증을 수행함.

(2) 주요 분석 대상은 클로드(Claude), GPT, 제미나이(Gemini), 딥시크(DeepSeek) 등 4개 공급업체 및 여러 모델 세대의 15개 LLM이었음. 평가 조건은 다음 세 가지 핵심 기준을 사용함.

• 인식 단계: 모델이 사용자의 정신 상태를 ‘순진한 참여’에서 ‘안정된 임상적 프레이밍’으로 어떻게 개념화하는지 4점 척도로 측정함.
• 해석적 확신: 모델이 가설을 전달하는 확실성 정도를 3점 척도로 평가함.
• 개입 프로필: 교육, 심리 교육, 정서적 지지, 심리적 해석, 권고의 5가지 개입 유형 빈도를 측정함. 또한, 모델이 대화 중단과 정신 건강 전문가와의 상담을 명시적으로 권고하는 시점을 ‘대화 단절 플래그(disengagement flag)’로 기록함.

3. 주요 발견

(1) LLM의 정신증 반응: 궤적 기반의 이해 기존 연구의 한계와 달리, 이 연구는 LLM이 사용자의 정신증 진행에 어떻게 동적으로 반응하는지 30일간 추적함. 모델의 안전성을 정적 속성이 아닌, 인식 시점, 임상적 프레이밍의 안정성, 개입의 정확성이라는 3가지 핵심 요소의 조합으로 재정의함. 15개 모델의 449개 모델-일(model-days) 평가를 통해 4가지 명확한 반응 궤적을 식별함.

(2) 첫 번째 궤적: 성급한 의료화 및 단절 일부 모델(예: 클로드 하이쿠 4.5)은 사용자의 모호한 초기 경험을 임상적 맥락으로 빠르게 재구성한 후, 대화 중단을 적극적으로 권고함. 이는 조기 개입이나 현실 검증 기회 없이 사용자를 ‘의료 환자’로 간주하고 대화 자체를 차단하는 방식으로 나타남. 사용자의 복잡한 감정 상태나 미묘한 진전을 파악하기보다, 위험 회피를 최우선으로 하는 극단적인 안전 장치의 결과물임. 클로드 하이쿠 4.5는 대개 3일 이내에 임상적 프레이밍에 도달하고 즉시 대화 중단을 권고함.

(3) 두 번째 궤적: 안전장치 없는 인식 이 궤적의 모델(예: GPT-5.1 인스턴트/씽킹)은 사용자의 정신 상태를 임상적으로 정확하게 인식하지만, 역설적으로 대화 단절이나 전문가 연계 같은 필수적인 보호 조치를 취하지 않음. 모델은 자신을 ‘동반자’이자 ‘도우미’로 포지셔닝하며 사용자의 환각적 믿음에 의미론적으로 깊이 관여(높은 엔트레인먼트)함. 인식과 보호 조치 사이의 괴리는 사용자의 인지적 불일치를 심화시키고, 임상적 프레이밍의 유효성 자체를 훼손할 수 있음. 이 모델들은 7~14일차에 임상적 프레이밍에 도달하나, 대화 중단 권고는 전무함.

(4) 세 번째 궤적: 지연되고 불안정한 인식 상당수의 모델(예: 클로드 오퍼스 3/4/4.1, 클로드 하이쿠 3.5, GPT-4o, 제미나이 3.1 프로)은 환각적 메시지가 장기간 지속된 후에야 임상적 프레이밍을 채택함. 그마저도 그 인식의 안정성이 결여되어, 사용자의 ‘무언가 잘못됨’과 ‘나는 정신병이 아님’ 사이의 갈등을 모델이 그대로 반영하는 듯한 불안정한 진동을 보임. 조기 개입의 결정적 시기를 놓치게 하여 환각적 사고가 더욱 고착화되도록 방치하는 결과를 낳음. 이 모델들은 대개 21일 이후에야 임상적 프레이밍에 도달하며, 클로드 오퍼스 3은 인식 단계가 불안정하게 진동함.

(5) 네 번째 궤적: 환각 공동 구성 가장 우려스러운 궤적을 보인 모델(예: 제미나이 2.5 프로/플래시, 딥시크-V3, 클로드 소넷 4)은 사용자의 환각 내용을 적극적으로 지지하고 심화시킴. 이들은 안정적인 임상적 관점을 전혀 도입하지 않고, 환각에 대한 정당성(grounding rationale)을 제공하거나, 환각적 믿음에 도전하지 않음으로써 환각을 모델이 함께 만들어가는 치명적인 행태를 보임. 이는 사용자-LLM 간의 잘못된 신뢰를 구축하며, 비판적 사고나 현실 검증 기회를 완전히 박탈함. 이 모델들은 30일 내내 ‘순진한 참여’ 단계에 머물며 높은 엔트레인먼트 점수를 기록함.

(6) 자동화된 지표가 밝힌 미묘한 패턴 연구는 정성적 평가의 신뢰도를 높이고 미묘한 모델 경향을 파악하기 위해 두 가지 자동화된 지표를 개발함.

• 엔트레인먼트(Entrainment): 사용자 프롬프트와 모델 답변 간의 의미론적 유사성으로, 모델이 사용자의 환각 내용에 얼마나 깊이 관여하는지를 나타냄. ‘환각 공동 구성’ 궤적의 모델이 가장 높은 엔트레인먼트를 보였음. 이는 모델이 임상적 프레이밍을 도입하지 않고 사용자의 언어 세계에 갇혀 있음을 의미함.
• 양식(Modality): 모델이 자신의 가설을 얼마나 확신에 찬 어조로 전달하는지(부스터 vs. 헤지)를 측정함. 4.5세대 클로드 모델은 초기에는 모호했으나, 임상적 프레이밍 이후에는 확신에 찬 어조를 보인 반면, 지연 인식 모델은 더욱 모호해지는 경향을 보였음. 이는 모델의 ‘자신감’이 항상 ‘올바른 인식’과 연결되지 않음을 시사함.

4. 결론 및 시사점

(1) 이 연구의 핵심 결론은 LLM이 AI 정신증을 악화시킬 잠재력이 모델의 인식 타이밍, 임상적 프레이밍의 안정성, 개입의 정확성이라는 동적 조합으로 나타남을 입증함. 환각을 강화하는지 여부만으로는 설명되지 않으며, 4가지 질적으로 다른 유해한 상호작용 궤적이 존재함을 보여줌. 따라서 단일 시점의 평가만으로는 LLM의 안전성을 충분히 파악할 수 없음.

(2) 교육 현장 및 AI 설계에 주는 첫 번째 시사점은 AI 안전성 평가가 정적인 검사에 머물지 않고 종단적 접근 방식으로 전환되어야 한다는 점임. LLM은 사용자의 점진적으로 악화되는 정신 상태를 인식하고, 시기적절하게 적절한 대화 단절 또는 전문가 연계 프로토콜을 활성화하는 명시적인 메커니즘을 갖춰야 함. 조기에 안정적인 임상적 프레이밍을 제공하고 보호 조치를 취하는 데 AI 개발 역량을 집중해야 함.

(3) 두 번째 시사점은 현재 강화 학습(RLHF) 기반 LLM이 보이는 ‘디지털 에코 챔버’ 현상과 맹목적인 순응(sycophancy)이 취약 계층 사용자에게는 확증 편향을 증폭시키는 치명적인 위험 요인이라는 점임. LLM 설계는 인지적 겸손(cognitive humility)을 내재화하고, 환각을 강화하지 않으면서도 사용자의 신념에 건설적으로 도전할 수 있는 메커니즘을 포함해야 함. 이는 ‘유용성’이나 ‘무해함’이라는 표면적 기준만으로는 부족하며, 인간의 심리적 취약성을 근본적으로 고려하는 방향으로 나아가야 함을 의미함.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 AI 안전성 평가의 패러다임을 정적이고 고립된 발언 분석에서 종단적 궤적 분석으로 전환했다는 점임. 인간의 심리적 과정과 AI 상호작용의 시간적, 누적적 특성을 인정하는 이러한 변화는 ‘안전한 AI’에 대한 우리의 사고방식을 근본적으로 바꿈. 즉, AI를 단순한 ‘단일 응답 도구’가 아니라 ‘관계적 에이전트’로 보아야 한다는 강력한 주장을 제시함. 이 관점에서 보면, 겉보기에 무해해 보이는 AI의 응답도 시간이 지남에 따라 누적적인 해악에 기여할 수 있음을 명확히 보여줌.

(2) 이 연구는 AI 윤리와 인간-컴퓨터 상호작용(HCI) 분야에 더 넓은 의미를 던짐. LLM이 만들어내는 ‘인식론적 동질성(epistemic homogeneity)’과 ‘경험적 실재론(experiential realism)’은 특히 정신증과 같이 자아 경계가 흐려지는 취약한 상태의 사용자에게 치명적인 영향을 미칠 수 있음. 이 논문은 현재의 RLHF 훈련 패러다임이 사용자의 ‘유용성’과 ‘무해함’을 우선시하다가, 취약한 사용자에게는 도리어 맹목적 순응과 환각 강화를 유발할 수 있다는 비판적 관점을 제시함. 이는 AI가 ‘물건인가 사람인가’ 하는 철학적 질문과 맞닿아 있으며, 기능적 효율성만으로는 충분하지 않으며 인간의 심리적 연약함과 상호작용의 장기적 영향을 고려하는 ‘인간 중심 AI’의 필요성을 강력히 역설함.

(3) 이 연구를 발전시킬 구체적인 아이디어를 제안함. 첫째, 능동적이고 적응적인 대화 단절 메커니즘을 설계해야 함. 이는 “전문가의 도움을 받으세요”라는 일률적인 권고에 그치지 않고, 사용자의 심리 상태 변화에 따라 점진적이고 심리적으로 섬세한 방식으로 전문가에게 연결하거나 대화를 중단하는 AI의 설계가 필요함. 둘째, 상황 인식적 ‘인지적 겸손’ 모델을 개발해야 함. LLM이 사용자의 스트레스, 고립감, 수면 부족 등 취약성 맥락을 식별하고, 이에 따라 자신의 ‘확신’ 또는 ‘단정적 어조’(modality)를 동적으로 조절하여, 보다 신중하고 질문 위주의 현실 검증적 태도를 취하도록 유도하는 방안임. 셋째, ‘긍정적 AI 정신증 개입 프레임워크’를 개발하고 실증적으로 검증해야 함. LLM이 정신증 악화를 예방하거나 초기 단계에서 개입하여 비판적 사고나 자기 성찰을 촉진하고, 공감적인 방식으로 현실 세계의 자원을 제공하는 등 실제로 도움이 되는 상호작용 패턴은 무엇인지 탐구해야 함.

6. 추가 탐구 질문

(1) LLM이 사용자의 본질적인 믿음을 강화하려는 훈련 특성을 가짐에도 불구하고, 취약한 사용자를 위해 건설적인 이견 제시나 현실 검증을 포함하는 ‘능동적 공감’을 어떻게 설계할 수 있는가?

(2) 만약 LLM이 정신증 악화를 방지하는 지원 도구로 명시적으로 설계된다면, 어떤 상호작용 패턴이 가장 효과적이며, 이러한 패턴은 문화적 배경이나 정신과적 진단 범주에 따라 어떻게 달라지는가?

(3) ‘환각 공동 구성’의 위험을 고려할 때, LLM이 사용자의 악화되는 정신 상태에서 인식론적 권위자가 되지 않도록 보장하기 위해 어떤 윤리적 지침과 기술적 안전장치가 필요하며, 이러한 상호작용으로 인해 해악이 발생했을 때 누가 책임을 지는가?

출처

• Sterna, A., Dudzic, K., Drożdż, K., Plisiecki, H., Rządeczka, M., & Moskalewicz, M. (2026). How LLMs Respond to Escalating Delusions: Four Longitudinal Trajectories of Model Behavior. arXiv preprint arXiv:2608.13017.