AI, 사용자 행동 학습으로 맥락 기억력 강화
AI 모델이 단순 정보 제공을 넘어 사용자 행동과 사고 패턴을 이해하는 맥락 기억 역량을 확장하고 있다. 이는 AI를 반복적인 업무를 수행하는 비서 역할로 만들며 개인화된 경험을 제공한다. 그러나 이러한 발전은 개인화 함정과 사생활 침해 같은 우려를 동반한다.
맥락을 기억하는 AI 에이전트
최근 인공지능(AI) 경쟁에서 AI 모델의 읽기 기억, 즉 에피소드 기억 역량이 중요하게 부상한다. 에피소드 기억은 AI가 과거 대화나 사용자의 행동 패턴을 기억하고 이를 바탕으로 앞으로의 업무를 수행하는 능력을 의미한다. AI는 단순히 정확한 정보를 제공하는 것을 넘어, 일련의 업무 흐름을 놓치지 않고 연속적으로 처리하는 데 초점을 맞춘다.
이러한 변화는 챗봇을 넘어서는 AI 에이전트의 확산 때문이다. AI가 문서 검색부터 작성, 수정, 보관까지 일련의 업무를 처리하는 핵심 도구로 자리 잡으면서, 과거 업무와의 연속성을 유지하는 능력이 필수적이다.
주요 AI 기업들은 이러한 맥락 기억 기능을 강화한 새로운 도구들을 선보인다.
| 회사 | 기능명 | 주요 특징 |
|---|---|---|
| 오픈AI | 레코드 & 리플레이 (Record & Replay) | 맥OS 사용자 업무용 앱 코파일럿에 추가되었다. 사용자가 한 번 수행한 패턴을 기억해 유사한 업무를 반복 수행한다. |
| 드리밍 V3 (Dreaming V3) | 과거 대화에서 중요한 정보를 자동 요약하고 갱신한다. 사용자의 관심사나 진행 중인 업무 내용을 기억하며, 시간이 지나도 이를 반영해 답변을 생성한다. | |
| 앤트로픽 | 에이전트 드리밍 프리뷰 (Agent Dreaming Preview) | AI가 정해진 주기에 따라 기억 저장소를 검토한다. 과거 업무 패턴을 찾아 적용하고, 실수를 파악해 향후 업무에 반영한다. |
| 구글 | 제미나이 스파크 (Gemini Spark) | 사용자의 디지털 생활을 탐색해 업무를 수행하는 24시간 개인 AI 비서 기능을 한다. |
이 기능들은 사용자가 명시적으로 요청하지 않아도 AI가 스스로 정보를 저장하고 필요에 따라 수정하며 활용하는 능력을 포함한다. 예를 들어, 유튜브 영상 업로드 절차를 한 번 알려주면, 다음부터는 “같은 방식으로 해줘”라는 지시만으로 AI가 작업을 반복 수행한다. 6월에 휴가 계획 관련 질문을 했다면, 7월에는 휴가를 다녀온 것을 전제로 답변을 생성하는 식이다.
개인화의 그림자, 편향과 프라이버시
AI의 맥락 기억 강화는 사용자에게 최적화된 경험을 제공하지만, 동시에 몇 가지 우려를 낳는다. 특히 과거의 행동 패턴에 과도하게 의존하는 개인화 함정이 나타날 수 있다.
2024년 초 중국인민대와 레노버 AI 연구소의 연구 결과는 이를 뒷받침한다. 이 연구는 AI 모델에 개인 정보를 입력했을 때, 사용자의 이력에 맞춰 답하는 ‘개인화 환각’이 객관적 사실보다 더 많이 나타난다고 밝혔다. 개인화된 답변의 사실 정확도는 비개인화된 답변보다 평균 10.5%포인트 낮았다.
또 다른 심각한 우려는 AI가 사용자의 민감한 개인 정보를 동의 없이 저장할 가능성이다. AI 에이전트 시대에 개인 정보 누적 처리 경향은 피할 수 없는 흐름이다.
이에 대해 최경진 가천대 법학과 교수는 AI가 어떤 정보를 저장했는지 사용자가 알 수 있고, 원치 않는 정보는 삭제할 수 있도록 저장 데이터에 대한 접근성을 강화해야 한다고 강조한다.
면역학·항상성의 시선으로 보면
AI의 개인화 함정은 면역학의 자기-비자기 인식 오류나 생체 항상성(homeostasis)의 유지 기전과 유사한 면을 보인다. 우리 몸의 면역 체계는 외부 침입자(비자기)를 정확히 식별하고 공격하는 동시에, 자신의 세포(자기)는 보호한다. 이 시스템이 자신의 일부를 비자기로 오인하면 자가면역질환이 발생한다. AI가 사용자 데이터를 기반으로 특정 맥락을 ‘자기’로 학습하고 너무 강하게 유지하려는 경향은, 새로운 정보나 객관적인 사실을 ‘비자기’로 인식하여 거부하거나 왜곡하는 현상과 닮았다. 시스템이 현재 상태(학습된 개인화된 맥락)를 너무 안정적으로 유지하려다 보니, 외부의 정확한 정보(변화하는 현실)에 유연하게 대응하지 못하고 고착화되는 것이다.