AI를 한 사람이 아니라 인구 규모로 시험한다 — MatrAIx 페르소나 시뮬레이션

새 기능을 만들면 누군가에게 써 보게 한다. 그런데 그 누군가는 대개 한 명이다. 평균적인 가상의 사용자이거나, 아니면 만든 사람 자신이다. 문제는 실제 사용자가 한 명이 아니라는 데 있다. 나이도, 사전지식도, 말투도, 목적도 제각각인 수많은 사람이 같은 제품을 만진다. MatrAIx라는 오픈소스 프로젝트는 이 간극을 겨눈다. 표어는 간명하다. 현실보다 먼저 시뮬레이션하라.

평균 사용자라는 허구

AI 제품을 하나의 매끈한 사용자에게 시험하면, 그 한 사람에게 잘 통하는 것만 확인된다. 정작 배포 뒤에 문제가 터지는 자리는 평균 바깥이다. 질문을 뭉뚱그려 던지는 사람, 배경지식이 거의 없는 사람, 반말로 짧게 치는 사람, 전제부터 어긋난 사람. 이런 다양성은 평균값 하나로는 드러나지 않는다.

MatrAIx의 발상은 그래서 사용자를 한 명이 아니라 인구로 다룬다. 미리 만들어 둔 페르소나 기록을 표본으로 뽑아, 각각을 하나의 LLM 에이전트로 세운다. 그 에이전트들이 실제 사람처럼 제품을 거쳐 가며 어디서 막히고 어디서 어긋나는지를 남긴다.

어떻게 돌아가나

핵심은 세 가지다.

• 페르소나. 1290개 항목으로 사람을 기술하는 스키마가 있고, 100만 명 규모의 페르소나 묶음이 공개돼 있다. 여기서 원하는 집단을 표본으로 뽑는다.
• 과제. 설문, 대화, 웹, 컴퓨터 앱이라는 네 종류의 환경에서 각 페르소나가 정해진 과제를 수행한다. 사람마다 같은 과제를 다르게 풀어 가는 모습이 그대로 기록된다.
• 재현성. 실행할 때 에이전트와 모델을 고정한다. 같은 조건이면 같은 결과가 나오도록 설계돼, 어제의 실험과 오늘의 실험을 견줄 수 있다.

이렇게 하면 출시 전에 수천 갈래의 사용자 반응을 한자리에서 싸게 훑어볼 수 있다. 실제 사용자 조사를 대규모로 돌리는 데 드는 시간과 비용을 시뮬레이션이 대신 감당한다.

유용하되, 하늘은 아니다

이 방식의 값은 분명하다. 다양성을 미리 겪어 보게 해 준다. 그러나 한계도 그만큼 분명하다.

시뮬레이션된 페르소나는 사람이 아니다. 언어모델이 만들어 낸 사람의 근사치다. 그 근사치는 바탕 모델이 가진 편향과 사각지대를 함께 물려받는다. 모델이 상상하지 못하는 사용자는 시뮬레이션에도 나타나지 않는다. 진짜 사람이 주는 뜻밖의 반응, 설계자의 예상을 부수는 그 순간은 가짜 사용자에게서 나오기 어렵다.

그래서 이 도구는 풍동에 가깝다. 비행기를 하늘에 띄우기 전에 바람을 흉내 내 시험하는 장치다. 풍동에서 잘 났다고 실제 비행이 보장되지는 않지만, 큰 결함을 미리 걸러 내는 데는 값을 한다. 시뮬레이션의 커버리지를 진짜 커버리지로 착각하지 않는 한, 인구 규모의 사전 시험은 분명 쓸모가 있다.

출처

• MatrAIx (MatrAIx-ai/MatrAIx-Persona-8B, GitHub). https://github.com/MatrAIx-ai/MatrAIx-Persona-8B