사람이 매번 ‘예’를 누른다면, 그 감독은 이미 없다

미국 반도체 회사 AMD의 한 대담에서, 클로드 코드를 만든 보리스 처니가 자기 습관 하나를 털어놓는다. 에이전트가 점점 오래 돌면서 명령을 실행할 때마다 승인을 요청하자, 어느 순간부터 그는 내용을 읽지 않게 됐다. 그냥 예, 예, 예를 눌렀다. 보안팀도 같은 것을 발견했다. 그래서 앤트로픽이 내놓은 해법은 사람을 더 꼼꼼히 읽게 만드는 것이 아니었다. 승인 판단을 분류기에 넘겼다. 이름은 auto 모드, 고객에게도 권한다.

우리는 흔히 인공지능에 사람이 고삐를 쥐고 있다고 말한다. 사람이 중간에서 확인하니 안전하다는 것이다. 처니의 고백은 그 고삐가 반복 앞에서 어떻게 풀리는지 보여준다. 백 번 중 아흔아홉 번 옳은 시스템의 백 번째 오류를 사람이 잡는 일은, 성실함의 문제가 아니라 주의력의 물리학이다. 주의는 수도꼭지처럼 틀어 두면 계속 나오는 것이 아니다.

이 현상에는 이름이 있다. 자동화 편향, 그리고 경계 감소(vigilance decrement)다. 십 년째 아무도 빠지지 않은 수영장의 안전요원을 떠올리면 된다. 사고가 없으니 긴장이 풀리고, 긴장이 풀린 바로 그 순간이 가장 위험하다. 아무 일도 일어나지 않는다는 사실이 감시를 마모시킨다. 그러니 사람이 모든 것을 승인한다는 설계는 안전장치가 아니라 안전극장이다. 앤트로픽이 정직했던 지점은 이 마모를 인정하고, 지친 사람을 레드팀과 모의침투로 검증한 분류기로 바꿨다는 데 있다.

교실로 옮기면 낯설지 않다. AI가 초안을 쓴 학생 피드백 150개를 검토하는 교사는, 60번째쯤이면 예를 누르고 있다. 사람이 최종 확인하니 괜찮다는 안심은, 확인할 수 없는 사람에게 조용히 기대고 있다.

물론 반론이 있다. 분류기라고 틀리지 않겠는가. 사람을 빼면 책임은 누가 지는가. 가장 강한 형태로 세우면 이렇다. 지친 사람이라도 책임은 물을 수 있지만, 분류기는 책임을 학습 데이터 속으로 흩어 버린다. 맞는 지적이다. 다만 같은 인터뷰가 더 날카로운 곳을 가리킨다. 처니는 이제 모델을 신뢰하는 선임 동료처럼 대한다고 말하는데, 그 신뢰가 어림이 아니라 보정된 신뢰인 이유는 그가 십수 년을 직접 디버깅해 왔기 때문이다. 그는 한 일화를 든다. 손으로 버그를 잡겠다고 고집하던 자신을, 갓 합류한 사람이 그냥 클로드에게 물어 20분 만에 이겼다. 지친 사람을 대체한 그 분류기를 설계한 이들도, 한때는 손으로 확인하던 사람들이다. 위험은 다음 세대에 있다. 처음부터 모든 것을 auto 모드로 두면, 언제 아니오를 눌러야 하는지 아는 판단을 한 번도 길러 보지 못한 감독자가 남는다.

그래서 진짜 물음은 사람을 고리에 넣을 것인가 말 것인가가 아니다. 사람을 고리에 둘 값어치를 만드는 판단이 어디서 자라는가, 그리고 우리는 그것을 아직 기르고 있는가이다. 학생에게 AI의 답을 검토하게 하는 이유는 검토 그 자체에 있지 않다. 그 학생도 결국 예를 누를 테니까. 이유는, 이해가 받쳐 주는 검토를 충분히 반복하는 동안 판단이 형성된다는 데 있다. auto 모드는 그 판단을 갖춘 뒤라면 괜찮다. 잘못은, 한 번도 아니오를 눌러 본 적 없는 사람에게 그것을 먼저 쥐여 주는 것이다.

출처

• Advanced Insights (AMD). Boris Cherny — Claude Code 인터뷰. https://youtu.be/eQ6tb7j3Z2U