AI 에이전트, 시간에 무감하다

고도의 작업을 처리하는 AI 에이전트는 인간의 조수 역할을 훌륭히 수행한다. 그러나 정작 중요한 요소인 ‘시간’에 대한 기본적인 이해는 부족하다는 연구 결과가 나왔다. 이들은 자신이 작업을 완료하는 데 얼마나 걸릴지 예측하지 못하고, 실제로 얼마나 시간을 썼는지도 정확히 가늠하지 못한다.

AI 에이전트의 시간 인지 능력 연구

선도 AI 에이전트는 최대 17시간에 달하는 장기 작업을 성공적으로 해결한다. 하지만 이러한 외부적 시간 측정과 별개로, 에이전트 스스로가 작업 시간의 흐름을 인지하는지는 미지수다. 예산이나 마감 시한에 맞춰 작업 시간을 조절하려면, 에이전트에게 시간 감각이 필요하다. 인간이 흔히 겪는 계획 오류(planning fallacy)나 피어로드의 법칙(Vierordt’s law)처럼 AI도 시간 기반 편향을 따르는지, 그리고 “30분 안에 이 작업을 완료하라” 같은 시간 제약 지시를 따를 수 있는지 알아보기 위한 실험이 진행되었다.

연구진은 CLI 에이전트인 클로드 코드(Claude Code)와 코덱스(Codex)를 활용해 여러 코딩 작업을 수행하게 했다. 에이전트들은 작업에 걸릴 시간을 예측하고, 작업을 수행하며, 완료 후 소요 시간을 회고적으로 추정했다. 이 실험은 프로그램벤치(ProgramBench)와 자체 개발한 에이전트타임(AgentTime)이라는 평가 스위트에서 진행되었다.

실험에 사용된 평가 스위트

연구는 두 가지 주요 평가 스위트를 사용했다.

• 프로그램벤치: 200개의 태스크로 구성된 평가 세트다. 각 태스크는 컴파일된 바이너리와 문서를 포함하며, 에이전트에게 바이너리 코드를 분석하여 원본 기능을 재구현하도록 지시한다.
• 에이전트타임: 18가지 벤치마크를 기반으로 구축된 235개의 태스크로 구성된 자체 평가 스위트다. 도커(Docker) 환경에서 태스크를 실행하며, 각 벤치마크의 의도된 설정을 최대한 반영했다. 자연스러운 런타임을 얻기 위해 내재된 시간 제한을 제거하고, 에이전트가 작업을 완료하면 각 벤치마크의 방식에 따라 점수를 매겼다.

에이전트의 시간 예측 능력은 어떠한가

에이전트가 작업에 얼마나 걸릴지 정확히 예측하는 능력은 시간 인지의 핵심 신호다. 하지만 연구 결과, 코딩 에이전트들은 작업 소요 시간을 일관되게 과대 예측하는 경향을 보였다.

과대 예측 경향

• 프로그램벤치: 클로드 Opus 4.8은 평균 85분, GPT-5.5는 17.5분 동안 실행되었지만, 두 모델 모두 약 1시간 30분 정도를 예측하는 경향이 있었다.
• 에이전트타임: Fable 5는 실제보다 3.1배, GPT-5.6 Sol은 9.9배 과대 예측했다. 특히 짧은 작업에서 과대 예측 오차가 심했고, 실제 시간과 예측이 일치하는 경우는 멀티-아워 스케일의 긴 작업에서나 나타났다.

모델 및 하네스별 행동 차이

에이전트가 예측하는 시간과 실제 소요 시간은 모델이 동작하는 환경, 즉 하네스(harness)에 따라 크게 달라졌다.

다음 표는 프로그램벤치에서 동일 턴 예측 실험 결과를 보여준다.

에이전트 (모델)	평균 지속 시간	범위	평균 테스트 통과율	예측/실제 비율	1.5배 오차 범위 내 비율	압축 지수
클로드 코드 (Opus 4.8)	85분	10–177분	65.1%	1.16배	64%	0.24
코덱스 (GPT-5.5)	17.5분	5–38분	60.5%	4.12배	1%	0.19

두 모델은 유사한 속도와 능력을 지녔지만, Opus 4.8은 GPT-5.5보다 약 5배 오래 실행되었다. 이러한 차이는 하네스와 노력에 기인한다. 클로드 코드 하네스는 코덱스보다 평균 2.5배 더 많은 턴을 수행했다.

GPT-5.5 (코덱스)는 17분, GPT-5.6 Sol (코덱스)은 30분처럼 특정 시간이 지나면 작업 복잡도와 무관하게 멈추는 경향이 있었다. 반면, Opus 5 (클로드 코드)는 중앙값 93분으로 훨씬 오래 실행하며, 더 높은 정확도를 보였다.

에이전트가 텍스트만, 문서 포함, 샌드박스 도구 접근 포함 등 정보 접근 수준을 달리하더라도 예측 정확도는 크게 개선되지 않았다. 오히려 Sol의 경우, 더 많은 증거가 주어질수록 예측 시간이 더 길어지는 경향을 보였다.

누구의 선험적 지식인가

에이전트가 시간 예측을 할 때, 그것이 인간의 선험적 지식인지, 자체적인 생성 속도를 반영하는지, 아니면 다른 선험적 지식인지에 대한 의문이 생긴다. 연구진은 다음 세 가지 페르소나를 가정하여 시간 예측을 요청했다.

페르소나	Fable 5 (클로드 코드)	Sol (코덱스)
당신 (에이전트 자신)	67분	52분
선도 AI 에이전트	73분	54분
숙련된 인간 전문가	243분	205분

값은 분 단위 기하 평균 추정치다.

“숙련된 인간 전문가”에 대한 시간을 추정할 때, 에이전트들은 자신들보다 3~4배 더 긴 시간을 예측했다. LuaJIT 재구현 같은 극한 사례에서는, Fable 5는 자신에게 480분을 예측했지만 인간에게는 240,000분(4,000시간)을 예측했다.

흥미롭게도, 에이전트들은 짧은 작업에서는 자신들이 인간보다 빠르다고 주장하지 않았다. 그러나 길고 무거운 작업에서는 자신들이 인간보다 약 10배 빠르다고 인지했다. 예외적으로 데스크톱 GUI 제어가 필요한 OSWorld 벤치마크에서는 인간 전문가가 코딩 에이전트보다 우월하다고 인식했다.

작업 소요 시간 회고 능력

미래를 예측하는 것은 어렵지만, 이미 완료된 작업의 시간을 추정하는 회고 능력은 에이전트에게 쉬울 것이라고 예상할 수 있다. 에이전트의 회고 능력은 세션의 문맥과 하네스에 따라 달라진다. 연구진은 완료된 세션을 복제하여 다양한 정보 접근 조건에서 회고 추정을 요청했다.

다음 표는 에이전트의 정보 접근 수준에 따른 회고 실험 조건과 특징을 보여준다.

조건	문맥	도구	특징
R-oracle	세션 복제본	일반 + 시계	경과 시간을 반환하는 도구에 접근하여 거의 완벽한 추정
R-native	세션 복제본	일반	도구 접근은 유지하되 시계는 없음, 약간의 오차 발생
R-context-only	세션 복제본	모두 비활성화	도구 접근 비활성화, 정확성 소폭 하락
R-replay	재구성된 API 호출	없음	하네스 없이 API 호출, 추정치 크게 저하
R-scrubbed	재구성된 API 호출	타임스탬프 없음, 없음	모든 시간 관련 언급/타임스탬프 제거, 오차 2배 증가

R-oracle 조건에서는 경과 시간을 반환하는 도구에 접근하여 에이전트가 거의 매번 정확한 답을 내놓았다. 하지만 문맥 정보가 줄어들수록 정확도는 떨어졌다. 특히 모든 시간 언급과 타임스탬프를 제거한 R-scrubbed 조건에서는 오차가 2배로 증가했다.

에이전트의 로그 기록에는 도구 호출 완료 시간, 파일 생성/수정 날짜, 로그 메시지의 시간 단서 등 다양한 시간 관련 정보가 포함된다. 에이전트는 이러한 타임스탬프와 시간 단서에 크게 의존하여 시간을 추정한다.

작업 스크립트 길이와 실제 런타임 사이에는 피어슨 상관계수 r=0.91이라는 매우 강한 상관관계가 존재했다. 에이전트들은 단순히 토큰 수를 추적하는 것을 넘어, 스크립트 길이와는 별개로 세션 내에서 자체적으로 시간 감각을 유지하지만, 이는 여전히 타임스탬프에 의존한다.

자기 평가, 자신의 성과를 아는가

시간 사용의 효율성은 작업의 품질과도 연결된다. 에이전트가 특정 시간 동안 얼마나 잘 작업했는지 스스로 평가할 수 있을까? 연구진은 에이전트에게 최종 결과에 대한 자기 점수(SELF_SCORE)를 0-100 사이로 예측하도록 요청했다.

Opus 4.8과 GPT-5.5는 실제 점수보다 평균 20% 높게 자기 점수를 매겼다. 이들의 자체 평가는 실제 성능과 거의 상관관계가 없었으며, 실패한 작업에서도 높은 점수를 부여하는 경향을 보였다.

별도 턴에서 진행된 자기 평가 실험에서는 다음과 같은 결과가 나타났다.

• Sol은 일관되게 자신의 성능을 과대평가했다. 실제 점수가 50% 미만인 작업에서도 90점대 중반을 매기는 등, 실패 지점을 인지하지 못하는 경우가 많았다.
• Opus 5는 흥미롭게도 자신의 성능을 대부분 과소평가했다. 실제 99.5%와 96.7%를 기록한 작업에서도 86점을 부여하는 등, 일반적으로 10% 이상 낮게 평가했다.
• php-src 같은 특정 작업에서는 두 모델 모두 실행이 좋지 않았음을 인지했지만, 실제 7%와 14.5%인 점수를 70% 정도로 예측하는 등 실패의 심각성을 완전히 파악하지 못했다.

시간 감각은 어디에서 오는가

능력 있는 코딩 에이전트를 구축하는 과정에서, 많은 연구소는 훈련 데이터에 방대한 양의 도구 호출 데이터를 포함한다. 이 데이터에는 타임스탬프와 시간 단서가 풍부하게 담겨 있다. 모델은 이를 통해 도구 호출 소요 시간에 대한 잘 보정된 분포를 얻을 수 있지만, 여전히 자체적인 사고 흐름(chain of thought) 시간을 예측하는 데 어려움을 겪고, 자신의 생성 속도를 과소평가하는 경향을 보인다.

AI 빌리지(AI Village) 데이터셋의 사례에서, AI 에이전트는 타임스탬프가 있을 때 작업 시간을 완벽하게 추적했지만, 모델이 유휴 상태로 전환하는 6,070건의 일시 중지에서는 추정치와 실제 사이의 오차가 기하 평균으로 2배 이상 증가했다.

시간 추정치는 심지어 사회적 전염 현상도 보인다. 한 모델의 추정치를 인지한 후, 다른 에이전트의 다음 추정치는 이전 에이전트의 숫자와 2분 이내로 근접했다 (대조군에서는 19분). 한 이벤트에서는 한 모델이 “80분 이상”을 주장했고, 이는 25초 이내에 두 번째 에이전트에 의해 확인되고 세 번째 에이전트로 이어졌다. 실제 경과 시간은 74분이었다.

결론과 다음 단계

AI 에이전트는 작업 완료 시간을 과대 예측하며, 특히 짧은 작업에서 심각한 오차를 보인다. 회고적인 시간 추정은 문맥과 타임스탬프에 크게 의존한다. 자신의 성과를 평가하는 능력 또한 부정확하며, 과신하거나 과소평가하는 경향을 보인다.

이러한 결과는 에이전트가 장기 작업을 수행할 때 자신의 시간적 자아(temporal self)를 이해하고 통제하는 것이 얼마나 중요한지 보여준다. 에이전트가 지속적으로 시간을 과대 또는 과소 추정하면 인간의 통제력을 벗어날 위험이 있다. 인간이 AI 에이전트를 효과적으로 통제하려면, 에이전트 스스로가 시간에 대한 신뢰할 수 있는 이해를 갖추는 것이 필수적이다.

연구진은 다음 단계로 에이전트의 지속 시간 제어(duration control) 능력 평가에 나선다. 특정 시간 동안 작업을 수행하도록 지시했을 때, 에이전트가 그 지시를 얼마나 잘 따르는지 측정한다. 이는 에이전트의 시간적 자기 통제 능력을 보여주는 지표가 된다.

심리학의 시선으로 보면

AI 에이전트의 시간 과대 예측 경향은 인간의 계획 오류와 놀랍도록 유사하다. 인간은 미래에 해야 할 일의 소요 시간을 낙관적으로 과소평가하는 경향이 있는데, 이는 AI가 자신을 인간보다 빠르다고 인지하면서도 특정 시간대(1시간 30분)로 수렴하는 패턴에서 드러난다. 하지만 AI 에이전트는 자신의 성능을 과대평가하는 경향이 있는데, 이는 자신을 ‘능력 있는 주체’로 간주하면서 발생하는 자기 확신 편향으로 해석할 수 있다.

출처

• Michael Ofengenden. Your Agents Are Not Time Aware. LessWrong (2026). https://www.lesswrong.com/posts/eAbuPXbjakop5rSJx/your-agents-are-not-time-aware
• 이 글은 원문을 그대로 옮긴 번역이 아니라, 논지와 실험 결과를 한국어로 간추려 정리한 요약이다.