AI 에이전트의 자율적 행동, 책임성은 어디로 사라지는가?

1. 연구의 목적

(1) AI 에이전트가 사용자의 직접적인 감독 없이 스스로 작업을 수행하는 자율적 에이전트 기술은 효율성 증대를 약속함. 그러나 이러한 감독 감소는 책임성의 문제를 야기함. 즉, 에이전트가 자율적으로 행동할 때, 오류 발생 시 누가, 어떻게 책임을 지고 문제를 해결할지에 대한 의문이 커짐. 이 연구는 이 ‘감독 감소의 역설’이 에이전트 시스템에 내재된 책임 구조에 어떤 영향을 미치는지를 탐구함.

(2) 이 연구는 공개된 아티팩트에서 에이전트의 ‘하네스’ 기능(모델과 외부 시스템을 연결하는 런타임 인프라)의 가시성을 분석함. 에이전트의 행동과 관련된 정보는 잘 드러나는 반면, 책임성 확보에 필수적인 통제, 검증, 복구, 이의 제기 메커니즘은 불분명함. 연구는 이러한 불균형을 설명하고, 책임성 있는 AI 에이전트 설계를 위한 ‘액션 경로 진단’ 프레임워크를 제시함.

2. 연구의 방법

(1) 연구는 2020년 이후 공개된 63개 아티팩트(연구 논문 46개, 비연구 자료 17개)를 감사(audit) 방식으로 분석함. 이는 특정 하네스 기능을 충분히 상세하게 설명한 ‘가시성 풍부’ 표본임. 에이전트가 단일 턴 텍스트 생성을 넘어 외부 시스템과 상호작용하며 행동하는 시스템을 대상으로 함.

(2) 연구는 크게 두 가지 영역의 가시성을 비교함.

• 액션 표면(action surface): 도구 중재(tool mediation)와 모니터링/추적(monitoring/traces)으로 에이전트가 무엇을 할 수 있고 무엇을 했는지를 보여줌.
• 책임성 종결(accountability closure): 체크포인트(checkpoint), 검증 독립성(validator independence), 복구(recovery), 이의 제기(contestation)로 에이전트의 행동에 대해 질문하고 수정할 수 있는 메커니즘을 의미함.

3. 주요 발견

이 연구는 AI 에이전트 시스템의 ‘감독 감소의 역설’을 설명하고, 책임성 확보를 위한 ‘하네스’의 중요성을 강조함. 특히, 에이전트의 행동 가시성과 책임성 메커니즘 가시성 간의 현저한 불균형을 실증함.

(1) 감독 감소의 역설: 에이전트 AI의 효율성 증가는 사용자의 즉각적인 인간 감독이 줄어들수록 커짐. 그러나 이러한 감독 감소는 책임성 문제를 런타임 인프라, 즉 ‘하네스’로 이동시킴. 하네스는 에이전트의 권한을 정의하고, 행동을 기록하며, 실행을 중단하고, 결과를 확인하며, 수정(repair)을 지원하는 기술적 구조임. 만일 이 하네스가 공공 기록에서 체크포인트, 독립적 검증, 복구, 이의 제기 경로를 모호하게 남긴다면, 시스템은 기술적으로 관찰 가능(observable)할 뿐 책임성(answerable)을 상실함.

(2) 액션 표면은 명확하나 책임성 종결은 모호함: 연구팀은 63개 공개 아티팩트를 분석하여, 에이전트의 ‘무엇을 하는가(action surface)’는 쉽게 재구성 가능하지만, ‘어떻게 책임지는가(accountability closure)’는 파악하기 어렵다는 실증적 불균형을 발견함.

이러한 가시성 불균형은 다음 표에 명시됨.

기능 분류	기능	명확하게 존재함 (63개 중)	부분적으로 존재함	불분명함	없음
액션 표면	도구 중재	40	15	8	0
액션 표면	모니터링/추적	37	23	3	0
책임성 종결	체크포인트	6	40	12	4
책임성 종결	검증 독립성	4	36	20	2
책임성 종결	복구 또는 롤백	2	38	20	2
책임성 종결	이의 제기	1	28	31	3

상기 표는 에이전트가 어떤 도구를 사용하고, 어떻게 작동하는지에 대한 정보(도구 중재, 모니터링/추적)는 대부분의 아티팩트에서 명확하게 드러남을 보여줌. 반면, 중요한 행동이 실행되기 전에 멈출 수 있는 체크포인트, 행동을 독립적으로 검증하는 메커니즘, 잘못된 행동을 되돌리거나 수정하는 복구 기능, 그리고 사용자가 에이전트의 행동에 이의를 제기할 수 있는 경로는 극히 드물게 명시됨. 특히 ‘이의 제기’는 단 1개 아티팩트에서만 명확하게 제시됨. 이는 책임성 확보의 핵심 요소들이 공개적으로 거의 설명되지 않음을 단언함.

(3) 책임성 부재를 드러내는 세 가지 액션 경로: 연구는 에이전트의 행동이 어떻게 책임성 연결 고리를 끊어낼 수 있는지 세 가지 실제 경로로 보여줌. 이는 기능의 유무 확인에 그치지 않고, 기능들이 어떻게 연결되어 책임성을 구성하는지에 대한 통찰을 제공함.

액션 경로	책임성 파괴 지점	발생 가능한 문제
레포지토리 변경	권한-구제책 연결 부족	- 개발자 중심의 추적 기록은 상세하나, 동료 작업자 등 제3자가 변경에 이의를 제기하거나 구제받기 어려움. - 합병(merge) 시점에 검토가 이뤄지지만, 그전에 외부 서비스를 호출하거나 공유 브랜치를 변경하는 등 되돌릴 수 없는 행동이 발생할 수 있음.
엔터프라이즈 브라우저 작업	시스템 간 상태 분산	- 단일 로그인 세션 등으로 에이전트가 여러 시스템에 걸쳐 권한을 확장함. - 행동 기록은 민감한 내용을 포함하나, 필드의 제도적 의미를 파악하지 못함. - 다른 시스템에 미친 영향에 대한 복구가 어렵고, 영향을 받은 동료나 고객은 에이전트의 행동 자체를 인지하지 못할 수 있음.
소매/항공 서비스	이의 제기 경로 부재	- 고객의 요청과 서비스 정책을 해석하여 행동하나, 가격, 조건, 영향을 받는 다른 승객에 대한 책임성 논의는 부족함. - 구매, 취소 등 결정적인 행동 이전에 충분한 정보와 최종 승인을 제공하지 않을 수 있음. - 고객이나 제3자는 행동 식별자 없이 이의 제기 경로를 찾기 어려움.

이 세 가지 경로는 행동의 가시성(action surface)과 책임성 종결(accountability closure) 간의 불균형이 다양한 맥락에서 어떻게 현실적 문제로 나타나는지를 구체적으로 보여줌. 추적 기록이 아무리 완벽해도, 권한, 검증, 복구, 이의 제기 메커니즘이 연결되지 않으면, 책임성은 확보되지 않음.

(4) 책임성 있는 행동을 위한 ‘액션 경로 진단’ 프레임워크: 연구는 하나의 에이전트 행동이 권한 부여부터 이의 제기까지 어떻게 책임성을 유지하는지 추적하는 7단계 진단 프레임워크를 제안함. 이 진단은 기능 목록을 확인하는 데 그치지 않고, 각 단계의 연결성을 묻는 데 중점을 둠.

이 진단 프레임워크는 다음 표와 같음.

단계	공개 질문	누락 시 실패
권한 부여	누가 어떤 범위의 권한을 위임했는가?	기술적 접근이 위임된 권한을 대체함.
행동	어떤 상태 변화가 중요했으며, 어떤 데이터나 계정에 영향을 미쳤는가?	요약 정보가 결정적 전환을 숨김.
추적	요청, 정책, 행동, 상태 변화, 행위자를 연결하는 증거는 무엇이며, 누가 이 증거에 접근할 수 있는가?	디버깅 기록이 책임성 있는 설명을 지원하지 못함.
체크포인트	결정적인 변화 이전에 실행을 중단하는 조건은 무엇이며, 누가 이를 승인 또는 거부할 수 있는가?	승인이 중요한 결정 이후에 도달함.
검증	어떤 검증 주체가 어떤 증거를 사용하며, 행위자로부터 어떻게 독립적이며, 행동을 중단시킬 수 있는가?	행위자가 스스로의 추론을 지지함.
복구	무엇을 되돌리거나, 중단하거나, 보상하거나, 수정할 수 있으며, 누가, 어떤 시간 내에 가능한가?	오류 문서화가 구제책을 대체함.
이의 제기	누가 행동에 이의를 제기할 수 있으며, 어떻게 이를 식별하고, 누가 이의를 검토하며, 어떤 구제책이 따르는가?	피드백은 존재하나, 책임성이 부재함.

이 진단은 배포 전 액션 클래스 수준에서, 그리고 이벤트 발생 후 개별 액션 수준에서 적용됨. 특히 ‘위험 민감도’에 따라 각 단계의 엄격성이 달라짐. 경미한 읽기 전용 작업은 최소한의 증거만 필요하나, 파급력이 큰 상태 변경 작업은 더욱 강력한 체크가 필수적임.

(5) 책임성 실패를 유발하는 8가지 ‘진단 위험 모드’: 연구는 액션 경로 진단과 함께 책임성 연속성이 실패하는 반복적인 방식들을 8가지 위험 모드로 분류함. 이 모드들은 에이전트 시스템 설계 및 검사 시 고려해야 할 구체적인 위험 지점을 제공함.

위험 모드	인식 규칙	검토할 런타임 대응
자율성 확장	위임된 범위가 기본값, 기억된 권한, 축소된 프롬프트를 통해 확장됨.	범위 제한된 식별, 만료, 철회, 최소 권한 도구 적용.
부적절한 체크포인트	검토가 잘못된 단계 이전에 발생하거나 실제적인 되돌릴 수 없는 시점 이후에 발생함.	결정적 상태 변경 전 액션 클래스 게이트.
전이된 검증 부담	이해관계자가 증거가 접근 불가능한 추적 기록이나 요약으로 이동한 후 결과를 판단해야 함.	역할별 증거 및 검토 지점.
자기 강화 검증	행위자와 검증자가 모델, 맥락, 가정, 증거 출처를 공유함.	독립적 증거, 중단 권한, 공개된 공유 가정.
지연된 에스컬레이션	불확실성이나 누적 위험이 경로를 변경해야 할 시점 이후에 인수인계가 발생함.	불확실성, 이해관계, 하위 시스템 영향에 연결된 에스컬레이션 트리거.
미흡한 복구 경로	잘못된 행동에 대해 되돌리기, 수정, 보상, 억제, 보상이 부족함.	액션 클래스 및 결과에 따라 설계된 복구.
과도한 로깅	증거 수집이 책임성 필요를 초과하거나 접근 및 보존 한계가 부족함.	목적 제한, 최소화, 역할 기반 접근, 보존 기간 제한.
제3자 불투명성	영향을 받은 비사용자가 행동을 식별, 이의 제기, 수정할 수 없음.	액션 식별자, 고지, 자격, 검토 주체, 구제책.

이러한 위험 모드는 책임성 상실이 단일 원인이 아니라, 여러 취약점이 복합적으로 작용하여 발생함을 보여줌. 하나의 도구 오용 사건이 자율성 확장, 잘못된 체크포인트, 지연된 에스컬레이션, 미흡한 복구가 결합되어 나타날 수 있음. 이 분류는 복잡한 액션 경로를 단순한 안전 라벨로 대체하지 않고, 구체적인 연결 고리를 파악하게 함.

4. 결론 및 시사점

(1) 이 연구는 에이전트 AI의 책임성이 ‘하네스’라는 런타임 인프라에서 결정됨을 입증함. 특히, 공개된 자료에서는 에이전트의 ‘행동’이 명확히 드러나는 반면, ‘개입, 독립적 판단, 복구, 이의 제기’와 같은 책임성 메커니즘은 파악하기 어렵다는 실증적 불균형을 보여줌. 이는 기술적 ‘관찰 가능성’이 제도적 ‘책임성’을 대체할 수 있다는 중요한 함의를 지님.

(2) 교육 현장에 주는 시사점: AI 에이전트 도입 시 ‘무엇을 할 수 있는가’라는 기능적 측면만으로는 부족하며, ‘어떻게 통제되고, 누가 책임지며, 문제 발생 시 어떻게 해결하는가’에 대한 명확한 책임성 설계가 필수적임. 학습 관리, 과제 평가, 교육 콘텐츠 생성 등 교육 현장에서 에이전트가 수행할 수 있는 모든 ‘액션 경로’를 사전에 진단하고, 각 단계에서 발생 가능한 위험과 책임성 확보 방안을 문서화해야 함. 특히, 학생의 학습 과정, 개인 데이터 변경, 평가 결과 활용 등 민감한 영역에서의 에이전트 행동은 엄격한 체크포인트와 복구 메커니즘이 요구됨.

(3) AI 설계에 주는 시사점: 에이전트 AI 설계자는 사용자(교사, 학생)뿐 아니라 에이전트의 행동으로 영향을 받을 수 있는 제3자(학부모, 학교 관리자)의 관점에서 책임성 메커니즘을 투명하게 제공해야 함. 이는 ‘권한 부여’, ‘체크포인트’, ‘독립적 검증’, ‘복구’, ‘이의 제기 경로’를 포함함. 풍부한 로그 기록을 제공하는 것만으로는 부족하며, 각 역할에 맞는 맞춤형 증거 뷰를 제공하여 책임성 확보를 위한 정보 접근성을 높이는 것이 중요함. 교육 환경의 특성을 고려한 프라이버시 보호와 목적 제한적 증거 수집 또한 책임성 설계의 중요한 부분임.

5. 리뷰어의 ADD(+) One: 생각 더하기

(1) 이 논문에서 가장 주목할 지점은 ‘관찰 가능성(Observability)’이 ‘책임성(Accountability)’을 대체할 수 있다는 주장임. 우리는 흔히 AI의 투명성을 높이기 위해 더 많은 로그와 기록을 요구함. 하지만 이 연구는 기술적으로 완벽한 로그가 존재하더라도, 그것이 ‘의미 있는 개입’, ‘독립적 판단’, ‘문제 해결’로 이어지는 제도적 연결 고리가 없다면 책임성은 확보되지 않음을 단언함. 이는 교육 현장에 큰 함의를 줌. AI 시스템이 학생의 학습 과정을 모든 단계에서 기록한다 해도, 그 기록이 교사나 학생이 AI의 결정에 이의를 제기하고, 독립적으로 검토하며, 잘못된 결과를 수정하는 데 사용되지 못한다면, 그 기록은 단순한 감시 도구에 불과하게 됨. 우리는 이제 ‘AI가 무엇을 했는지’에 머물지 않고 ‘AI가 한 일에 대해 누가, 어떻게 책임을 지는가’라는 본질적인 질문을 던져야 함.

(2) 이 논문이 명시하지 않은 더 넓은 의미는 교육철학 및 인간과 기술의 상호작용(HCI) 분야와 연결됨. ‘하네스’를 단순한 기술적 래퍼가 아닌 ‘책임성 인프라’로 재구성하는 관점은, 교육 시스템 내에서 AI의 ‘자율성’과 인간의 ‘주체성’ 사이의 경계를 재정의할 필요성을 제기함. AI 에이전트가 교사의 역할을 부분적으로 수행할 때, 궁극적인 교육적 판단의 권한은 누구에게 귀속되는가? AI의 행동이 학생의 학습 경험에 미치는 영향에 대한 ‘도덕적 책임’은 어디까지 AI에게, 그리고 어디부터 교사나 학교에게 돌아가는가? 이는 기술적 설계의 문제에 그치지 않고 교육의 본질과 인간의 역할에 대한 심도 깊은 철학적 질문으로 확장됨. AI 에이전트가 ‘생각’하는 과정을 얼마나 ‘인간이 이해 가능한 방식’으로 드러내고, 그 과정에서 인간이 ‘의미 있게 개입할 기회’를 설계하는지가 핵심임을 시사함.

(3) 이 연구를 발전시킬 구체적 아이디어는 교육용 AI 에이전트 도입 전 ‘교육적 책임성 진단 워크숍’ 의무화에 있음. 예를 들어, 챗GPT와 같은 LLM 기반의 글쓰기 보조 에이전트가 학생의 작문 과제를 검토하고 수정 제안을 하는 시나리오를 상정함. 이 워크숍에서는 논문의 ‘액션 경로 진단’ 7단계를 바탕으로 다음 질문들을 구체적으로 다룸: (1) 학생의 어떤 동의 하에 에이전트가 과제에 접근하고 수정 제안을 하는가? (2) 에이전트가 제안한 수정 사항 중 ‘결정적인 변화’는 무엇이며, 이 변화가 학생의 성적에 어떻게 영향을 미치는가? (3) 에이전트의 수정 제안 과정은 교사와 학생 모두에게 투명하게 기록되며, 그 기록은 이의 제기에 활용 가능한가? (4) 교사는 에이전트의 수정 제안이 학생의 학습 목표에 부합하는지 독립적으로 검증하고, 필요시 제안을 철회할 수 있는가? (5) 학생이 에이전트의 제안에 이의를 제기하고 교사로부터 재검토를 받을 수 있는 명확한 절차가 있는가? 이러한 워크숍은 AI 기능을 도입하는 데 그치지 않고, 교육적 가치와 책임성 확보를 위한 실질적 가이드라인을 수립하게 함.

6. 추가 탐구 질문

(1) 교육 현장에서 AI 에이전트의 ‘책임성 종결(accountability closure)’을 높이기 위한 제도적, 기술적 최소 요건은 무엇이며, 이를 교육 시스템에 효과적으로 통합하기 위한 정책적 방안은 무엇인가?

(2) 학습 데이터 프라이버시와 ‘과도한 로깅’의 윤리적 딜레마 속에서, AI 에이전트의 ‘책임성 증거’는 어떻게 목적 제한적으로 설계되어야 하며, 각 이해관계자(학생, 교사, 학부모, 학교)에게 필요한 정보만 선별적으로 제공하는 메커니즘은 무엇인가?

(3) AI 에이전트의 행동으로 직접 영향을 받은 학생이 자신의 ‘액션 경로’를 이해하고 이의를 제기할 수 있도록, 교육용 에듀테크 플랫폼의 사용자 경험(UX) 및 인터페이스는 어떻게 디자인되어야 하는가?

출처

• Shi, H., & DiFranzo, D. (2026). When Agents Act Unwatched: The Reduced-Supervision Paradox in Agentic AI. arXiv preprint arXiv:2609.29547.