6 분 소요

실용적인 ‘인간 중심’ 프레임워크 (Beyond “human in the loop”)

오늘날의 “인간 중심” 구현의 대부분은 사람이 진정한 권한과 생각할 시간을 갖고, 시스템에 의문을 제기할 만큼 큰 그림을 잘 이해함이 전혀 없습니다. 대신, 채용 담당자가 유망한 지원자를 보기도 전에 알고리즘에 의해 채용 지원서가 거부되는 것을 보게 됩니다. 상담원에게 실제 문제 해결에 필요한 맥락을 제공하는 대신, 오히려 짜증을 유발하는 고객 서비스 봇이 등장합니다. AI 시스템은 인간을 대체하는 것처럼 판매되지만, 정작 인간을 증폭하는 역할을 해야 합니다.

AI 시스템을 구축하는 조직에서 제가 사용하는 프레임워크를 여기서 공유하고자 합니다. 이 프레임워크는 모든 리더가 답할 수 있는 두 가지 실질적인 질문으로 시작됩니다.

무엇을 최적화하고 있으며, 무엇이 중요한가?

저는 이를 16가지의 연구 기반 접근법으로 종합했습니다. 되돌릴 수 없는 결정을 위한 “서킷 브레이커 프로토콜”부터 저위험 자동화를 위한 “피드백 학습”까지 말입니다. 각 접근법은 인간에게 진정한 효과를 발휘하는 데 필요한 권한, 시간, 그리고 이해를 제공하는 것을 목표로 설계되었지만, 동시에 AI가 일상적인 작업을 자동화하고 적절한 보호 장치를 마련하여 일관되게 수행할 수 있는 잠재력을 잘 인지하고 있습니다.

목표는 완벽한 분류가 아니라, 일반적인 ‘인간 참여’를 넘어 실제로 의도한 시스템을 구축하는 것이며, 우연히 만든 시스템이 아닙니다.

Tey Bannerman은 “human in the loop”라는 일반적인 문구를 넘어, 조직이 AI 시스템을 구축할 때 실제로 달성하려는 목표와 직면할 수 있는 위험을 고려하여 효과적인 인간-AI 감독을 설계하기 위한 실용적인 프레임워크를 공유하고 있습니다.

실용적인 인간중심 프레임워크

이 프레임워크는 “무엇을 최적화하고 있는가?” (예: 품질/정확성, 규정 준수, 혁신, 속도/볼륨)와 “무엇이 걸려 있는가?” (예: 돌이킬 수 없는 결과, 회복 가능한 차질, 큰 영향의 실패, 낮은 위험의 결과)라는 두 가지 질문에서 시작됩니다.

AI와의 협업과 통제 방식을 단순히 사람이 중간에 개입한다 수준이 아니고,

  1. 무엇을 최적화하려는가? 2. 무엇이 위태로운가?라는 두 축으로 구체화 한 것을 교실로 가져와서 보면
  2. 우리가 어떠한 교육목표를 위해 AI를 쓰는가? 2. 그 결과에 따른 책임과 위험은 어느 정도인가? 의 두가지 축으로 볼 수 있습니다.

결국 교사의 전문성은 AI를 쓸까 말까가 아니라, 어떤 순간에, 어떤 깊이로 AI를 개입시킬 것인가를 판단하는 것에 있습니다.

훌륭한 음악은 음표를 찍는 것이 아니라 쉼표를 언제, 어디에 찍느냐에 관한 것이다.

이 말은 참 여러 군데 잘 통용되는 말이 맞는 듯 합니다.


이러한 두가지 축 질문에 대한 답을 바탕으로, 프레임워크는 네 가지 광범위한 인간-AI 감독 수준을 제시합니다:

  • 능동적 제어 (Active control): 항상 인간의 권한이 있는 경우.
  • 인간 증강 (Human augmentation): AI 지원을 통해 인간이 주도하는 경우.
  • 가이드 자동화 (Guided automation): 인간의 감독이 있는 AI 시스템.
  • AI 자율성 (AI autonomy): 인간 개입이 최소화된 경우.


16가지 인간-AI 감독 접근 방식

다음은 이 프레임워크 내의 16가지 연구 기반 접근 방식에 대한 개별 설명입니다. 이 접근 방식들은 인간에게 진정으로 효과적이기 위해 필요한 권한, 시간, 이해를 제공하도록 설계되었습니다.

  1. 전문가 재정의 시스템 (Expert override systems): 시스템이 특정 추론 과정을 설명하면, 인간 도메인 전문가가 이를 검토하고 검증합니다. 이들은 AI 출력에 반대하거나 재정의할 수 있는 완전한 권한을 가집니다.
  2. 정기적인 전문가 검토 (Regular expert review): 전문가가 AI 시스템의 결정을 주기적으로 감사하여, 패턴을 식별하고 시스템 매개변수를 필요에 따라 조정하는 방식입니다.
  3. 스팟 체킹 (Spot checking): AI 결정의 품질 보증 및 시스템 보정을 위해 AI가 내린 결정 중 무작위로 일부를 샘플링하여 검토하는 방식입니다.
  4. 피드백 학습 (Feedback learning): AI 시스템이 사용자 상호 작용 및 피드백을 통해 학습하고 시간이 지남에 따라 성능을 개선해 나가는 방식입니다.
  5. 필수적인 인간 승인 (Mandatory human approval): AI가 특정 결정을 권장하지만, 명시적인 인간의 승인 없이는 어떠한 자동화된 조치도 이루어지지 않는 방식입니다.
  6. 승인 워크플로우 (Approval workflows): AI가 일상적이고 표준적인 사례를 처리하고, 복잡하거나 예외적인 ‘엣지 케이스’는 인간 검토자에게 에스컬레이션하여 판단을 구하는 방식입니다.
  7. 규칙 기반 가드레일 (Rule-based guardrails): AI가 미리 정의된 특정 매개변수 또는 규칙 내에서 작동하도록 설정되며, 이러한 규칙을 벗어나는 예외 상황에 대해서는 인간의 감독이 이루어지는 방식입니다.
  8. 템플릿 자동화 (Template automation): 시스템이 변동이 거의 없는 일상적이고 표준화된 프로세스를 처리하는 데 사용됩니다.
  9. 창의적 협업 (Creative collaboration): AI가 다양한 옵션이나 초안을 생성하면, 인간이 이에 창의적인 방향과 전략적 맥락을 추가하여 최종 결과물을 만들어내는 협업 방식입니다.
  10. 협업적 검증 (Collaborative validation): AI와 인간이 독립적으로 데이터를 분석하고, 각자의 분석에서 불일치나 차이점을 발견하면 이를 함께 해결하여 최종적인 결정을 내리는 방식입니다.
  11. 생성형 지원 (Generative assistance): AI가 인간의 고려를 위한 창의적인 제안이나 다양한 변형 아이디어를 제공하여 인간의 작업을 돕는 방식입니다.
  12. 협업적 아이디어 구상 (Collaborative ideation): AI가 초기 개념이나 아이디어를 생성하면, 인간이 이를 다듬고 전략적인 통찰력을 추가하여 발전시키는 방식입니다.
  13. 회로 차단기 프로토콜 (Circuit-breaker protocols): 인간이 시스템을 즉시 중단시킬 수 있는 권한을 가지며, 여러 검증 단계와 명확한 에스컬레이션 체인을 포함하여 돌이킬 수 없는 결과가 발생할 위험이 높은 상황에 대비하는 방식입니다.
  14. 모니터링 자동화 (Monitored automation): AI가 자율적으로 작동하지만, 인간이 실시간으로 시스템을 모니터링하며 이상 징후나 비정상적인 패턴이 감지되면 경고를 받는 방식입니다.
  15. 일괄 처리 (Batch processing): AI가 대량의 데이터를 처리하고, 인간은 처리된 데이터의 샘플이나 전반적인 패턴을 검토하여 시스템의 정확성을 확인하는 방식입니다.
  16. 완전 자동화 (Full automation): AI가 최소한의 인간 개입으로 독립적으로 작동하며, 주로 성능 모니터링만이 이루어지는 방식입니다.


교육 현장에서의 적용 예시

위의 16가지 접근 방식을 교육 현장의 수업 및 평가 장면에 적용하면 다음과 같이 구체화할 수 있습니다.

  1. 전문가 재정의 시스템 (Expert override systems): AI가 학생의 서술형 답안을 채점 기준에 따라 평가하고 특정 부분에서 감점했습니다. 하지만 교사는 학생의 독창적인 문제 해결 방식을 인정하여 AI의 평가 결과를 무시하고 점수를 상향 조정할 수 있는 최종 권한을 가집니다.
  2. 정기적인 전문가 검토 (Regular expert review): 학기 말, 교사들이 AI 기반 학습 플랫폼의 데이터 분석 결과를 함께 검토합니다. AI가 특정 유형의 학생 오류를 반복적으로 잘못 분류하고 있음을 발견하고, 다음 학기를 위해 시스템의 분석 기준을 수정합니다.
  3. 스팟 체킹 (Spot checking): AI가 밤새 채점한 100개의 단답형 퀴즈 중, 교사가 무작위로 10개를 선정하여 직접 재확인합니다. 이를 통해 전체 채점 결과의 신뢰도를 빠르게 점검합니다.
  4. 피드백 학습 (Feedback learning): AI 튜터가 학생의 작문에 대한 피드백을 제공한 후, 학생은 “이 피드백이 도움이 되었나요?”라는 질문에 ‘예/아니오’로 답합니다. 이 데이터는 AI가 더 유용한 피드백을 제공하도록 학습하는 데 사용됩니다.
  5. 필수적인 인간 승인 (Mandatory human approval): AI가 학생의 1년간 학습 데이터를 분석하여 최종 성적을 ‘B+’로 추천합니다. 하지만 이 성적은 교사가 학생의 수업 참여도, 노력 등 정성적 요소를 고려하여 최종 승인하기 전까지는 확정되지 않습니다.
  6. 승인 워크플로우 (Approval workflows): AI가 학생들의 코딩 과제 중 표준적인 풀이법을 사용한 90%를 자동으로 채점합니다. 하지만 독특하거나 예외적인 알고리즘을 사용한 10%의 과제는 ‘교사 확인 필요’로 분류하여 교사에게 전달합니다.
  7. 규칙 기반 가드레일 (Rule-based guardrails): 학생용 AI 챗봇에게 ‘개념 설명은 가능하지만, 숙제의 정답을 직접 알려주어서는 안 된다’는 규칙을 설정합니다. 학생이 정답을 요구하면, 챗봇은 규칙에 따라 관련 개념을 설명하는 방향으로 유도합니다.
  8. 템플릿 자동화 (Template automation): AI가 학교 정보 시스템에서 학생의 출결 및 성적 데이터를 자동으로 가져와 주간 학습 보고서 템플릿에 채워 넣습니다. 교사는 완성된 보고서를 검토하고 버튼 하나로 학부모에게 발송합니다.
  9. 창의적 협업 (Creative collaboration): 교사가 ‘환경 보호’ 프로젝트 수업을 기획할 때, AI는 관련 주제, 참고 영상, 활동 아이디어 목록을 생성합니다. 교사는 이 자료들을 교육적으로 재구성하고 자신의 철학을 담아 최종 수업 계획을 완성합니다.
  10. 협업적 검증 (Collaborative validation): 학습 부진 학생에 대해, 교사는 수업 태도와 표정을 관찰하고(정성적 분석), AI는 온라인 학습 활동 패턴과 퀴즈 결과를 분석합니다(정량적 분석). 두 분석 결과의 공통점과 차이점을 비교하며 학생의 어려움에 대한 종합적인 진단을 내립니다.
  11. 생성형 지원 (Generative assistance): 글쓰기 시간에 아이디어가 떠오르지 않는 학생에게 AI가 “비 오는 날의 운동화”라는 주제로 시작할 수 있는 세 가지 다른 첫 문장을 제안하여 학생의 창의성을 자극합니다.
  12. 협업적 아이디어 구상 (Collaborative ideation): 모둠별 토론 활동에서 AI가 ‘인구 문제’라는 핵심 단어를 바탕으로 마인드맵을 생성하며 ‘고령화’, ‘저출산’, ‘지방 소멸’ 등의 하위 주제를 제시합니다. 학생들은 이를 바탕으로 토론을 구체화합니다.
  13. 회로 차단기 프로토콜 (Circuit-breaker protocols): AI 감독관이 온라인 시험 중 부정행위 의심 상황(예: 다른 사람의 목소리 감지)을 포착했을 때, 자동으로 시험을 중단시키지 않고 즉시 인간 감독관에게 알람을 보냅니다. 인간 감독관이 상황을 파악하고 시험 중단 여부를 최종 결정합니다.
  14. 모니터링 자동화 (Monitored automation): AI가 학생 수준에 맞춰 개인별 학습 진도를 자동으로 조절합니다. 교사는 실시간 대시보드를 통해 전체 학생의 진행 상황을 한눈에 파악하고, 특정 개념에서 어려움을 겪는 학생이 감지되면 즉시 개입하여 1:1 지도를 제공합니다.
  15. 일괄 처리 (Batch processing): AI가 학생 200명의 짧은 에세이를 모두 채점한 후, 교사에게는 전체 학생이 가장 많이 틀린 맞춤법, 주요 문법 오류, 가장 잘 쓴 에세이 샘플 등을 요약한 리포트만 제공합니다.
  16. 완전 자동화 (Full automation): 학생들이 사용하는 어휘 학습 앱이 AI를 통해 매일 개인화된 퀴즈를 자동으로 생성하고 채점합니다. 교사는 개입하지 않고, AI가 학생의 성과에 맞춰 난이도를 조절하며 학습을 진행시킵니다.

결국 교육자는 두가지 축을 기준으로 수업-평가 장면에 적합한 AI의 개입 정도와 교사의 의사결정의 깊이를 설계할 수 있어야 합니다. 이제는 막연하고 우연적인 인간 중심의 접근이 아니라, 세밀하고 의도적인 인간 중심의 접근이 필요한 때입니다.


출처: Tey Bannerman(2025). Beyond “human in the loop”: A practical framework for designing human-AI oversight. (최근 열람일: 2025. 9. 3.)