OpenAI 코덱스 기록·재생 — 한 번 시연으로 반복 작업 자동화
반복적인 컴퓨터 작업을 인공지능에 직접 가르치는 시대가 열린다. OpenAI가 선보인 코덱스(Codex)의 기록 및 재생(Record & Replay) 기능은 사용자가 한 번 수행한 작업을 관찰하여 재사용 가능한 ‘스킬(Skill)’로 변환한다. 이 기능은 복잡한 프롬프트 작성 없이 컴퓨터에 직접 보여주는 방식으로 자동화를 구현한다.
코덱스 기록 및 재생 기능의 이해
코덱스 기록 및 재생 기능은 맥(Mac) 환경에서 사용자가 직접 워크플로를 시연하면, 코덱스가 이를 관찰하고 학습하여 재사용 가능한 스킬로 만드는 방식이다. 이 스킬은 단순한 자동화 스크립트를 넘어, 사용자의 실제 작업 방식과 숨겨진 선호까지 재사용 가능한 맥락으로 보관한다.
이 기능은 다음 상황에 적합하다.
- 반복적으로 수행하는 작업
- 사용자의 선호나 특정 규칙이 중요한 작업
- 텍스트 프롬프트로 설명하기 어렵고 직접 보여주는 편이 쉬운 사용자 인터페이스(UI) 기반 작업
예를 들어 비용 처리, 주차 공간 예약, 특정 형식의 이슈 생성, 영상 게시, 반복적인 리포트 다운로드 같은 작업을 녹화하여 스킬로 만들 수 있다. 한 번 생성된 스킬은 이후 새로운 스레드에서 호출하여 파일, 날짜 범위, 이슈 내용처럼 매번 달라지는 값만 전달하면 된다.
기능의 작동 방식과 목표
코덱스 기록 및 재생의 핵심 목표는 사용자가 이미 알고 있는 작업 절차를 코덱스에게 한 번 시연하여 그 패턴을 학습시키고 스킬로 정리하는 것이다. 이 스킬에는 다음 정보가 담긴다.
- 언제 이 스킬을 사용할지
- 어떤 입력이 필요한지
- 어떤 단계를 따라야 하는지
- 결과를 어떻게 검증할지
코덱스는 사용자가 작업을 수행하는 동안 사용자 동작과 창 내용을 관찰하며 워크플로를 학습한다. 녹화가 끝나면 코덱스는 캡처된 워크플로를 분석하여 스킬 초안을 만든다. 사용자는 이 초안을 다듬어 파일명 규칙, 기본 필드 값, 선택 기준 같은 숨겨진 선호를 명시적으로 추가하여 스킬의 완성도를 높일 수 있다.
재실행 시 코덱스는 해당 스킬을 재사용 가능한 컨텍스트로 활용하며, 현재 환경에서 가능한 도구들(예: 컴퓨터 사용(Computer Use), 브라우저 액션, 설치된 플러그인)을 조합하여 작업을 수행한다.
효율적인 사용을 위한 조건과 예시
코덱스 기록 및 재생 기능은 특정 유형의 작업에서 특히 빛을 발한다. 잘 맞는 작업은 다음 특징을 가진다.
- 단계가 안정적이고 성공 기준이 명확하다
- 매번 비슷하게 반복되지만 일부 입력값만 바뀐다
- 자연어 프롬프트로 길게 설명하기 어려운 UI 기반 작업이다
대표적인 예시는 다음과 같다.
- 비용 청구서 제출
- 주차 공간 예약
- 정해진 형식의 이슈 생성
- 영상 게시
- 주기적인 리포트 다운로드
이러한 작업들은 반복적이고 구조적이어서 코덱스가 패턴을 효과적으로 학습하고 재현하기에 용이하다.
작업 녹화부터 재실행까지
코덱스에서 작업을 녹화하고 스킬을 생성하는 과정은 다음 단계를 거친다.
- 코덱스 앱에서 플러그인(Plugins) 메뉴를 연다.
+메뉴를 선택하고 Record a skill을 고른다.- 코덱스가 제안한 프롬프트를 검토하고, 필요한 맥락을 추가한 뒤 제출한다.
- 코덱스가 작업 녹화 권한을 요청하면 승인한다.
- 맥에서 실제 워크플로를 수행한다.
- 작업이 끝나면 메뉴 바, 오버레이, 또는 코덱스에게 완료를 알려 녹화를 중지한다.
녹화 중에는 코덱스가 사용자의 동작과 창 내용을 관찰하며 학습에 필요한 정보를 수집한다. 사용자가 녹화를 멈출 때까지 계속되므로, 코덱스가 배워야 할 작업에만 집중하는 것이 중요하다. 관련 없는 정리 작업이나 후속 행동까지 녹화하면 스킬이 불필요하게 복잡해진다.
녹화가 멈추면 코덱스는 캡처된 워크플로를 분석하여 스킬 초안을 생성한다. 이후 사용자는 이 초안을 다듬어 더 정교한 스킬로 만들 수 있다.
더 나은 스킬 생성을 위한 조언
효과적인 스킬을 만들기 위해 다음 팁들을 활용할 수 있다.
- 시연은 짧고 완결성 있게 유지한다.
- 녹화 전에 목표와 매번 바뀔 수 있는 입력값을 코덱스에게 알려둔다.
- 실제와 비슷한 입력값을 사용하되, 비밀 정보나 민감한 데이터는 피한다.
- 녹화 후 스킬을 다듬는 과정에서 네이밍 규칙, 기본값, 판단 기준 등 숨겨진 선호를 추가한다.
- 워크플로가 끝나면 바로 녹화를 멈추고, 관련 없는 정리 작업은 포함하지 않는다.
기록 및 재생과 별도 플러그인 중 선택 기준
기록 및 재생 기능은 빠르게 스킬을 만드는 방법이다. 그러나 특정 상황에서는 별도의 플러그인(Plugin)을 만드는 것이 더 적합하다.
다음 표는 두 방법의 주요 사용 기준을 비교한다.
| 기준 | 기록 및 재생 (Record & Replay) | 별도 플러그인 (Separate Plugin) |
|---|---|---|
| 목적 | 빠르게 스킬을 생성한다 | 팀 전체에 안정적으로 배포한다 |
| 복잡성·통합 | 단일 워크플로 자동화 | 여러 스킬 묶기, 앱 통합 포함 |
| 관리 요구사항 | 개별 사용자 관리 | MCP 서버 추가, 설치 메타데이터 관리 |
여러 스킬을 묶거나 앱 통합을 포함하거나 MCP 서버를 추가해야 한다면, 또는 팀 전체에 안정적으로 배포해야 하는 패키지라면 별도 플러그인으로 만드는 편이 효율적이다.
기능 활성화 확인
코덱스 기록 및 재생 기능이 보이지 않는다면, 조직의 requirements.toml 설정을 확인해야 한다. [features].computer_use 섹션에서 computer_use = false로 설정되어 있으면 컴퓨터 사용과 기록 및 재생 기능이 모두 비활성화된다. 이 기능은 현재 macOS에서 제공되며, 초기 제공 지역에서 유럽 경제 지역(EEA), 영국, 스위스는 제외된다.