584 ／ 592
AI 활용법, 이제는 프롬프트 아닌 시스템 설계가 핵심이다
생성형 인공지능(AI)을 잘 사용하려면 길고 정교한 질문이 필수라는 기존 공식이 흔들린다. 최신 AI가 사용자의 짧은 지시에서도 의도를 파악하고 필요한 작업을 스스로 구체화하는 방향으로 발전하기 때문이다. 이제 AI 활용의 중심은 ‘무엇을 어떻게 말할지’보다 AI가 필요로 하는 정보와 업무 도구를 제공하고 실행 과정과 결과를 통제하는 ‘일하는 구조’를 설계하는 방향으로 이동한다.
프롬프트의 시대가 저문다
과거 생성형 AI는 사용자가 입력한 질문에 한 차례 답변을 내놓는 방식이었다. 참고할 정보와 기능이 제한적이어서, 역할, 조건, 사례, 답변 형식 등을 얼마나 구체적으로 프롬프트에 담느냐에 따라 결과가 크게 달라졌다. 프롬프트 엔지니어링이 AI 활용의 핵심 역량으로 주목받은 배경이다.
하지만 최신 AI 모델의 성능이 향상되면서 이러한 경향은 변화한다. AI는 사용자의 말을 이해해 스스로 프롬프팅하는 기능을 내재화한다. 서비스 운영자가 설정하는 ‘시스템 프롬프트’와 사용자가 입력하는 ‘사용자 프롬프트’가 통합되어 간소화된다. 제조 기업의 한 관계자는 과거 프롬프트의 중요성을 강조하면서도 지금은 여러 요소 중 하나로 영향력이 줄었다고 말한다.
AI가 단순한 챗봇에서 AI 에이전트로 발전한 점도 프롬프트의 영향력 감소에 기여한다. 기존 챗봇은 질문에 답하면 작업이 끝났지만, 에이전트는 목표 달성을 위해 정보를 검색하고 문서를 읽으며 외부 프로그램을 실행한다. 이용자의 질문만으로 결과가 정해지는 것이 아니라, AI가 어떤 자료를 참고하고 어떤 도구를 선택했는지가 결과에 함께 작용한다.
과거와 현재 AI 활용 방식의 차이는 다음과 같다.
| 구분 | 과거 (프롬프트 엔지니어링 중심) | 현재 (시스템 엔지니어링 중심) |
|---|---|---|
| AI 이해 방식 | 사용자의 길고 구체적인 프롬프트에 의존한다 | 사용자의 짧은 지시에서도 의도를 파악하고 스스로 구체화한다 |
| AI의 역할 | 질문에 한 차례 답변하는 챗봇 기능에 머문다 | 목표 달성을 위해 정보 검색, 문서 분석, 외부 프로그램 실행 등 다단계 작업을 수행하는 에이전트 역할을 한다 |
| 핵심 역량 | 역할, 조건, 사례 등을 담은 프롬프트 작성 능력이다 | AI에 필요한 정보와 도구를 제공하고, 실행 과정과 결과를 통제하는 일하는 구조 설계 능력이다 |
| 주요 개념 | 시스템 프롬프트와 사용자 프롬프트 설계를 구분한다 | 맥락 엔지니어링, 하네스 엔지니어링, 오케스트레이션이 부상한다 |
AI의 발전으로 사용자의 직접적인 프롬프트 작성 부담은 줄어든다. 대신 AI가 작업을 수행하는 전체적인 구조를 설계하고 관리하는 능력의 중요성이 커진다.
맥락 엔지니어링, 올바른 정보 선별하기
맥락 엔지니어링은 AI가 참고할 정보 전체를 구성하는 작업이다. 프롬프트가 AI에 내리는 개별 지시라면, 맥락은 관련 문서, 검색 결과, 대화 기록, 업무 규칙, 도구 설명까지 포함한다. 앤트로픽은 맥락 엔지니어링을 원하는 행동이 나올 가능성을 높이도록 AI에 제공할 정보를 선별하고 관리하는 작업으로 설명한다.
자료를 무조건 많이 제공한다고 결과가 좋아지는 것은 아니다. 업무와 무관한 문서나 기록까지 한꺼번에 넣으면 AI가 핵심을 놓치고, 처리 시간과 토큰 사용량도 늘어난다. 한 AI 스타트업 임원은 정보가 정리되지 않으면 AI가 도서관의 모든 책을 하나씩 꺼내보는 것처럼 일하게 된다고 말한다. 불필요한 정보가 쌓이면 엉뚱한 내용을 가져오거나 환각(hallucination)이 발생할 가능성도 커진다. 업무에 필요한 정보만 골라 제때 제공하는 역량이 중요한 이유다.
하네스 엔지니어링, AI의 작업 통제 구조
AI가 사용할 도구와 업무 순서를 짜는 하네스 엔지니어링도 새로운 과제로 떠오른다. 하네스는 AI에 해야 할 일과 금지할 행동을 알려주고, 사용할 도구와 권한, 작업 시작·종료 조건을 설정하는 실행 틀이다. 여러 에이전트나 도구에 업무를 나누어 맡기고 결과를 취합하는 오케스트레이션도 여기에 포함된다. 공사장에서 작업반장이 설계도를 보고 작업자에게 일을 나눠준 뒤 결과를 확인하는 것과 비슷한 구조이다.
하네스 엔지니어링의 핵심은 AI가 내놓은 결과를 검사하고, 기준에 미달하면 다시 작업하도록 만드는 데 있다. 생성형 AI는 같은 지시에도 다른 결과를 낼 수 있으므로, 프롬프트를 한 번 잘 작성했다고 업무 품질이 계속 유지되지 않는다. 기업은 성공 기준을 정하고, AI가 사용한 정보와 도구, 실행 결과를 기록하며, 오류가 발생하면 지침과 작업 절차를 고치는 반복 체계를 마련해야 한다.
효율적 AI 운영과 인간의 역할 변화
이러한 구조 설계는 AI 운영 비용과도 직결된다. AI가 관련 시스템과 문서를 무작정 뒤지는 대신 필요한 정보와 도구를 바로 찾으면 작업 시간과 토큰 사용량을 줄일 수 있다. 한 AI 스타트업 임원은 원하는 결과물을 얻을 때까지 들어가는 총비용을 봐야 한다며, 설계도와 지침을 제공하면 AI가 헤매지 않아 토큰을 적게 쓰면서 정확도를 높일 수 있다고 강조한다.
기업의 AI 교육도 프롬프트 작성 요령 전파를 넘어 새로운 방향으로 나아가야 한다. 현업의 업무를 AI가 처리할 수 있는 단위로 나누고, 필요한 데이터와 도구를 연결하며, 접근 권한과 성공 기준을 정하는 교육이 필요하다. 중요한 작업에는 사람이 중간 결과를 확인하는 휴먼 인 더 루프(Human In The Loop)를 적용하고, 오류가 반복되면 질문만 고치는 대신 맥락과 도구, 업무 절차를 함께 점검하는 방식이다.
프롬프트는 여전히 AI에 목표와 조건을 전달하는 데 필요하다. 하지만 코딩을 한 줄 한 줄 하던 시대는 지났다. AI가 작성한 코드를 사람이 보고 조정하며 전체 구조를 짜는 능력이 더 중요해진다. AI로 생산성이 높아진 만큼, 사람 한 명 한 명의 판단도 중요해진다.