544 ／ 548
LLM 시대, 전문성이 가치를 보상하는 방식
LLM이 보편화하며 누구나 다양한 분야에서 준수한 결과물을 만들 수 있는 시대가 열렸다. 하지만 같은 모델에서 훨씬 큰 가치를 끌어내는 핵심은 단순한 프롬프트 기법이 아니다. 결국 도메인 전문성이 LLM 활용의 진정한 차이를 만든다.
AI 시대의 전문성 재조명
LLM은 기술적 공백을 메우는 데 큰 도움을 준다. 과거에는 CSS 같은 기술 문제를 해결하기 위해 숙련된 동료에게 묻거나 정확한 인터넷 답변을 찾아야 했다. 이제는 LLM에 작업을 위임하여 어느 정도 괜찮은 결과를 쉽게 얻는다. 이는 누구나 제너럴리스트가 될 수 있음을 의미한다.
그러나 이면에는 중요한 사실이 있다. 숙련된 프롬프트 사용자와 초보자가 같은 모델을 써도 비슷한 결과를 얻는다는 인식이 있지만, 가장 중요한 프롬프트 역량은 요청 분야에 대한 전문성에 있다.
테렌스 타오의 챗GPT 대화 방식
세계적인 수학자 테렌스 타오(Terence Tao)의 챗GPT 대화 사례는 전문성이 LLM 활용에 어떤 영향을 미치는지 명확히 보여준다. 타오는 최근 발견된 Jacobian Conjecture 반례를 챗GPT와 논의한다.
그의 대화 방식은 다음과 같다.
- 간결하고 직접적인 메시지: 메시지는 짧고 핵심적이다.
- 요지에 대한 반응: 모델의 긴 답변을 항목별로 반박하기보다 요점에만 대응한다.
- 수학자 대 수학자 대화 유도: 전문성을 바탕으로 모델이 초보자에게 설명하는 방식이 아니라, 마치 동료 수학자와 대화하듯 간결하게 답하도록 유도한다.
- 간접적인 재검토 유도: 답이 잘못돼 보여도 직접 모순을 선언하기보다 “기대했던 것보다 복잡해 보인다”는 식으로 모델이 스스로 재검토하게 이끈다.
- 독자적인 대안 제시: 스스로 여러 도약과 대안을 만들며 모델이 제안한 다음 진행 방향을 거의 따르지 않는다.
이러한 대화 형식만 흉내 낸다고 같은 결과에 도달하지 못한다. 챗GPT의 여러 문단에서 관련 아이디어를 골라내고, 다른 접근법이나 정식화를 제안하며, 이상한 부분을 판별하려면 실제 수학 지식이 필요하다. 타오의 전문성이 챗GPT에서 얻는 가치를 극대화한다.
코드베이스 이해가 만드는 차이
코드 개발 분야에서도 마찬가지다. 코드베이스에 관한 탄탄한 내부 이론을 지닌 개발자는 익숙하지 않은 상태보다 LLM을 훨씬 강력하게 활용한다. 좋은 해법의 형태를 스스로 예상할 수 있기 때문이다.
이들은 LLM에 다음과 같은 구체적인 방향을 제시한다.
- “여기는 더 단순하게 만들 수 있다.”
- “이미 X 기능을 하고 있지 않은가?”
- “익숙한 용어로 문제를 표현할 수 있는가?”
시스템 설계 문제는 일반 원칙보다 구체적인 세부 사항에 크게 좌우된다. 일반적인 소프트웨어 시스템 지식도 유용하지만, 실제 작업에서는 개발자가 담당하는 코드베이스에 대한 친숙함이 훨씬 큰 도움이 된다. 테렌스 타오가 “X가 여기서 작동하는가”, “Y와 Z가 주어졌는데 왜 A인가”라고 묻듯, 개발자는 자신이 담당하는 시스템에 관해 구체적인 질문을 던져 LLM을 최적화한다.
도메인 지식이 없어도 LLM에 의존해 최소한의 결과를 얻는 것은 유용하다. 하지만 깊이 있는 지식이 있다면 원하는 방향으로 적극 조정하여 같은 LLM에서 더 많은 가치를 끌어낼 수 있다.
인간 전문성의 지속적 효용
사람은 특정 영역에만 전문성을 지닌다. 따라서 실제로는 LLM에 의존하는 방식과 전문 지식으로 주도하는 방식을 함께 사용한다. 모델 안에 필요한 정보가 이미 있어도, 원하는 해법의 종류를 정확히 전달하고 이를 끌어내려면 높은 수준의 판단력이 필요하다. 많은 작업에서 모델 자체보다 인간의 판단과 소통 능력이 병목으로 남는다. 모델 성능이 계속 향상돼도 인간의 전문성은 계속 유용하다.
인지심리학의 시선으로 보면
전문가가 LLM을 더 잘 활용하는 현상은 인간의 스키마 이론과 연결된다. 스키마는 특정 분야의 지식과 경험이 고도로 조직화된 인지 구조다. 전문가는 풍부하고 잘 구조화된 스키마를 바탕으로 LLM의 광범위한 정보 속에서 관련성을 빠르게 파악하고, 불일치를 감지하며, 다음 단계를 효과적으로 계획한다. 이는 단순한 정보 처리가 아닌, 고차원적인 지식 구조가 상호작용의 질을 결정함을 보여준다.
출처
- Goedecke, S. LLMs reward expertise. https://www.seangoedecke.com/llms-reward-expertise/
- 경유: GeekNews. https://news.hada.io/topic?id=32119