대규모 언어 모델은 통계적 앵무새가 아니다

일부에서는 여전히 대규모 언어 모델(LLM)을 단순히 다음에 올 단어를 예측하는 ‘통계적 앵무새’로 간주한다. 이 관점은 인공지능(AI)이 진정한 추론 능력이나 지능을 가질 수 없다고 주장하며, 현재의 눈부신 발전과 빅테크 기업들의 막대한 투자를 과장된 허상이나 사기로 치부한다. 그러나 이러한 시각은 챗GPT-3.5 등장 이전의 오래된 생각에 머물러 있다.

오래된 비판과 컴퓨터의 사례

LLM을 단순한 통계적 예측 도구로 보는 시선은 마치 과거 컴퓨터 기술에 대한 우려와 유사하다. 컴퓨터는 10진수가 아닌 2진수로 작동하며, 0.1과 같은 부동소수점을 0.000110011…과 같은 근사치로만 표현할 수 있다. 1960년대에는 이러한 소수점 오차 때문에 2진법 컴퓨터가 근본적으로 불완전하다는 시각이 존재했다. 하지만 소프트웨어 계층이 이 한계를 우회하여 해결책을 제시했고, 이러한 우려는 수십 년 전부터 사라졌다.

LLM은 시스템의 핵심 요소

현재의 AI는 LLM을 일종의 커널로 삼는 복합 시스템이다. 단순히 LLM 자체를 놓고 다음에 올 확률이 높은 단어를 예측하는 ‘통계적 앵무새’라고 단정하는 것은 LLM을 단독 모델로만 바라보는 데서 비롯되는 오류다.

소프트웨어 계층이 2진법의 부동소수점 오차라는 근본적 한계를 극복했듯이, AI 시스템은 LLM의 한계를 시스템 레이어로 감싸서 해결한다. AI는 이미 여러 도구를 엮는 일종의 운영체제(OS)나 에이전트로 진화했다. 같은 LLM 모델을 사용해도 어떤 지식 베이스를 연결하는지, 어떤 워크플로우로 호출을 구성하는지, 어떤 도구에 어떤 권한으로 연결하는지에 따라 결과는 크게 달라진다.

다음은 LLM의 주요 한계와 이를 AI 시스템이 어떻게 보완하는지 보여준다.

LLM의 알려진 한계	시스템 레벨의 해결책
기억 상실	검색 및 외부 메모리 연결
최신 정보 부족	검색 및 외부 메모리 연결
결정론적 검증 및 계산 불가	코드 실행기 연결

이러한 시스템적 보완은 LLM이 가진 자체 한계를 뛰어넘어 훨씬 복잡하고 다양한 작업을 수행하게 한다.

시대에 뒤떨어진 관점

LLM이 기억을 못 한다거나, 최신 정보를 모른다거나, 단순히 통계적 앵무새에 불과하다는 주장은 이미 챗GPT-3.5가 출시되면서 시대에 뒤떨어진 생각이었다. 추리소설의 범인을 정확히 예측한다면, 이는 단순히 통계적 패턴으로 한 단어를 예측하는 것이 아니다. 이 예측은 소설 속 모든 인물의 관계, 동기, 물리적 위치, 심리 상태를 종합적으로 추론한 결과다.

LLM이라는 이름에도 불구하고, 챗GPT-3.5는 출시 시점에 이미 언어 모델의 한계를 넘어서는 범용 추론 엔진의 면모를 보였다. 일리야 수츠케버 등 이를 직접 개발한 사람들과 대다수 전문가들은 3~4년 전부터 이 사실을 지속적으로 강조했다. 여전히 LLM을 통계적 앵무새로 단정한다면, 이는 지식 업데이트가 되지 않은 것이며 지적으로 게으른 태도이다.

빅테크 투자와 AI의 미래

전 세계 빅테크 기업들이 사상 최대 규모의 자본을 AI에 쏟아붓고, 이에 따라 세계 경제가 크게 요동치는 현상은 과연 무엇을 의미하는가? 이 모든 움직임이 아무 근거 없는 호들갑이며 AI가 단순한 사기라고 보는 시각은 현실을 외면하는 것과 다름없다. LLM은 단순한 예측 모델이 아니라 AI 시스템의 핵심 구성 요소로 진화하고 있다.

음악이론·즉흥연주의 시선으로 보면

음악이론과 즉흥연주의 관점에서 LLM과 AI 시스템의 관계를 이해할 수 있다. 개별 음표나 기본적인 코드 진행은 마치 LLM의 단순한 언어 예측 기능과 같다. 이들은 그 자체로 완전한 지능을 나타내지 않는다. 그러나 숙련된 즉흥연주자는 이 기본적인 음표와 코드에 방대한 음악 이론 지식, 화성학 규칙, 리듬 패턴, 그리고 연주 기법이라는 ‘외부 메모리’와 ‘도구’를 결합한다. 이러한 시스템적 접근으로 단순한 음의 나열은 유기적이고 복잡한 구조를 가진 음악적 추론의 결과물이 된다. 즉흥연주가 단순한 음표의 확률적 나열이 아닌, 고도의 음악적 지능을 발현하는 과정과 AI 시스템의 진화는 구조적으로 닮아 있다.

출처

• 닷커넥터 자체 정리