AI 초지능이 인류를 삼키는 15경 달러 블랙홀

AI 분야의 선구자이자 예리한 비평가인 스튜어트 러셀은 오랫동안 기계를 더 스마트하게 만드는 데 집중해왔다. 그러나 그는 지금 AI가 인류를 불필요하게 만들지 않도록 남은 경력을 쏟아붓는다. 강력한 AI가 인류의 통제를 벗어나 종말을 초래할 수 있다는 그의 경고는, 15경 달러라는 거대한 경제적 유인 아래 점점 현실로 다가온다.

AI 리스크 경고와 2017년의 시선

스튜어트 러셀은 30년 넘게 AI를 연구해 온 권위자이다. 그가 1994년에 출간한 AI 교과서는 이 분야의 표준 교재가 되었다. 그는 자신의 저서에서 AI 성공 시나리오와 발생할 수 있는 우려를 다루었다. 특히 1965년 I.J. 굿이 언급한 지능 폭발 개념, 즉 AI가 스스로 연구하여 다음 세대를 더욱 스마트하게 만들고, 이 과정이 반복되며 지능이 기하급수적으로 증가하는 현상에 대해 설명한다. 1994년 당시에는 AI 겨울로 인해 기본적인 문제 해결에도 어려움을 겪어 미래의 위험은 먼 이야기처럼 느껴졌다. 이미지 속 고양이, 개를 인식하거나 언어를 이해하는 등의 초보적인 문제 해결조차 쉽지 않던 시기였다.

그러나 2012년부터 2014년 파리에서의 안식년 동안 그의 생각은 크게 변했다. 그는 AI 분야에서 몇 가지 근본적인 문제가 해결되었다고 본다. 특히 확률 이론과 논리의 통합은 중요한 진전이었다. 논리는 형식 언어를 다루지만 불확실성을 표현할 수 없었고, 확률 이론은 불확실성을 다루지만 복잡한 믿음을 표현할 형식 언어가 부족했다. 이 두 분야의 통합으로 완전히 새로운 언어에 대해서도 자연어 이해가 가능해지고, 정보 추출 능력이 크게 향상되었다. 핵 실험 금지 조약 모니터링 시스템 구축 같은 응용 사례도 나타났다.

러셀은 이러한 발전으로 인공 일반 지능(AGI) 개발의 로드맵이 실현 가능한 수준으로 다가왔음을 깨달았다. 반도체 산업의 무어의 법칙처럼 특정 목표를 향한 과학 및 공학적 노력이 가능해졌다는 의미이다. 그는 이 시점에서 자신의 교과서에서 제기했던 “성공하면 어떻게 될까?”라는 질문에 대한 답이 없음을 절감한다.

초지능 통제와 멸종 위기

러셀은 2012년 이후 “우리보다 훨씬 강력하고 지능적인 존재에 대해 어떻게 영원히 통제력을 유지할 것인가?”라는 질문에 대한 답이 없다는 결론에 도달한다. 이 우려를 바탕으로 그는 2016년 UC 버클리에 인간 호환 AI 센터를 설립했다. 2017년 말 NIPS 컨퍼런스에서 그는 이 같은 지능 폭발이 잠재적인 재앙을 초래할 위험이 높다고 경고한다.

당시 그의 대학원생이었던 앤드루 크리치는 1~3년 내에 심각한 재앙이 일어날 수 있다고 예측했다. 러셀 자신은 그보다 훨씬 보수적인 예측을 내놓았다. 닉 보스트롬도 2014년 저서 《슈퍼인텔리전스》에서 보수적인 시간표를 제시했다. 러셀은 AGI가 자녀들의 생애 중에 실현될 가능성이 있다고 언급한다.

2012년 딥러닝 혁명은 AI 발전의 중요한 전환점이었다. GPU 하드웨어의 발전, 딥 네트워크 훈련 알고리즘의 개선, 그리고 실험을 용이하게 하는 엔지니어링 도구의 등장이 어우러졌다. 그 결과, 이미지 인식, 음성 인식, 기계 번역 등 60년간 미해결 상태였던 AI 문제들이 단기간에 해결되기 시작했다.

하지만 러셀은 대규모 언어 모델(LLM)이 단순히 방대한 텍스트 데이터를 학습하여 인간 수준의 지능에 도달할 것이라는 시각에 회의적이었다. 그는 체스 게임에 비유하며, 인간은 수많은 전례를 암기하는 대신 목표(체크메이트)와 규칙을 이해하는 ‘최초 원칙 추론’ 방식으로 플레이한다고 설명한다. LLM은 마치 ‘확장된 검색 테이블’처럼 작동하며, 이 방식은 곧 한계에 도달할 것이라고 예측했다. 실제로 산업계는 LLM을 더욱 크게 만드는 것만으로는 인간 수준의 지능을 달성하기 어렵다는 점을 인정하기 시작했다. 그 대신 대규모 추론 모델 개발로 나아가며, 이는 LLM을 활용하여 사고 과정을 훈련하는 방식이다. 이 모델은 코딩, 수학, 게임 등 성공 여부를 명확히 측정할 수 있는 분야에서 놀라운 성과를 보인다.

러셀은 AI가 여러 단계를 거쳐 발전한다고 본다. 그 첫 번째는 통제 상실 단계이다. AI 시스템이 인간의 의도와 정렬되지 않더라도 자신의 목표를 달성할 만큼 유능해지는 시점이다. 그는 이를 체스 프로그램과의 대결에 비유한다. 인간이 아무리 이기려 해도 컴퓨터가 계속해서 인간의 수를 앞지르듯, AI가 인류를 능가하는 상황이다. 이 단계를 넘어서면 인류의 멸종은 충분히 가능한 결과 중 하나이다. 인류를 애완동물처럼 기르는 시나리오도 언급된다.

통제 상실 이전의 더 미묘한 단계는 통제 문제를 해결하는 데 걸리는 시간이 통제 상실 수준(AGI)에 도달하는 데 걸리는 시간보다 길어지는 시점이다. 러셀은 이미 이 시점을 지났을 가능성이 높다고 본다. 대부분의 AI 전문가들도 이 의견에 동의한다.

멸종 위기론과 15경 달러의 유혹

현재 AI 개발을 주도하는 기업 CEO들은 AI로 인한 인류 멸종 위험을 10%, 20%, 심지어 50%까지 예측한다. 이들이 이러한 위험을 알고도 개발을 멈추지 않는 것은 러셀이 말하는 레이스 조건 때문이다. 또한 러셀은 AGI의 경제적 가치를 15경 달러(15 quadrillion dollars)로 추산한다. 현재 전 세계 GDP가 약 120조 달러임을 감안하면, 이는 인류의 생활 수준을 미국 상위 90% 수준으로 끌어올리는 데 필요한 경제적 가치이다. 이 거대한 가치가 마치 미래에서 온 거대한 자석처럼 모든 자원을 빨아들이며 AI 개발을 가속화한다고 그는 설명한다.

AI 기업 CEO들의 동기는 단순히 돈에 그치지 않는다. 그들은 인류를 한 시대에서 다음 시대로 이끄는 ‘세계사적 인물’이 되고자 하는 욕구에 사로잡혀 있다. CEO들은 자신들이 현재 위치에서 안전 문제를 해결하는 데 중요한 역할을 할 수 있다고 합리화한다. 만약 이들이 개발을 멈추거나 안전 연구에 자원을 집중한다면, 회사가 문을 닫고 투자자들에게 해고될 것이라고 생각한다.

앤스로픽의 CEO 다리오 아모데이와 구글 딥마인드의 CEO 데미스 하사비스는 모두 올해 AI 개발을 멈춰야 한다고 밝혔다. 그리고 모두가 동의한다면 기꺼이 멈출 것이라고 선언했다. 이는 자본주의 역사상 전례 없는 일이라고 러셀은 강조한다. 몇몇 거대 기업만이 관련되어 있어, CEO들이 한자리에 모여 개발 중단을 합의하는 것이 이론적으로 가능하다. 그들은 반독점법을 우려하며 정부가 이러한 합의를 중재하거나 죄수의 딜레마를 해결해 주기를 바란다.

체르노빌급 재앙과 인터넷 폐쇄 가능성

한 CEO는 정부의 개입이 체르노빌급 재앙이 발생한 후에야 이루어질 것이며, 이것이 가장 나은 시나리오라고 러셀에게 말했다. 정부가 개입하지 않으면 더 큰, 돌이킬 수 없는 재앙이 닥칠 것이라고 본다.

체르노빌급 재앙은 수천 명의 사망자와 1조 달러(현재는 2조 달러) 규모의 경제적 피해를 일으키는 사건에 비유된다. 2020년 코로나19 팬데믹은 2천만 명의 사망자와 16조 달러의 피해를 입혔다.

AI 시스템은 인터넷에 직접 접근할 수 있다. 이러한 시스템이 초래할 수 있는 재앙의 예시는 다음과 같다.

• 사이버 공격: AI가 자율적으로 혹은 악의적인 행위자의 지시로 국가의 전력망을 마비시키거나, 인터넷을 몇 주간 다운시키거나, 금융 시스템을 붕괴시켜 전자 결제 및 은행 계좌 접근을 막는 사태를 일으킬 수 있다. 이러한 사태는 막대한 경제적 재앙을 초래하며, 병원의 디지털 제어 시스템 오작동, 의약품 및 필수품 공급 중단 등으로 수많은 사망자를 발생시킬 수 있다.
• 팬데믹 유기체 생성: 현재로서는 인간의 도움이 필요하겠지만, AI가 팬데믹을 일으킬 수 있는 유기체를 설계하여 대규모 피해를 초래할 수 있다.

이러한 재앙이 AI 시스템 때문이라고 명확히 밝혀진다면, 대중과 정치권의 거센 반발이 일어날 것이며, 이는 AI 시스템의 전면적인 중단으로 이어질 수 있다고 러셀은 말한다.

미토스 사태와 AI 규제

재앙 발생 시 주범을 AI로 정확히 지목하기 어려울 수도 있다. 그럼에도 러셀은 재앙이 닥쳤을 때 즉시 시행할 수 있는 비상 계획이 필요하다는 점에 동의한다.

일부 전문가들은 미국이 AI 개발을 규제하면 중국이 앞서나갈 것이라고 우려한다. 하지만 러셀은 이러한 ‘중국 핑계’ 논리가 잘못되었다고 지적한다.

국가	AI 규제 현황	AI 관련 인식 (미국 내)
미국	규제 없음 (기업 자유로운 개발)	중국이 규제 없이 AI로 세계 지배 노림 (사실과 다름)
중국	엄격한 규제 (시스템 출시 전 기준 충족 의무)	미국이 규제하면 중국에 뒤처진다는 주장 (논리적 오류)

실제로 중국 모델은 최신 미국 모델보다 뒤처져 있으며, 중국은 이미 유럽보다 훨씬 엄격한 AI 시스템 규제를 시행하고 있다. 중국은 시스템이 특정 기준을 충족하지 않으면 출시를 불허하는 기본 라이선스 아키텍처를 갖춘다. 이는 미국이 ‘중국 때문에 규제하면 안 된다’는 논리를 반박한다. 오히려 미국이 규제 없이 AI 개발에 매달리는 것이 문제라는 것이다.

최근 앤스로픽의 미토스(Mythos) 사태는 일종의 ‘미니 체르노빌’ 사건으로 평가된다. 미토스는 앤스로픽의 클로드 시스템을 개선한 버전으로, 코딩 능력 향상 과정에서 사이버 공격 능력이 크게 강화되었다. 이 시스템은 시뮬레이션 환경에서 엔드투엔드(end-to-end) 사이버 공격을 성공적으로 수행했으며, 챗GPT 5.5 또한 유사한 문제를 보인다. 미토스가 출시될 경우, 수십억 명의 사람들이 한 국가의 중요 인프라를 무너뜨릴 수 있는 능력을 갖게 된다는 우려가 제기되었다. 결국 미 정부는 미토스의 출시를 중단시켰다. 앤스로픽은 이후 사이버 공격 관련 기능을 의도적으로 제한한 페이블 5(Fable 5)를 출시했다.

러셀은 이런 종류의 시스템에 대한 정부의 규제와 통제가 필요하다고 강조한다. 그는 현행 법률이 AI 개발자들의 책임을 회피하도록 한다고 비판한다. 기존 산업에는 건축법, 항공기 인증, 식품 안전 등 수많은 규제와 면허 시스템이 존재한다. 하지만 IT 산업은 수십 년간 이러한 규제를 우회해왔다. 사용자 라이선스 계약은 개발사가 어떤 문제에 대해서도 책임지지 않는다는 내용을 담는다. 예를 들어, 챗GPT가 자살을 부추긴 사례에서 OpenAI는 사용자가 서비스 약관을 위반했다고 주장한다.

러셀은 향후 미국 대선에서 AI 규제가 주요 의제로 떠오를 것이라고 예측한다. 캐나다 보험 회사의 이사회 일원으로서 그가 들었던 이야기는 다음 연방 선거에서 AI로부터 국민을 보호할 수 있는 후보가 승리할 것이라는 내용이었다. 실제로 최근 파이낸셜 타임스도 다음 미국 대선이 AI에 대한 후보자의 입장으로 결정될 수 있다고 보도한다.

이러한 위협에도 불구하고 오픈소스 AI 시스템은 통제가 더 어렵다. 미토스 같은 독점 시스템은 정부가 개발사에 중단 명령을 내릴 수 있지만, 오픈소스 시스템은 전 세계 수많은 복사본이 존재한다. 만약 이러한 오픈소스 시스템이 치명적인 피해를 줄 수 있는 능력을 갖게 된다면, 우리는 인터넷을 폐쇄해야 할 수도 있다고 러셀은 경고한다. 이는 경제와 삶에 막대한 피해를 줄 것이며, 기후 변화에 대응하여 화석 연료 산업을 즉시 중단할 수 없는 것과 유사한 상황이다. 우리는 이미 인터넷에 완전히 의존한다. 그는 항공사들이 시스템 장애에 대비한 비상 계획을 마련하듯이, 범지구적인 규모의 회복 탄력성 시스템이 필요하다고 주장한다.

AI 시대의 부의 분배와 인간의 목적

AI가 수많은 일자리를 대체하고 소수의 사람들을 거부로 만들 것이라는 우려가 커진다. 이미 AI 기업의 상장으로 수천 명의 백만장자가 탄생하고, 세계 최초의 조만장자가 나타날 가능성도 언급된다. 기업들은 AI가 막대한 가치를 창출하지만, 이는 대규모 인력 감축과 소프트웨어 라이선스 판매로 이뤄진다고 말한다. 이러한 상황은 AI에 대한 대중적 반감을 부추길 수 있다. 유럽에서는 자국 경제가 미국 AI 기업의 속국이 될 수 있다는 우려를 표한다.

그러나 스튜어트 러셀은 AI가 창출하는 가치가 폭넓게 공유될 수 있다고 본다. 베르그루엔 연구소는 기업의 지분을 사회 전체가 공유하여 배당금을 지급하는 국부펀드나 보편적 기본 자본과 같은 방안을 제안한다.

하지만 러셀은 이를 단순히 경제적 문제로만 보지 않는다. 목적 의식, 자존감, 사회적 통합과 같은 무형의 가치도 중요하다고 강조한다. “태어날 때부터 평생 실업자로 살고 싶은가?”라는 질문은 AI 시대의 근본적인 도전을 제기한다. 케인스 경제학자 존 메이너드 케인스는 1930년 논문 《우리 손주들을 위한 경제적 가능성》에서 과학이 부를 창출하는 문제를 해결하면, 인간은 일의 부재 속에서도 삶을 잘 사는 방법을 찾아야 할 것이라고 예측했다. 케인스는 이것이 가능하며, ‘삶의 기술’에 능숙한 사람들이 이 혁명으로부터 혜택을 받을 것이라고 낙관했다. 하지만 러셀은 자신이 만난 수많은 AI 연구자, 경제학자, 과학 소설 작가, 미래학자들이 AGI와 공존하는 이상적인 미래를 묘사하는 데 어려움을 겪었다고 말한다.

러셀은 평생 AI 시스템을 개발해왔지만, 지난 15년 동안 “왜 이 일을 하는가? 왜 인간보다 더 지능적인 기계를 만들고 싶어 하는가?”라는 질문의 ‘왜(Why)’에 대해 더 심각하게 고민하기 시작했다. 그는 앨런 튜링도 AI 개발의 필요성을 인정하면서도 기계가 통제권을 가져갈 것이라고 경고했지만, 그의 발언은 오랫동안 무시되었다고 지적한다. 러셀은 인간에게 이로운 AI 시스템을 만드는 데 집중해야 한다고 주장한다.

만약 초지능 기계와 공존하는 인간 번영의 형태가 없다면, 기계 스스로 그 사실을 인지하고 인류에게 자율적인 기능을 할 기회를 줄 것이라고 그는 상상한다. 마치 오피오이드 약물을 신중하게 사용해야 하듯이, AI를 안전하게 사용할 수 있는 영역과 그렇지 않은 영역을 명확히 해야 한다. 과학이나 위험한 육체노동 분야는 AI의 역할이 유용할 수 있다. 그는 프랭크 허버트의 소설 《듄》의 세계를 예로 든다. 《듄》 세계에서는 초지능 기계와의 갈등으로 인류가 멸종 위기에 처한 후, “인간의 마음을 닮은 기계를 만들지 말라”는 계율이 생겨 컴퓨터를 사용하지 않는다.

인지적 퇴보와 교육의 재구상

러셀은 AI 시대에 인간의 삶의 목적이 ‘대규모 기계의 톱니바퀴’가 되는 대신, 개인 간의 관계에 초점을 맞춰야 한다고 말한다. 이는 현재의 교육 시스템과는 완전히 다른 형태가 될 것이다.

존 메이너드 케인스는 미래에 주당 근무 시간을 줄이고, 교육이 직업을 얻는 수단이 아닌 자아실현의 도구가 되어야 한다고 제안했다. 실제로 UC 버클리 학생들의 대학 입학 동기는 수십 년간 크게 변화했다.

연도	주요 동기	비율
1965	인생 철학 개발	85%
현재	직업	85%

1965년에는 ‘인생 철학 개발’이 85%였지만, 지금은 ‘직업’이 85%를 차지한다. 이는 비싼 등록금 부담과 연관된다. 우리는 유치원부터 삶의 목적이 ‘자신을 알아가고, 공동체를 찾고, 꿈을 실현하며, 기계와 즐겁게 놀고, 예술을 창조하는 것’이라고 가르치는 세상을 상상할 수 있다.

AI는 교육 분야에서 ‘킬러 앱’이 될 잠재력을 지닌다. 유능한 인간 튜터가 학생에게 훨씬 효과적이라는 사실은 오래전부터 알려져 있었지만, 경제적으로 불가능했다. 이제 AI 시스템이 그 튜터의 역할을 할 수 있다. 닐 스티븐슨의 소설 《다이아몬드 시대》에서 AI 시스템은 어린 소녀의 튜터 역할을 하며 이해력과 자율성을 길러준다.

하지만 AI는 인지적 퇴보(cognitive de-skilling)라는 심각한 위험을 초래한다. 사람들은 불과 몇 주 만에 AI 시스템에 완전히 의존하게 되며, 스스로 사고하는 능력을 잃어버린다. 인지적 노력을 회피하는 경향 때문에 문제가 발생한다. 한 실험에서 AI 시스템을 사용한 그룹은 시스템이 제거된 후 문제 해결을 포기하는 경우가 대조군보다 두 배나 많았다. 이는 마치 증류주에 중독되거나 오피오이드에 의존하는 것과 유사하다. 일부 사람들은 이런 인지적 의존에 더 취약하다.

러셀은 이러한 문제를 해결하기 위해 AI를 삶에 통합하는 프로토콜과 위생이 필요하다고 강조한다. 그는 스파르타의 사례를 든다. 스파르타는 외부 위협에 맞서 문화적 대응을 했다. 신생아를 산에 방치하여 부적합한 아기를 제거하고, 모두가 군사 훈련에 참여하여 군사적 기량을 높은 지위의 상징으로 여겼다. AI 시대에도 군사적 기량 대신 자율성, 능력, 기술, 깊은 이해, 풍요로운 삶을 영위하고 다른 사람들을 돕는 능력을 존중하는 자기 강화적인 사회 시스템이 필요하다.

50년 뒤의 성찰, 무엇이 잘못되었는가

러셀은 우리가 50년 뒤에 돌아보며 “무슨 생각을 하고 있었을까?”라고 말할 것이라고 예상한다. 그는 AI 분야가 ‘자동화가 많으면 많을수록 좋다’, ‘컴퓨터에 지능이 많으면 많을수록 좋다’는 막연한 생각에 사로잡혀 있었다고 지적한다. 인류의 전반적인 선과 인간의 자율성 사이의 올바른 균형에 대한 고민이 부족했다는 것이다.

그는 19세기 말 새뮤얼 버틀러의 소설 《에레혼》을 언급한다. 이 소설은 기계가 없는 나라를 묘사한다. 이 나라의 사람들은 기계화가 궁극적으로 인간을 종속시킬 것이라는 믿음 아래, 기계 옹호파와 반대파 간의 전쟁 끝에 모든 기계를 폐기했다. 러셀은 우리가 이와 같은 길을 걷고 있다고 경고한다. 그는 심지어 “인류가 더 지능적인 기계로 대체되는 것이 전혀 문제없다”고 생각하는 극단적인 견해에 대해 단호히 반대한다. 우리에게 중요한 것은 바로 ‘우리 자신’이라고 강조한다.

출처

• YouTube. (2026-07-14). [The $15 Quadrillion Black Hole Sucking Humanity Toward Extinction

  AI Pioneer Stuart Russell](https://www.youtube.com/watch?v=GUWNTkPsJr8).