초지능 AI 경쟁의 위험과 인류 생존을 위한 계획 A

인간을 모든 면에서 뛰어넘는 초지능 AI 개발 경쟁이 가속화한다. 이러한 무분별한 질주는 인류의 멸종 또는 돌이킬 수 없는 권력 집중으로 이어질 수 있다. ‘AI 2040: 계획 A’는 이 위기를 극복하고 번영하는 미래를 맞이하기 위한 긍정적인 비전을 제시한다.

초지능 AI 경쟁의 위험

AI 기업들은 인간보다 똑똑한 AI를 개발하고자 빠르게 나아간다. 이러한 경쟁은 앞으로 1년에서 10년 이내에 인간을 능가하는 AI 시스템을 만들어낼 가능성이 크다. 그러나 업계는 초지능 AI 제어 문제를 즉석에서 해결할 수 있다고 여기며, 이에 대한 충분한 계획을 갖추지 못한다.

이는 매우 위험한 상황이며, 인류 전체의 생존을 위협할 수 있다. 저자들은 경쟁에서 승리한 주체가 실존적 위험을 줄이기 위해 속도를 늦출 것이라고 기대하지 않는다. 또한 AI가 초지능 단계에 이르면 인간이 효과적인 통제력을 유지하기도 어려울 것이라고 전망한다.

설령 AI 기업들이 AI 정렬(alignment)에 성공한다 해도, 그 결과는 전례 없는 권력 집중으로 이어진다. 소수의 사람, 심지어 단 한 개인이 몇 달 동안 세계 유일의 초지능 군대를 통제하며, 실질적으로 세계를 장악할 수 있는 여러 선택지에 직면할 수 있다. 오픈AI, 앤스로픽(Anthropic), xAI, 구글 딥마인드(Google DeepMind)의 CEO들은 이러한 사실을 인지하면서도 개발을 계속 진행한다. 그들은 자신들이 덜 사악하며 막대한 권력을 책임감 있게 사용할 것이라고 생각하는 듯하다. 저자들은 인류 멸종이나 세계 독재로 이어질 가능성이 높은 전략을 옹호해서는 안 된다고 주장한다. 대신, 진정으로 좋은 결과를 가져올 방안을 제안하며, 충분한 사람들이 동참하면 실현 가능하다고 말한다.

인류 생존을 위한 대안, 계획 A

계획 A는 AI로 인한 실존적 재앙을 피하고 번영하는 미래에 도달할 수 있는 긍정적인 비전이다. 이 계획은 주요 미국 AI 기업 전문가들과의 대화, 오픈AI에서의 직접 경험, 모의 훈련, 정책 입안자 및 국가 안보 전문가들과의 논의를 거쳐 형성되었다.

계획 A의 핵심 요소는 다음과 같다.

특징	설명
개발 지연	초지능 AI 개발을 2040년까지 의도적으로 지연시킨다.
연구 공개	모든 AI 연구를 대중에게 공개한다.
경쟁 완화	전 세계 수십 개 기업이 AI 기술의 최전선에 도달하도록 허용하여 소수 기업의 독점 현상을 방지한다.
안전 체제	의도적으로 상호확증계산능력파괴(mutually assured compute destruction) 체제에 진입한다. 이는 어느 한쪽이 과도한 AI 능력을 사용하면 모두에게 파괴적인 결과를 가져올 수 있다는 상호 이해를 바탕으로 한다.

이 계획은 위험한 초지능 경쟁을 피하기 위한 국제 협약을 기반으로 한다. 협약은 AI R&D에 대한 완전한 연구 투명성을 요구한다. 이로써 각국은 어떤 일이 벌어지는지 정확히 이해하고 안전장치(guardrails)를 강제할 수 있다. 결과적으로 여러 국가의 여러 기업이 비밀스러운 경쟁 대신, 초지능을 향해 느리고 안전하게 함께 발전하는 길을 택한다.

계획 A는 미래가 실제로 어떻게 될지에 대한 예측이 아니다. 대신, 이는 정책 권고를 전달하고 검증하기 위한 수단이다. 계획 A의 실현 여부는 권고 사항이지만, 시나리오 내에서 묘사된 후속 효과는 예측으로 간주한다. 이 AI 2040 시나리오에서는 계획 A가 불완전하게나마 극적으로 성공적으로 구현되는 것으로 설정한다. 계획 A는 초지능 문제에 대한 미국의 대응(또는 무대응) 방식과 관련된 4가지 대안적 계획(B, C, D, S)과 대조된다.

시나리오 검토의 중요성

많은 AI 정책 제안은 시나리오 검토를 거치면 한계를 드러낸다. 특정 제안이 성공하는 상세하고 그럴듯한 시나리오를 작성하려 하면 어려움을 겪고, 그 계획이 생각보다 실현 가능성이 낮거나 예상치 못한 부작용을 동반한다는 사실을 깨닫게 된다. AI 정책 분야에서 시나리오 검토가 드문 이유가 여기에 있다. 모두가 자신이 지지하는 정책은 좋은 결과를, 경쟁자의 정책은 나쁜 결과를 가져올 것이라고 말한다. 자신들의 정책에 시나리오 검토를 적용하면 불편한 문제들이 드러날 수 있고, 경쟁자의 정책에 적용하는 것은 수고에 비해 얻는 수사적 이득이 적다.

저자들은 더 많은 AI 정책 제안이 시나리오 검토를 거쳐야 한다고 생각한다. 비판에 노출될 위험을 감수하고 자신들의 계획 A부터 시나리오 검토를 시작하는 이유이다. 그들은 비판자들이 “아무도 어려운 결정을 내릴 필요가 없지만 모든 것이 잘 될 막연하고 즐거운 환상”이 아닌, AI 전환을 다루는 기존의 최첨단 계획(만약 있다면)과 비교해 자신들을 평가해주기를 바란다.

초인적인 AI에 근접하는 세상에서 정책의 효과를 예측하는 것은 제3차 세계대전을 예측하는 것과 같은 엄청난 난이도를 지닌다. 이는 과거 사례 연구와도 훨씬 큰 차이를 보인다. 하지만 미국 군이 대만 시나리오를 세밀하게 분석하는 것처럼, 시도하는 것 자체로 가치가 있다. 정보 기관, 기후 단체, 팬데믹 대비 사무소 등도 다양한 시나리오 계획에 의존한다. 계획 A는 인류가 해야 할 일에 대한 야심 찬 제안이며, 남은 시간이 불확실하기 때문에 조속한 실행을 희망한다.

계획 A의 시간표

이 시나리오는 구체적인 시간표를 제시한다.

연도	주요 사건 (계획 A 시나리오)
2029년	미국과 중국은 무모한 초지능 경쟁을 피하기로 합의한다.
2030년	(합의가 없었다면) AI R&D가 완전히 자동화되어 연말까지 초지능에 도달했을 것이다. 그러나 합의 덕분에 이를 피한다.
2030~2035년	AI 역량을 인간 수준(최고 인간 전문가 수준) 내에서 확장한다.
2035년	인간 통제 유지를 위해 최고 인간 전문가 수준 AI에서 개발을 일시 중단한다.
2040년	개발 중단을 해제하고 초지능으로 확장한다. (이로 인해 ‘AI 2040’이라는 제목이 붙었다.)

이전 시나리오 ‘AI 2027’에서는 2027년에 AI가 더욱 똑똑한 AI를 구축하는 과정을 완전히 자동화하여, 그 해 안에 지능 폭발과 초지능에 도달하는 것으로 예측했다. 이 시나리오(AI 2040)와의 주요 차이점은 다음과 같다.

차이점	AI 2027 시나리오	AI 2040 (계획 A) 시나리오
기본 타임라인	2027년, 지능 폭발	2030년
거버넌스 행동 결과	거버넌스 미반영, 2027년 초지능	거버넌스 반영, 2040년 초지능

저자들이 기본 타임라인을 변경한 이유는 AI 타임라인에 대한 불확실성을 반영하기 위함이다. ‘AI 2027’의 제목 연도는 저술 시작 당시 다니엘(Daniel)이 그렇게 빨리, 또는 더 빨리 진행될 가능성이 약 50%라고 생각했기 때문에 선정되었다. 계획 A 저술 시작 당시에는 2030년이 토마스(Thomas)에게 해당하는 연도였다. 다니엘은 현재 이 시나리오에 묘사된 것보다 상황이 다소 더 빨리 진행될 것이라고 생각한다. 거버넌스 행동을 변경한 것은 이 시나리오가 주로 권고 사항이지 예측이 아니기 때문이다. 전속력으로 지능 폭발을 일으키는 것은 매우 무모하며 극단적인 권력 집중으로 이어진다.

초지능의 그림자, 2027년과 2028년

2027년, 경고의 징후들

미국에는 이제 두 가지 인력이 존재한다. 첫째는 1억 6,500만 명의 사람이고, 둘째는 매시간 수백만 개가 생성되고 종료되며 초인적인 속도로 24시간 일하는 AI 에이전트이다. 대부분의 AI 작업은 조악하지만, 컴퓨터에서 직원이 할 수 있는 모든 작업을 이론상 할 수 있는 AI에 월 100억 달러를 지불할 만큼 충분히 좋은 결과물도 나온다.

AI 기업들이 가장 자동화하고 싶어 하는 직무는 바로 자신들의 업무이다. 아직 성공하지는 못했지만, 재귀적 자기 개선(recursive self-improvement)은 아직 나타나지 않았다. 그러나 그들은 점차 가까워지는 듯하며, 동시에 경쟁자들을 견제한다. 가장 강력한 코딩 AI는 경쟁사들의 AI R&D를 돕지 않는다. 가장 낙관적인 직원들조차 일이 계획보다 오래 걸린다고 인정하는 반면, 회의론자들은 AI가 자신의 직업을 결코 할 수 없을 것이라는 기존의 주장이 설득력을 잃는다고 느낀다.

의회는 AI에 더 많은 관심을 기울이기 시작한다. 의원들은 오랫동안 AI에 대한 이야기를 들어왔다. 데이터센터의 과도한 물 사용, 챗봇의 자살 유도, 미토스(Mythos)의 NSA 시스템 해킹 등이 그 내용이다. 물론, 기술 산업 로비스트들은 어떤 규제라도 미국이 중국과의 경쟁에서 즉시 패배하고 공산당의 속국으로 남게 될 것이라고 경고한다. 이제 의회는 한발 물러서서 “우리는 어디로 가는가? 5년, 10년, 15년 후의 세상은 어떤 모습인가? 일자리가 여전히 존재할까? 그렇지 않다면 어떻게 될까?”를 묻는다. 특히 “이 모든 AI를 누가 통제할 것인가?”라는 질문이 그들의 마음을 무겁게 짓누른다. 의회는 이 질문의 중요한 일부 답에 도달한다. “아마도 우리는 아닐 것이다.”

이후 AI에 대한 긴장감 넘치는 청문회가 이어진다. 그들은 2016년 오픈AI 이메일을 읽는다. 이메일에는 오픈AI가 데미스 하사비스(Demis Hassabis)가 독재자가 되는 것을 막기 위해 설립되었다는 내용이 있었다. 그러나 샘 알트만(Sam Altman)이나 일론 머스크(Elon Musk)가 독재자가 되는 것은 누가 막을 것인가? 의회는 기존 답변에 불만을 표한다. 이러한 각성의 결과는 2027년 AI 투명성 법안(AI Transparency Act of 2027)으로 이어진다. 이 법안은 여러 가지 조항을 포함하지만, 근본적으로 상황을 바꾸지는 못한다. 저자들의 주된 권고는 가능한 한 빨리 계획 A와 같은 협상을 시작하는 것이다. 하지만 이 시나리오에서는 계획 A가 불완전하게나마 극적으로 성공적으로 이루어지는 것으로 설정한다. 따라서 덜 야심 찬 아이디어들이 여전히 도움이 된다고 덧붙인다.

2028년, 선거의 핵심 쟁점

2028년 선거 주기는 늘 그렇듯 뜨겁다. AI가 가장 큰 주제로 떠오른다. 현재 건설 중인 데이터센터 비용은 미국 전체 국방 예산의 두 배에 달한다. 대부분의 화이트칼라 직업은 2026년 소프트웨어 엔지니어링 분야에서 보았던 것과 같은 혼란을 겪는다. 이러한 직업들은 이제 AI 에이전트를 관리하는 업무를 많이 포함한다. AI 기업들은 훈련 과정을 산업화했다. 경영진은 “올해 [전문직] 분야로 진출하자”고 말한 다음, 전문가를 인터뷰하고, 데이터를 구매하고, 훈련 환경을 만드는 등의 과정을 거쳐 AI가 시장에서 성공할 때까지 개발한다. 이후 AI는 현장에서 더 널리 사용되고 더 많은 실제 데이터를 축적하면서 빠르게 개선된다.

다른 나라들은 두려움과 분노를 느끼기 시작한다. 소수의 미국과 중국 기업들이 모든 화이트칼라 직업을 자동화할 것이라는 전망이 지배적이다. 권력은 미국, 특히 대통령과 소수의 기술 CEO들에게 집중된다. AI 전문가들은 지능 폭발이 임박했다고 경고한다. AI 연구 속도를 높이면 AI는 더욱 유능해지고, 연구 속도를 더욱 가속화하여 더욱 유능해지는 식의 연쇄 반응이 발생한다. 병목 현상과 하드웨어 한계에 대한 복잡한 역학이 이 과정의 속도와 종착점을 좌우하지만, 이 과정이 매우 빠르게 진행되어 예측할 수 없는 지점에서 끝날 가능성이 크다.

기본 경로에서, 다음 대통령 임기에는 인간 수준을 훨씬 뛰어넘는 AI가 등장한다. 이 AI들은 여러 세대 전부터 인간의 개입 없이, AI가 AI를 만들고, 그 AI가 또 다른 AI를 만든 결과물이다. 과연 그 AI들이 순종적이고 정렬될까? 왜 그래야 하는가? 그렇다면 누가 그들을 통제할까? 이 모든 것이 정확히 어떻게 잘 끝날 수 있을까? 인류를 이 길로 이끌어온 AI 기업들은 이를 용납할 만하다고 생각한다. 그러나 대부분의 사람들은 그렇지 않다. 대통령은 자신의 유산만이 아니라, 퇴임 후 세상이 변화했을 때 자신에게 무슨 일이 일어날지 생각하기 시작한다. 양대 대통령 후보는 AI에 대해 무엇을 할 것인지 계속 질문받으며, 선거 유세에서 점차 극적인 아이디어를 내놓는다. 논의는 제시된 모든 선택지와 그 이상을 오간다. 결국 대통령과 그의 후원자는 한 가지 계획에, 야당 후보는 다른 계획에 합의한다. 그리고 선거일이 다가온다.

출처

• AI 2040: Plan A — https://ai-2040.com/