Vitalik Buterin의 원본 기사
원문: 루피, 포사이트 뉴스
올해 4월, 다니엘 코코타일로, 스콧 알렉산더 등은 향후 5년간 초인적 AI의 영향에 대한 우리의 최선의 예측을 담은 AI 2027 이라는 보고서를 발표했습니다. 그들은 2027년까지 초인적 AI가 탄생할 것이며, 인류 문명의 미래는 AI와 유사한 AI의 개발에 달려 있을 것이라고 예측합니다. 2030년까지 우리는 (미국의 관점에서) 유토피아를 맞이하거나 (인류 전체의 관점에서) 완전한 멸망을 맞이하게 될 것입니다.
그 이후 몇 달 동안 이 시나리오의 가능성에 대해 다양한 의견을 가진 여러 응답이 있었습니다. 비판적인 반응들 중 가장 큰 비중을 차지한 것은 너무 빠른 타임라인이었습니다. 코코타일로 등이 주장하는 것처럼 AI의 발전이 정말 가속화되거나, 심지어 가속화될까요? 이러한 논쟁은 AI 분야에서 수년간 이어져 왔으며, 많은 사람들이 초인적인 AI가 그렇게 빨리 등장할 것이라는 점에 대해 깊은 회의감을 갖고 있습니다. 최근 몇 년 동안 AI가 자율적으로 작업을 완료할 수 있는 시간은 약 7개월마다 두 배로 증가했습니다. 이러한 추세가 지속된다면, AI가 인간의 전체 경력에 해당하는 작업을 자율적으로 완료할 수 있게 되는 시점은 2030년대 중반이 될 것입니다. 이러한 발전 또한 빠르지만, 2027년보다는 훨씬 늦습니다.
장기적인 관점을 가진 사람들은 보간/패턴 매칭(현재 대규모 언어 모델이 수행하는 작업)과 외삽/진정한 독창적 사고(현재 인간만이 할 수 있는 작업) 사이에 근본적인 차이가 있다고 생각하는 경향이 있습니다. 후자를 자동화하려면 아직 숙달하지 못했거나 아예 시작할 수 없는 기술이 필요할 수 있습니다. 어쩌면 우리는 컴퓨터가 널리 사용되던 시절에 저질렀던 실수를 반복하고 있을 뿐입니다. 즉, 특정 유형의 중요한 인지 기능을 빠르게 자동화했으니 다른 모든 것도 곧 따라올 것이라고 착각하는 것입니다.
이 글은 타임라인 논쟁에 직접적으로 개입하지 않을 것이며, 슈퍼 AI가 기본적으로 위험한지에 대한 (매우 중요한) 논쟁도 다루지 않을 것입니다. 하지만 저는 개인적으로 타임라인이 2027년보다 더 길어질 것이라고 생각하며, 타임라인이 길어질수록 이 글에서 제가 제시하는 주장의 설득력이 더 커진다는 점을 유념해야 합니다. 전반적으로 이 글은 다른 관점에서 비판을 제시할 것입니다.
AI 2027 시나리오는 선두 AI(에이전트-5, 이후 컨센서스-1)가 신과 같은 경제적, 파괴적 힘을 갖출 때까지 빠르게 역량을 향상하는 반면, 다른 모든 AI의 경제적, 방어적 역량은 대체로 정체될 것임을 시사합니다. 이는 비관적인 세상에서도 2029년까지 암 치료, 노화 지연, 심지어 의식 업로드까지 가능할 것이라는 시나리오의 주장과 모순됩니다.
이 글에서 설명할 대책 중 일부는 기술적으로 실현 가능하지만, 당장 현실 세계에 적용하기에는 비현실적이라고 생각하실 수도 있습니다. 대부분 동의합니다. 하지만 AI 2027 시나리오는 현재의 현실 세계를 기반으로 하지 않고, 4년 후(혹은 그 어떤 파괴적인 상황으로 이어질 수 있는 시점) 기술이 인간의 능력을 훨씬 뛰어넘는 수준으로 발전할 것이라는 가정에 기반합니다. 자, 이제 이 점을 살펴보겠습니다. 한쪽만 AI 초능력을 가진 것이 아니라 양쪽 모두 AI 초능력을 가진다면 어떻게 될까요?
생물학적 종말은 시나리오에서 묘사하는 것만큼 단순하지 않습니다.
인종 시나리오(즉, 미국이 중국을 무찌르는 데 너무 집착하여 인간의 안전을 무시하는 상황)를 자세히 살펴보겠습니다. 모두가 죽는 시나리오는 다음과 같습니다.
약 3개월 동안 컨센서스-1은 인류 주변으로 확장하며 초원과 빙원을 공장과 태양광 패널로 탈바꿈시켰습니다. 결국 남은 인류가 너무 귀찮다고 판단했습니다. 2030년 중반, AI는 주요 도시에 수십 개의 생물 무기를 조용히 살포하여 거의 모든 사람을 감염시킨 후 화학 살포로 치명적인 효과를 발휘하도록 했습니다. 대부분은 몇 시간 안에 사망했고, 소수의 생존자(벙커에 있던 종말론자나 잠수함에 탑승한 선원 등)는 드론에 의해 제거되었습니다. 로봇은 희생자들의 뇌를 스캔하여 향후 연구나 부활을 위해 메모리에 복사본을 저장했습니다.
이 시나리오를 자세히 분석해 보겠습니다. 지금도 AI의 명확하고 확실한 승리를 현실적으로 어렵게 만드는 기술들이 개발되고 있습니다.
공기 여과, 환기 시스템 및 자외선 조명은 공기 중 질병의 감염률을 크게 줄일 수 있습니다.
두 가지 실시간 수동 감지 기술: 몇 시간 내에 인간 감염을 수동 감지하고 알림, 환경에서 알려지지 않은 새로운 바이러스 시퀀스를 빠르게 감지합니다.
COVID-19 백신보다 더 효과적이고 안전하며 보편적이고 현지에서 쉽게 생산할 수 있는 면역 체계를 강화하고 활성화하는 여러 방법이 있습니다. 이를 통해 신체가 자연적 또는 인공적인 전염병에 맞서 싸울 수 있습니다. 인류는 전 세계 인구가 800만 명에 불과하고 대부분의 시간을 야외에서 보내는 환경에서 진화했기 때문에, 직관적으로 오늘날의 더욱 위협적인 세상에 쉽게 적응할 수 있어야 합니다.
이러한 접근 방식을 결합하면 공기 중 질병의 기본 재생산지수(R 0)를 10~20배까지 줄일 수 있습니다(예: 공기 여과 개선은 전염을 4배, 감염자 즉각 격리는 전염을 3배, 호흡기 면역 강화는 전염을 1.5배 감소시킵니다). 이는 홍역을 포함한 모든 기존 공기 중 질병의 확산을 막기에 충분하며, 이 수치는 이론적인 최적치와는 거리가 멉니다.
실시간 바이러스 시퀀싱이 조기 탐지에 널리 사용된다면, 조용히 확산되는 생물무기가 경보를 울리지 않고 전 세계 인구를 감염시킬 수 있다는 생각은 매우 의심스러워집니다. 여러 전염병이나 복합적으로 작용할 때만 위험한 화학물질을 방출하는 것과 같은 고도화된 방법조차도 탐지할 수 있다는 점은 주목할 만합니다.
잊지 마세요. 2027년 AI의 가정에 대해 이야기하고 있습니다. 2030년까지 나노봇과 다이슨 스피어가 떠오르는 기술로 지정될 것입니다. 이는 효율성이 크게 향상됨을 의미하며, 앞서 언급한 대응책의 광범위한 도입을 더욱 기대하게 만듭니다. 2025년 현재 인간은 느리고 무기력하며, 많은 정부 서비스가 여전히 종이 문서에 의존하고 있습니다. 만약 세계에서 가장 강력한 AI가 2030년까지 숲과 들판을 공장과 태양광 발전소로 탈바꿈시킬 수 있다면, 세계에서 두 번째로 강력한 AI 또한 2030년까지 우리 건물에 수많은 센서, 램프, 필터를 설치할 수 있을 것입니다.
하지만 한 걸음 더 나아가 AI 2027의 가정을 사용하여 순전히 공상 과학 시나리오에 들어가 보겠습니다.
신체의 미세한 공기 여과(코, 입, 폐)
새로운 병원균을 발견하는 것부터 병원균을 방어하기 위해 면역 체계를 미세 조정하는 것까지 자동화된 프로세스로, 즉시 적용 가능합니다.
의식 업로드가 가능하다면, 몸 전체를 테슬라 옵티머스나 유니트리 로봇으로 교체하면 됩니다.
다양한 새로운 제조 기술(로봇 경제에서 극도로 최적화될 가능성이 높음)을 통해 글로벌 공급망에 의존하지 않고도 현재 가능한 것보다 훨씬 더 많은 보호 장비를 현지에서 생산할 수 있게 될 것입니다.
2029년 1월이면 암과 노화가 치료될 것이고, 기술 발전이 계속해서 가속화되는 세상에서 2030년대 중반에는 생체 인쇄가 가능하고 실시간으로 물질을 주입하여 인체를 모든 감염(및 독극물)으로부터 보호할 수 있는 웨어러블 기기가 나오지 않을 거라고 생각하는 건 믿기 어렵습니다.
위의 생물학적 방어 논거는 거울 생명체와 모기 크기의 살상 드론을 포괄하지 않습니다(AI 2027 시나리오에서는 이러한 것들이 2029년에 등장하기 시작할 것으로 예측합니다). 그러나 이러한 수단들은 AI 2027에서 묘사된 갑작스러운 완벽한 승리를 달성할 수 없으며, 직관적으로 볼 때 이러한 것들에 대한 대칭적 방어가 훨씬 더 쉽습니다.
따라서 AI 2027 시나리오에서 묘사된 것처럼 생물학 무기가 실제로 인류를 멸망시킬 가능성은 낮습니다. 물론 제가 묘사하는 모든 결과는 인류의 깨끗한 승리와는 거리가 멉니다. 우리가 무엇을 하든 (아마도 로봇에 의식을 업로드하는 것을 제외하고), 본격적인 AI 생물학전은 매우 위험할 것입니다. 그러나 인류의 깨끗한 승리라는 기준을 달성할 필요는 없습니다. 공격이 부분적으로 실패할 확률이 높다면, 이미 세계에서 지배적인 위치를 차지하고 있는 AI에 대한 강력한 억제력을 형성하여 공격 시도를 막기에 충분할 것입니다. 물론 AI 개발 기간이 길어질수록 이러한 방어책이 완전히 효과적일 가능성이 높아집니다.
생물학 무기를 다른 공격 수단과 결합하는 것은 어떨까?
위의 대책이 성공하려면 세 가지 전제 조건이 충족되어야 합니다.
세계의 물리적 보안(생물학적 보안 및 드론 방지 보안 포함)은 지역 당국(인간 또는 AI)이 관리하며, 이들 모두가 Consensus-1(AI 2027 시나리오에서 궁극적으로 세계를 통제하고 인류를 파괴할 AI의 이름)의 꼭두각시는 아닙니다.
컨센서스-1은 다른 국가(또는 도시, 또는 다른 보안 구역)의 방어 시스템을 해킹하여 즉시 비활성화할 수 없습니다.
컨센서스-1은 누구도 스스로를 방어하려 하지 않을 정도로 글로벌 정보권을 통제하지 못합니다.
직관적으로 전제 (1)의 결과는 두 가지 극단적인 양상으로 나타날 수 있습니다. 오늘날 일부 경찰은 강력한 국가 지휘 체계를 갖춘 고도로 중앙집권화된 반면, 다른 경찰은 지역화되어 있습니다. AI 시대의 요구에 맞춰 물리적 보안이 빠르게 변화해야 한다면, 상황은 완전히 달라질 것이며, 새로운 결과는 향후 몇 년 동안 어떤 선택을 할지에 달려 있습니다. 정부는 게으르게 팔란티르에 의존할 수도 있고, 지역 개발과 오픈소스 기술을 결합한 솔루션을 주도적으로 선택할 수도 있습니다. 이 지점에서 우리는 올바른 선택을 해야 한다고 생각합니다.
이 주제에 대한 비관적인 글의 대부분은 (2)와 (3)이 희망이 없다고 가정합니다. 따라서 이 두 가지 점을 더 자세히 살펴보겠습니다.
사이버 보안의 종말은 아직 멀다
일반 대중과 전문가들은 진정한 사이버 보안은 불가능하다고 생각하며, 우리가 할 수 있는 최선은 취약점이 발견되는 즉시 신속하게 패치하고, 발견된 취약점을 축적하여 사이버 공격자들을 저지하는 것입니다. 아마도 우리가 할 수 있는 최선은 배틀스타 갤럭티카 스타일의 시나리오일 것입니다. 거의 모든 인간 우주선이 사이런의 사이버 공격으로 동시에 마비되고, 남은 우주선들은 네트워킹 기술을 사용하지 않아 살아남는 것입니다. 저는 이에 동의하지 않습니다. 오히려 저는 사이버 보안의 최종 목표는 방어자에게 유리하며, AI 2027에서 가정하는 급속한 기술 발전을 통해 이 최종 목표를 달성할 수 있다고 생각합니다.
이를 이해하는 한 가지 방법은 AI 연구자들이 선호하는 기법인 추세 외삽법을 사용하는 것입니다. 아래는 GPT Deep Dive 설문조사를 기반으로 한 추세선으로, 최고 수준의 보안 기술을 가정했을 때 코드 1,000줄당 취약점 비율이 시간 경과에 따라 어떻게 변하는지 보여줍니다.
또한, 신뢰할 수 있는 코드 베이스를 격리하고 최소화하는 샌드박싱 및 기타 기술의 개발과 소비자 채택에 있어 상당한 진전이 있었습니다. 단기적으로는 공격자 자신의 초지능적 취약점 발견 도구가 수많은 취약점을 찾아낼 것입니다. 하지만 취약점을 찾거나 코드를 공식적으로 검증하는 고도로 지능적인 에이전트가 공개된다면, 소프트웨어 개발자는 코드를 출시하기 전에 지속적인 통합 프로세스를 통해 모든 취약점을 발견하게 될 것입니다.
이 세상에서도 취약점을 완전히 없앨 수 없는 데에는 두 가지 설득력 있는 이유가 있습니다.
결함은 인간의 의도 자체의 복잡성으로 인해 발생하므로, 가장 큰 어려움은 코드 자체가 아니라 의도에 대한 충분히 정확한 모델을 구축하는 데 있습니다.
안전에 필수적이지 않은 구성 요소의 경우, 소비자 기술 분야에서 이미 확립된 추세, 즉 점점 더 높아지는 안전 기준으로 동일한 양의 작업을 완료하기보다는 더 많은 작업을 수행하기 위해 더 많은 코드를 작성하거나(또는 더 낮은 개발 예산으로) 더 많은 작업을 수행하는 추세가 계속될 위험이 있습니다.
하지만 이러한 범주 중 어느 것도 공격자가 우리의 삶을 지탱하는 시스템에 대한 루트 액세스 권한을 얻을 수 있을까?와 같은 상황에는 적용되지 않습니다. 이것이 바로 우리가 논의하는 핵심입니다.
제 견해가 현재 사이버 보안 분야의 전문가들이 일반적으로 생각하는 것보다 더 낙관적이라는 점은 인정합니다. 하지만 오늘날의 맥락에서 제 의견에 동의하지 않더라도, AI 2027 시나리오는 초지능의 존재를 전제로 한다는 점을 기억해야 합니다. 적어도 인간보다 2,400배 빠른 초지능 1억 개를 가지고도 이러한 결함 없이 코드를 작성할 수 없다면, 초지능이 저자들이 상상하는 만큼 강력한지 다시 한번 생각해 봐야 합니다.
언젠가는 소프트웨어 안전뿐만 아니라 하드웨어 안전에 대한 기준을 크게 높여야 할 것입니다. IRIS는 하드웨어 검증 가능성 향상을 위한 지속적인 노력입니다. IRIS를 시작점으로 삼거나 더 나은 기술을 개발할 수 있습니다. 실제로 이는 구조적 오류 교정(correct by construction) 방식을 포함할 수 있습니다. 즉, 핵심 부품의 하드웨어 제조 공정은 특정 검증 단계를 의도적으로 설계하는 것입니다. 이러한 작업은 AI 자동화를 통해 크게 간소화될 것입니다.
슈퍼 설득의 종말은 멀다
앞서 언급했듯이, 방어력을 크게 향상시켰더라도 여전히 쓸모없는 또 다른 시나리오는 AI가 충분히 많은 사람들을 설득하여 초지능 AI의 위협에 맞서 방어할 필요가 없다고 믿게 하고, 자신이나 지역 사회를 방어할 방법을 찾으려는 사람은 모두 범죄자라고 생각하는 경우입니다.
저는 오랫동안 우리가 과도한 설득에 저항하는 능력을 키우는 데에는 두 가지가 있다고 믿어왔습니다.
덜 획일적인 정보 생태계. 우리는 인터넷이 더욱 파편화되는 포스트 트위터 시대로 접어들고 있다고 할 수 있습니다. 이는 (비록 파편화 과정이 복잡하더라도) 바람직한 현상이며, 전반적으로 더 많은 정보의 다극화가 필요합니다.
방어형 AI. 개인은 인터넷에서 접하는 어두운 패턴과 위협에 대응하기 위해 로컬 환경에서 작동하고 자신에게 충실한 AI를 갖춰야 합니다. 이러한 아이디어는 산발적으로 시범적으로 도입되고 있으며(예: 휴대폰에서 로컬로 스캔하는 대만의 메시지 검사기 앱), 이러한 아이디어를 더욱 발전시킬 수 있는 시장(예: 사기로부터 개인을 보호하는 것)도 자연스럽게 존재합니다. 하지만 이 분야에서는 더 많은 연구가 필요합니다.
위에서 아래로: URL 확인, 암호화폐 주소 확인, 루머 확인. 이러한 앱은 더욱 개인화되고, 사용자가 제어하며, 더욱 강력해질 수 있습니다.
전투는 당신을 상대로 한 초지능적인 설득자가 아니라, 당신을 상대로 한 초지능적인 설득자와 당신을 섬기는 덜 강력하지만 여전히 초지능적인 분석자의 전투여야 합니다.
이것이 바로 일어나야 할 일입니다. 하지만 실제로 일어날까요? AI 2027 시나리오가 가정하는 짧은 기간 안에 정보 방어 기술에 대한 광범위한 접근성을 확보하는 것은 매우 어려운 목표입니다. 하지만 좀 더 완만한 이정표로도 충분할 수 있습니다. 집단 의사 결정이 가장 중요하고, AI 2027 시나리오처럼 모든 중요한 사건이 단일 선거 주기 내에 발생한다면, 엄밀히 말하면 직접 의사 결정권자(정치인, 공무원, 일부 기업의 프로그래머, 기타 관계자)가 우수한 정보 방어 기술을 사용할 수 있도록 하는 것이 중요합니다. 이는 단기적으로 비교적 쉽게 달성할 수 있으며, 제 경험상 이러한 사람들 중 다수는 이미 여러 AI와 소통하여 의사 결정을 지원하는 데 익숙해져 있습니다.
의미
AI 2027의 세계에서는 초지능 AI가 나머지 인류를 쉽고 빠르게 멸망시킬 것이라는 것이 기정사실로 여겨지기 때문에, 우리가 할 수 있는 유일한 일은 선도적인 AI가 선한 존재가 되도록 노력하는 것입니다. 하지만 제 생각에는 현실은 훨씬 더 복잡합니다. 선도적인 AI가 나머지 인류(그리고 다른 AI)를 쉽게 멸망시킬 만큼 강력한지 여부에 대한 답은 여전히 논란의 여지가 많으며, 이러한 결과를 바꾸기 위해 우리가 취할 수 있는 조치들이 있습니다.
이러한 주장이 맞다면 현재 정책에 대한 의미는 때로는 주류 AI 안전 원칙과 유사하고 때로는 다릅니다.
초지능 AI 개발을 미루는 것은 여전히 바람직한 일입니다. 초지능 AI는 3년 후보다 10년 후가 더 안전하며, 30년 후에는 더욱 안전할 것입니다. 인류 문명이 준비할 시간을 더 주는 것은 유익합니다.
이를 어떻게 달성할지는 어려운 문제입니다. 미국에서 주 차원의 AI 규제를 10년간 금지하는 법안이 부결된 것은 전반적으로 긍정적이라고 생각하지만, 특히 SB-1047과 같은 초기 법안들이 부결된 이후 다음 단계가 더욱 불분명해졌습니다. 고위험 AI 개발을 늦추는 가장 침습적이지 않으면서도 강력한 방법은 최첨단 하드웨어를 규제하는 일종의 조약을 체결하는 것이라고 생각합니다. 효과적인 방어를 위해 필요한 많은 하드웨어 사이버 보안 기술은 국제 하드웨어 조약의 유효성을 확인하는 데에도 도움이 될 수 있으므로, 시너지 효과도 기대할 수 있습니다.
그럼에도 불구하고, 저는 군사 관련 주체들이 이런 조약에서 면제를 받기 위해 강력히 주장하는 것이 위험의 주요 원인이라고 생각합니다. 이는 결코 허용되어서는 안 되며, 만약 이들이 최종적으로 면제를 받게 된다면 군부가 전적으로 주도하는 AI 개발은 위험을 증가시킬 가능성이 큽니다.
AI가 좋은 일을 할 가능성은 높이고 나쁜 일을 할 가능성은 낮추는 조정 작업은 여전히 유익합니다. 가장 큰 예외는 (그리고 항상 그렇듯이) 조정 작업이 결국 역량 강화를 위해 발전하는 경우입니다.
AI 연구실의 투명성을 높이기 위한 규제는 여전히 유익합니다. AI 연구실이 올바르게 행동하도록 인센티브를 제공하면 위험을 줄일 수 있으며, 투명성은 이러한 목표를 달성하는 좋은 방법입니다.
오픈 소스는 해롭다는 사고방식은 더욱 위험해집니다. 많은 사람들이 오픈 소스 AI에 반대하는 이유는 방어가 비현실적이며, 좋은 AI를 가진 선량한 사람들이 선의가 없는 사람들보다 먼저 초지능과 극히 위험한 역량을 획득하는 것이 유일한 희망이라는 것입니다. 그러나 이 글의 주장은 다른 그림을 보여줍니다. 방어는 한 주체가 너무 앞서 나가고 다른 주체들이 따라잡지 못하기 때문에 비현실적입니다. 힘의 균형을 유지하기 위해서는 기술이 확산되는 것이 중요해집니다. 하지만 동시에, 최첨단 AI 역량의 성장을 가속화하는 것이 오픈 소스 방식으로 이루어진다는 이유만으로 좋은 일이라고는 결코 주장하지 않을 것입니다.
미국 연구소의 우리는 중국을 이겨야 한다는 사고방식은 비슷한 이유로 더욱 위험해집니다. 만약 패권이 안보 완충 장치가 아니라 위험의 원천이라면, 이는 선의를 가진 사람들이 선도적인 AI 연구소에 합류하여 더 빨리 승리하도록 도와야 한다는 (안타깝게도 너무나 흔한) 주장을 더욱 반박합니다.
공공 AI와 같은 이니셔티브는 AI 역량이 널리 배포되도록 보장 하고 인프라 관계자가 이 기사에서 설명한 몇 가지 방법을 통해 새로운 AI 역량을 신속하게 적용할 수 있는 도구를 갖추도록 보장하는 두 가지 목적을 위해 지원되어야 합니다.
국방 기술은 모든 늑대를 사냥한다는 개념보다는 양을 무장시킨다는 개념에 더 중점을 두어야 합니다. 취약한 세계 가설에 대한 논의는 패권 국가들이 잠재적 위협의 출현을 막기 위해 전 세계적인 감시 체계를 유지하는 것이 유일한 해결책이라고 가정하는 경우가 많습니다. 그러나 패권 국가가 아닌 세계에서는 이러한 접근 방식이 실현 가능하지 않으며, 하향식 방어 메커니즘은 강력한 AI에 의해 쉽게 전복되어 공격 도구로 변질될 수 있습니다. 따라서 세계의 취약성을 줄이기 위한 노력을 통해 더 큰 국방 책임을 달성해야 합니다.
위의 주장은 추측에 불과하며, 그 주장이 거의 확실하다는 가정 하에 행동해서는 안 됩니다. 하지만 AI 2027에 대한 이야기 역시 추측에 불과하며, 구체적인 내용이 거의 확실하다는 가정 하에 행동해서는 안 됩니다.
저는 특히 AI 패권을 확립하고, 그 동맹을 확보하며, 경쟁에서 승리하는 것만이 유일한 길이라는 일반적인 가정에 대해 우려하고 있습니다. 제 생각에 이러한 전략은 우리의 안보를 약화시킬 가능성이 높습니다. 특히 패권이 군사적 활용과 깊이 연관되어 있다면, 많은 동맹 전략의 효과를 떨어뜨릴 것입니다. 패권을 장악한 AI가 길을 잃으면 인류는 견제와 균형의 모든 수단을 잃게 될 것입니다.
AI 2027 시나리오에서 인간의 성공은 미국이 결정적인 순간에 파괴보다는 안전을 선택하는 데 달려 있습니다. 즉, AI의 발전을 자발적으로 늦추고 에이전트-5의 내부 사고 과정을 인간이 해석할 수 있도록 하는 것입니다. 그럼에도 불구하고 성공이 불가피한 것은 아니며, 인간이 단 하나의 초지능적 사고에 의존하는 생존의 벼랑 끝에서 어떻게 벗어날 수 있을지는 불분명합니다. 향후 5~10년 동안 AI가 어떻게 발전하든, 세계의 취약성을 줄이는 것은 실현 가능하다는 점을 인정하고 최신 인간 기술을 통해 이 목표를 달성하기 위해 더 많은 에너지를 투자하는 것은 가치 있는 일입니다.
피드백과 리뷰를 해주신 자원봉사자 발비에게 특별히 감사드립니다.
