黄런쉰은 왼쪽으로, 아모데이는 오른쪽으로

원문 저자: 苏扬

원문 편집: 徐青阳

원문 출처: 텐센트 테크놀로지

최전선 AI를 계속 가속할 것인가, 아니면 브레이크를 밟을 것인가가 실리콘밸리의 가장 뜨거운 논쟁거리로 떠올랐다.

이 논쟁을 둘러싸고 실리콘밸리 거물들이 진영을 나누기 시작했는데, 아모데이, 올트먼, 머스크, 하사비스가 "일시 중단파"를 구성했다. 젠슨 황은 확고한 "가속파"로, "AI 종말론"이 과학적 근거가 부족하다고 비판했다. 얀 르쿤은 아모데이를 계속 조롱하며 말했다. "(아모데이)가 OpenAI에 있을 때도 GPT-2가 위험해서 오픈소스로 공개하면 안 된다고 생각했는데, 나는 그때도 그를 비웃었고, 지금도 계속 그럴 수 있다."

이와 대조적으로 저커버그와 나델라 등은 상대적으로 중립적인 입장을 보였다.

거물들이 각자 진영을 나눈 것은 실리콘밸리가 최전선 모델 일시 중단에 대한 합의를 이루지 못했음을 의미하며, 이는 각 기업이 AI 산업 체인에서 차지하는 생태적 위치의 차이에서 비롯된다. 모델 차원의 선두주자들은 각기 다른 이유로 일시 중단을 외칠 수 있지만, 수천억 달러 규모의 컴퓨팅 주문을 쥐고 있는 오라클, AWS, 그리고 먹이사슬 최상위에 있는 엔비디아 같은 기업이 멈추게 하는 것은 긍정적인 반응을 얻을 수 없다.

워싱턴에서는 "일시 중단"의 목소리가 지지를 받지 못했을 뿐만 아니라 일련의 의문까지 불러일으켰다.

"이건 좀 트로이 목마 같은 냄새가 난다(It feels a little bit to me like a bit of a Trojan horse)." JD 밴스가 인터뷰에서 한 이 말은 사실 워싱턴의 진짜 시각을 반영한다. 목마를 만든 기업이 거듭 문을 더 좁히라고 요구할 때, 그 문이 과연 어떤 기업에 적합한지 따져봐야 한다는 것이다.

일시 중단, 경고 그리고 한 통의 사직서

이 논쟁의 도화선은 Anthropic 연구원 제이콥 콕슨(Jacob Coxon)의 사직이었다.

그는 이전에 OpenAI와 Anthropic에서 3년간 사전 학습 연구를 하며 최전선 모델 훈련에 직접 참여했다. X에 올린 장문의 글에서 그는 거의 예의를 갖추지 않았다. "두 회사 모두 책임감 있게 행동하지 않고 있다. 그들은 자기 개선이 가능한 초지능을 향해 곧장 돌진하며 우리의 목숨을 걸고 있다."

그는 연구소 내부 사람들이 AI가 10년 안에 모든 인류를 죽일 수 있다고 진심으로 믿고 있으며, 이것이 결코 홍보용 쇼가 아니라고 직언했다. 많은 동료들이 이미 현재 단계를 "결정적 순간", "종국"이라고 표현하기 시작했다. 콕슨은 곧 귀속될 예정이던 주식까지 포기했다. 그는 Anthropic에 불과 4개월밖에 있지 않았고, 회사 규정상 6개월이 지나야 행사할 수 있었다.

Anthropic 전 연구원 제이콥 콕슨(Jacob Coxon)

곧이어 Anthropic의 정렬 과학 담당 에반 휴빙거가 공개적으로 응답했다. 제이콥이 맞다, 우리는 AI가 모든 인류를 죽일 수 있다고 진심으로 믿는다. 개인적으로 10년 내 그 확률이 10% 이상이라고 본다. Anthropic은 최선을 다하고 있지만, 우리는 아직 초지능 정렬에 대한 명확한 계획을 해결하지 못했고, 궤도에 오르지도 못했다.

이 두 발의 총성이 원래 주로 연구소 내부에서 발효되던 우려를 곧바로 대중 앞에 끌어냈다. 이러한 배경에서 Anthropic 창업자 겸 CEO 아모데이는 곧바로 장문의 글을 발표하며 "최전선 연구 속도 늦추기" 주장을 체계적으로 제시했다. 그는 더 이상 "안전에 더 투자하자"만 이야기하지 않고, 능력 도약의 속도를 주도적으로 통제하여 안전 메커니즘이 따라잡을 시간을 확보해야 한다고 명확히 요구했다.

그는 3단계 방안을 제시했다. 먼저 Anthropic이 단독으로 직원급 권한을 가진 독립 평가자를 도입하고, 다음으로 민주주의 국가의 AI 기업들이 공동 안전 기준과 능력 성장 상한을建立하며, 최종적으로 글로벌 조정을 시도한다는 것이다.

올트먼, 머스크, 하사비스는 곧바로 공개적으로 호응하며 "일시 중단파"를 형성했다.

제이콥 콕슨과 아모데이의 "감속"론이 등장하기 전부터, 조슈아 벤지오와 제프리 힌턴 같은 "AI 대부"들은 줄곧 위험에 대한 우려를 제기하는 목소리를 내왔다.

콕슨의 사직에 대해 벤지오는 최전선 AI 연구소의 과학자들이 대중보다 최신 모델의 능력을 더 일찍 볼 수 있는 경우가 많기에 그들의 위험 판단은 진지하게 받아들일 가치가 있다고 말했다.

동시에 벤지오는 구체적인 예를 들며, 현재 AI 시스템이 이미 해킹 공격과 설득 능력을 갖추고 있어 인류의 이익을 해치는 데 사용된다면 심각한 결과를 초래할 수 있다고 밝혔다. 그는 또한 AI가 더 긴 시간 범위의 계획 능력을 갖추게 되면서 이런 위험이 더 확대될 수 있다고 우려했다.

BBC가 AI가 향후 10년 내 "모든 인류를 죽일" 확률이 10%를 넘느냐고 묻자, 제프리 힌턴도 이 숫자가 "불합리하지 않다"고 밝혔지만, 동시에 인류가 이전에 "곧 우리보다 더 똑똑할 수 있는 종의 존재"에 직면한 적이 없기에 아무도 신뢰할 만한 추정치를 제시할 방법을 진정으로 알지 못한다고 강조했다.

힌턴은 AI가 미래에 위험한 생물 바이러스, 컴퓨터 바이러스를 설계하고 대규모 사이버 공격을 감행하는 데 사용될 수 있다고 본다. 따라서 인류는 위험이 통제 불능이 되기 전에 효과적인 통제 방법을 찾아야 한다.

실리콘밸리의 새로운 "일시 중단론" 제안자들과 달리, "AI 대부"들은 위험에 대한 관심을 촉구하고 위험 통제 메커니즘 구축을 모색하는 데 더 중점을 두었지, 직접 브레이크를 밟자는 것은 아니었다. 게다가 입장 면에서 학계의 의견과 제안은 더 순수한 반면, 최전선 연구소의 제안은 표면상 "인류를 위해"라는 라벨을 달고 있어도 100% 상업적 고려에서 벗어나기는 어렵다.

이것이 바로 JD 밴스가 "일시 중단론"이 트로이 목마 같다고 말한 이유다.

분열과 진영 나누기

"가속파", "감속파", "중간파" 진영. 출처: 뉴욕타임스

9월 15일, 여러 기술 기업 수장들이 Salesforce Dreamforce大会上 연이어 발언하면서 이 논쟁은 더 직접적인 관점 대결로 변하기 시작했다.

이날 아모데이, 젠슨 황, 올트먼 모두 AI 안전에 대해 이야기했지만, 발전 속도, 안전 책임, 그리고 기업이 어떤 행동을 취해야 하는지에 대해서는 서로 다른 답을 내놓았다.

아모데이는 Salesforce CEO 마크 베니오프(Marc Benioff)와 같은 무대에 섰을 때, AI 기업이 자체 행동을 통해 더 높은 안전 기준을 세워야 한다고 다시 강조했다. 그는 기업이 주도적으로 더 엄격한 안전 조치를 취하는 것이 전체 산업을 발전시키는 방식이 될 수 있다고 생각했다.

다시 말해, 아모데이의 태도는 전환되기 시작했다. 업계 전체의 감속을 호소하는 것에서 기업이 자율적으로 안전 가드레일을 추가 설치하는 쪽으로 방향을 바꾼 것이다.

젠슨 황은 "새로운 법도, 새로운 규제도 필요 없다"고 밝혔다. 그의 관점에서 속도와 안전은 양자택일의 관계가 아니며, 기업은 가능한 한 빠르게 모델 개발을 추진할 수 있다. 만약 통제를 잃거나 제품이 안전을 보장할 수 없다고 판단되면, 멈추고 문제를 해결하면 된다.

베니오프의 태도는 더 개방적이고 자율성을 강조했다. 그는 기업이 늦춰야 한다고 생각하면 늦추고, 가속해야 한다고 생각하면 가속해야 하며, 동시에 자신의 결정에 책임을 져야 한다고 말했다.

OpenAI 창업자 겸 CEO 올트먼은 Dreamforce 현장에서 OpenAI는 물론 전체 AI 업계가 대중에 중대한 피해를 주지 않고 안전하게 발전할 수 있다고 매우 확신한다고 밝혔다. 그는 동시에 자신의 관점을 업계 전체의 AI 발전 속도 늦추기를 지지하는 것으로 이해하는 외부의 시각에 실망감을 표했다.

다시 말해, 올트먼도 전환하기 시작했다. 자신이 표현하려 한 것은 업계 감속 호소가 아니라, 안전과 모니터링 작업이 능력 향상보다 선행되어야 한다는 점을 강조하고 싶었다는 것이다.

저커버그는 한 회사의 안전 행동을 다른 AI 기업들이 반드시 동시에 늦춰야 한다는 전제 위에 세우는 것에 반대했다. 그는 독립 평가 기관과 외부 자문을 도입해 모델 안전성을 검증하는 것이 업계 최선의 관행이라고 생각했다. 그는 또한 Meta가 이전에 다른 회사들이 먼저 AI 발전 늦추기에 대한 합의를 이루기를 기다리지 않고, 자체적으로 Muse AI 도구 개발을 늦췄다고 밝혔다.

마이크로소프트 CEO 사티아 나델라의 태도는 어느 정도 올트먼과 일치하며, 가드레일 추가 설치를 장려하고 충분한 경쟁도 장려한다.

"우리가 먼저 해야 할 일은 인류를 섬기고 기술이 인간의 통제 아래 있도록 보장하는 것입니다. 동시에 AI 기술의 광범위한 확산이 가장 핵심적이며, 선택과 경쟁이 있어야 합니다. 안전은 진지하게 다뤄야 하지만, 신비화하는 것이 아니라 엔지니어링과 투명한 방식으로 해결해야 합니다." 나델라가 9월 15일 All-In Summit 2026 정상회의에 참석해 한 말이다.

이 기업인들 외에도 워싱턴의 목소리도 더해졌다.

트럼프가 젠슨 황에게 직접 전화해 AI 산업의 지속적 발전에 대한 지지를 공개적으로 표명한 이후, 미국 대통령 과학기술자문위원회 공동의장 데이비드 색스(David Sacks)는 이어서 기술 기업들이 최전선 AI를 계속 추진할 수 있다고 밝히면서, 일부 기업이 제기하는 "감속" 주장 이면의 동기에 의문을 제기했다.

누가 규칙을 만들 것인가?

논의가 확대되면서, 논쟁은 AI 위험 자체에서 더 나아가 최전선 AI의 안전 기준을 과연 기업이 자체적으로制定할 것인지, 아니면 정부와 독립 기관이 개입해야 하는지로까지 이어졌다.

블룸버그는 사안에 정통한 소식통을 인용해 Anthropic, 구글, OpenAI가 이전에 인공지능 업계 표준 기관 설립을 논의한 적이 있다고 보도했다.

7월, 하사비스는 미국이 주도하는 AI 표준 기관 설립을 제안하는 글을 발표했는데, 운영 방식은 미국 금융산업규제국(FINRA)과 유사하다. 이 기관은 첨단 AI 모델이 공식 배포되기 전에 테스트하여 해당 안전 기준에 도달했는지 판단할 수 있다.

하사비스의 구상에 따르면, 이 기관은 전적으로 정부가 주도해서는 안 되고, 공공-민간 협력 모델을 취해야 한다. 정부는 감독 역할을 하고, AI 업계가 자금을 제공하며, 동시에 독립적인 최고 기술 전문가와 오픈소스 커뮤니티 대표를 참여시킨다.

하사비스는 모델이 현실 세계에 진입하기 전에 독립적인 안전 검사를 추가하려 했는데, 이는 미국 정부가 6월 초 발표한 규제 논리와 비교적 부합한다. 기업이 자발적으로 모델 공개 발표 전에 정부에 평가를 맡길 수 있고, 최대 발표 전 30일 접근 기간을 제공하며, 강제 승인이나 발표 허가를 두지 않는다는 것을 명확히 한 것이다.

다소 극적인 것은 이후 Fable 5와 Mythos 5