황런쉰 최신 팟캐스트: AI가 '모델 시대'에서 '시스템 시대'로 나아가고 있다

비디오 제목: Jensen Huang: Nvidia's Future, Physical AI, Rise of the Agent, Inference Explosion, AI PR Crisis

비디오 작가: All-In Podcast

편집: Peggy, BlockBeats

편집자 주: AI 내러티브가 계속 가열되는 현재, 시장 논의의 초점은 '모델이 얼마나 강력한가'에서 '시스템이 어떻게 현실에 적용되는가'로 전환되고 있습니다. 지난 2년간 업계는 대규모 모델 능력의 돌파, 훈련 연산력 경쟁, 생성형 애플리케이션 확장을 차례로 경험했습니다. 하지만 이러한 단계가 점차 합의가 되면서 새로운 문제도 함께 떠올랐습니다: AI가 더 이상 단순히 질문에 답하는 것을 넘어, 작업을 실행하고, 기업 프로세스에 내재되며, 물리적 세계로 진입할 때, 그것을 계속 앞으로 나아가게 하는 근본적인 조건은 무엇일까요?

본문 대화는 유명한 기술 팟캐스트 All-In Podcast에서 발췌했습니다. 실리콘밸리에서 가장 영향력 있는 투자자 팟캐스트 중 하나로, 이 프로그램은 오랫동안 최전선에서 활동해 온 네 명의 투자자가 공동으로 진행하며 기술, 비즈니스 및 거시적 트렌드에 대한 심도 있는 토론으로 유명합니다.

프로그램 네 명의 진행자는 다음과 같습니다:

• Jason Calacanis, 초기 인터넷 창업자 및 엔젤 투자자, Uber, Robinhood 등 회사에 투자한 것으로 널리 알려짐;
• Chamath Palihapitiya, Social Capital 창립자, 전 Facebook 임원, Slack, Box 등 여러 기술 회사에 투자;
• David Sacks, Craft Ventures 파트너, 'PayPal Mafia' 멤버 중 한 명, Yammer를 창립하여 약 120억 달러에 Microsoft에 매각했으며, 동시에 Airbnb, Uber의 초기 투자자;
• David Friedberg, The Production Board 창립자, 농업, 기후 및 생명과학 분야 투자에 집중, The Climate Corporation 창립(후에 Monsanto에 인수됨).

이번 에피소드의 게스트는 황런쉰(Jensen Huang), NVIDIA 공동 창립자 겸 CEO로, 현재 AI 인프라 물결에서 가장 중요한 추진자 중 한 명으로 간주됩니다.

왼쪽부터 오른쪽으로 David Friedberg, Chamath Palihapitiya, David Sacks, 황런쉰(Jensen Huang), Jason Calacanis

전체 인터뷰는 대략 세 가지 층위로 요약할 수 있습니다.

첫째, AI 인프라가 변화하고 있다는 점입니다. 과거 시장의 AI에 대한 이해는 상당 부분 더 강력한 GPU, 더 많은 데이터 센터 위에 세워져 있었습니다. 하지만 황런쉰이 강조하고 싶은 것은, 미래의 경쟁은 더 이상 단일 칩의 경쟁이 아니라 전체 시스템의 경쟁이라는 것입니다. 추론 수요의 증가, 모델 종류의 다양화, 에이전트가 더 복잡한 작업을 처리하기 시작함에 따라, AI 컴퓨팅은 과거의 상대적으로 단일한 패턴에서 더 복잡하고 분업화된 시스템 협업으로 전환되고 있습니다. NVIDIA 또한 자신의 역할을 칩 회사에서 한 걸음 더 나아가 'AI 공장'의 건설자로 밀어붙이려 하고 있습니다.

둘째, AI가 '콘텐츠 생성'에서 '작업 완수'로 나아가고 있다는 점입니다. 이는 이번 인터뷰에서 가장 핵심적인 단서입니다. ChatGPT는 대중이 AI의 능력을 처음으로 직관적으로 느끼게 했지만, 황런쉰이 보기에 진정한 더 큰 변화는 AI가 에이전트 형태로 워크플로에 진입하기 시작했다는 것입니다: 그것은 단순히 질문에 답하는 것이 아니라, 도구를 호출하고, 작업을 분해하며, 협업하여 실행하고, 궁극적으로 일을 실제로 끝낼 수 있습니다. 바로 그렇기 때문에, 사용자가 AI에 대해 비용을 지불하려는 대상도 '답변을 얻는 것'에서 점차 '결과를 얻는 것'으로 전환될 것입니다. 이 배후에는 더 큰 추론 수요, 더 높은 시스템 복잡성이 있으며, 이는 소프트웨어 개발, 조직 관리 및 지식 노동의 방식이 모두 그에 따라 재편될 수 있음을 의미합니다.

마지막으로, AI가 디지털 세계에서 현실 세계로 확장되고 있다는 점입니다. 인터뷰에서 자율주행, 로봇, 의료, 디지털 생물학, 혹은 황런쉰이 말하는 Physical AI에 대해 이야기할 때, 본질적으로 모두 동일한 트렌드를 가리킵니다: AI의 가치는 화면 안에만 나타나는 것이 아니라, 공장, 병원, 자동차, 단말 장치 및 일상 생활에서 점점 더 많이 나타날 것입니다. 하지만 이는 또한 AI가 앞으로 직면할 것이 더 이상 기술적 도전뿐만 아니라 공급망, 정책, 규제, 제조 능력 및 지정학적 문제와 같은 더 복잡한 현실적 제약도 포함할 것임을 의미합니다. 달리 말해, AI의 다음 확장은 진정한 의미의 산업화 과정이 될 것입니다.

이런 관점에서 볼 때, 이번 대담에서 가장 주목할 만한 것은 사실 특정 제품이나 낙관적인 숫자가 아니라, 황런쉰이 반복적으로 전달하는 한 가지 판단입니다: AI는 '모델 시대'에서 '시스템 시대'로 나아가고 있습니다. 미래의 경쟁은 누구의 모델이 더 크고, 연산력이 더 강한지 비교하는 것이 아니라, 누가 업계를 더 잘 이해하고, AI를 실제 프로세스에 더 깊이 내재시키며, 이러한 능력을 실행 가능하고 확장 가능한 시스템으로 조직할 수 있는지 비교하는 것입니다.

이는 또한 본문이 논의하는 대상을 NVIDIA 자체를 넘어서게 합니다. 그것이 진정으로 답하려고 시도하는 질문은 다음과 같습니다: AI가 점차 인프라가 될 때, 다음 산업 재편은 어떻게 전개될 것이며, 새로운 가치는 어디에서 형성될 것인가.

다음은 원문 내용입니다(이해를 돕기 위해 원문 내용을 일부 정리 및 편집했습니다):

TL;DR

• AI 인프라가 '단일 GPU'에서 디커플링 아키텍처로 나아가고 있습니다. 서로 다른 컴퓨팅 작업은 GPU, CPU, 네트워크 칩 및 Groq와 같은 추론 칩이 협력하여 완료할 것입니다.
• NVIDIA는 GPU 회사에서 완전한 시스템을 제공하는 'AI 공장 회사'로 전환하고 있습니다. 판매하는 것은 단일 칩이 아니라 전체 인프라입니다.
• AI 비용을 측정하는 핵심은 데이터 센터 건설 비용이 아니라 토큰 비용과 처리량 효율성입니다. 더 비싼 시스템이 오히려 더 저렴할 수 있습니다.
• AI는 생성형 모델에서 에이전트 시대로 나아가고 있습니다. 사용자는 진정으로 '일을 끝내는 것'에 대해 비용을 지불하려 하며, 단순히 답변을 얻는 것이 아닙니다.
• 컴퓨팅 수요가 폭발적으로 증가하고 있습니다. 생성에서 추론, 그리고 에이전트로, 짧은 시간 내에 이미 1만 배 이상 확대되었으며 여전히 가속화되고 있습니다.
• 미래의 소프트웨어 개발은 변화할 것입니다. 엔지니어는 더 이상 단순히 코드를 작성하는 것이 아니라, 문제를 정의하고, 아키텍처를 설계하며, 에이전트와 협업할 것입니다.
• 장기적으로 볼 때, 가장 큰 기회는 범용 모델 자체가 아니라 수직 분야의 깊은 전문화에 있습니다. 누가 업계를 더 잘 이해하는지, 누가 더 강력한 방어벽을 가지고 있는지가 중요합니다.

인터뷰 원문

Jason Calacanis (유명 엔젤 투자자 | All-In Podcast 진행자 | Uber 초기 투자):

이번 주는 특별 프로그램입니다. 우리는 매주 정기 프로그램을 '양보'했고, 이런 대우는 보통 세 종류의 사람에게만 합니다: 트럼프 대통령, 예수님, 그리고 황런쉰(NVIDIA의 창립자 겸 CEO). 이 세 분의 순위는 여러분이 결정하세요. 당신은 최근 정말 기세가 좋았고, 이번 GTC도 매우 성공적이었습니다.

황런쉰 (Jensen Huang, 엔비디아 CEO):

전체 업계가 왔습니다. 모든 기술 회사, 모든 AI 회사가 거의 다 왔습니다.

Jason Calacanis:

정말 놀랍습니다, 정말 비범하네요. 지난해 가장 중요한 발표 중 하나는 Groq였습니다. Groq를 인수할 때, 이것이 Chamath를 얼마나 '견딜 수 없게' 만들지 예상했나요?

참고: Groq는 Grok이 아닙니다. 전자는 AI 추론 칩 및 추론 클라우드 회사이고, 후자는 xAI의 채팅봇입니다. 2025년 말, Groq는 NVIDIA와 비독점 추론 기술 라이선스 계약을 체결했으며, 공식적으로 거래 금액을 공개하지 않았습니다; 하지만 외부에는 약 1700억~2000억 달러의 보도와 추측이 있었습니다. GTC 2026에서 황런쉰은 Groq 기술을 NVIDIA 플랫폼에 통합한 추론 시스템을 추가로 선보였습니다.

여기서 언급된 Chamath는 Chamath Palihapitiya(Social Capital 창립자 | 전 Facebook 임원 | All-In 진행자)를 가리킵니다. 그는 All-In의 네 진행자 중 한 명이자, Groq의 초기 투자자이자 이사회 멤버 중 한 명이었습니다. 따라서 NVIDIA와 Groq의 주요 거래가 수면 위로 떠오르자, 이는 Chamath가 또 한 번 핵심 프로젝트에 성공적으로 베팅한 것으로 간주되었습니다.

황런쉰:

어렴풋이 예감했습니다.

Jason Calacanis:

우리는 매주 그와 씨름해야 합니다.

황런쉰:

알고 있습니다. 여러분은 그와 함께 인수 합병 기간 6주를 꼬박 지내야 했죠.

Jason Calacanis:

맞습니다.

GPU 회사에서 'AI 공장' 회사로

황런쉰:

사실, 우리의 많은 전략은 몇 년 전에 GTC에서 미리 공개적으로 발표합니다. 2년 반 전, 저는 AI 공장의 운영 체제인 Dynamo를 소개했습니다.

아시다시피, 다이나모(dynamo)는 원래 지멘스가 발명한 장치로, 물의 에너지를 전기 에너지로 변환하여 지난 산업 혁명의 공장 시스템을 추진했습니다. 그래서 저는 이 이름이 다음 산업 혁명의 '공장 운영 체제' 이름으로 매우 적합하다고 생각했습니다. 그리고 Dynamo 안에서 가장 핵심적인 기술 중 하나는 디커플링 추론(disaggregated inference)입니다.

Jason Calacanis:

Jensen, 당신이 기술을 정말 잘 안다는 걸 알고 있습니다. 자, 당신이 정의해 주세요. 제가 당신의 빛을 가리고 싶지 않습니다.

황런쉰:

감사합니다. 소위 디커플링 추론이란, 추론의 전체 처리 파이프라인이 극도로 복잡하며, 심지어 오늘날 가장 복잡한 유형의 컴퓨팅 문제일 수 있다는 의미입니다.

그 규모는 엄청나며, 다양한 형태와 규모의 수학적 계산이 대량 포함되어 있습니다. 우리의 아이디어는 전체 처리 과정을 분해하여, 일부는 특정 유형의 GPU에서 실행하고, 다른 부분은 또 다른 유형의 GPU에서 실행하는 것입니다. 더 나아가, 이는 또한 우리에게 디커플링 컴퓨팅 자체가 합리적인 방향일 수 있음을 깨닫게 했습니다: 우리는 완전히 다른 유형과 성질의 컴퓨팅 자원이 협력하도록 할 수 있습니다.

같은 사고방식이 나중에 우리를 Mellanox로 이끌었습니다. 오늘날 NVIDIA의 컴퓨팅은 이미 GPU, CPU, 스위치, 스케일업 스위치, 스케일아웃 스위치 및 네트워크 프로세서 위에 분산되어 있습니다. 이제 우리는 Groq도 추가할 것입니다.

우리의 목표는 적절한 워크로드를 적절한 칩에 배치하는 것입니다. 달리 말해, 우리는 이미 GPU 회사에서 AI 공장 회사로 진화했습니다.

David Sacks (Craft Ventures 파트너 | 전 PayPal COO | All-In 진행자):

제게는 이것이 아마도 가장 중요한 통찰력입니다. 지금 당신이 보고 있는 것은 근본적인 '디커플링'입니다. 과거에는 GPU라는 단일 선택지밖에 없었지만, 이제 점점 더 다양한 컴퓨팅 형태가 나타나기 시작했고, 이러한 선택지들은 미래에 모두 공존할 것입니다.

당신이 무대에서 언급한 한 가지, 고가치 추론을 하는 모든 사람이 진지하게 들어야 한다고 생각합니다: 데이터 센터 공간의 약 25%를 Groq의 LPU로 구성해야 한다고 말했죠.

참고: LPU는 Language Processing Unit의 약자입니다. 이것은 Groq가 제안한 칩 카테고리로, 핵심 포지셔닝은 훈련이 아닌 추론입니다.

황런쉰:

네, 데이터 센터에서 Groq가 Vera Rubin 시스템의 약 25% 비중을 차지하도록 할 수 있습니다.

참고: Vera Rubin은 NVIDIA의 차세대 AI 플랫폼 아키텍처입니다. 단일 칩이 아닌, AI 공장을 위한 시스템 수준의 인프라 플랫폼입니다.

David Sacks:

그럼 업계가 이 방향을 어떻게 보고 있는지 말씀해 주실 수 있나요? 본질적으로 당신은 차세대 디커플링 아키텍처를 구축하고 있습니다: prefill, decode 분리, 추론 프로세스 분할. 사람들이 어떻게 반응할 것이라고 생각하시나요?

황런쉰:

먼저 한 걸음 물러서서 봅시다. 우리가 시스템에 이 기능을 추가했을 때는, 전체 업계가 이미 대규모 언어 모델 처리에서 에이전트 처리(Agentic Processing)로 전환하고 있었기 때문입니다.

에이전트를 실행할 때, 그것은 작업 메모리, 장기 메모리에 접근하고, 도구를 호출하며, 이는 스토리지에 대한 압력이 매우 큽니다. 또한 에이전트 간 협업도 볼 수 있습니다. 어떤 에이전트는 초대형 모델을 사용하고, 어떤 것은 소형 모델을 사용합니다; 어떤 것은 diffusion 모델이고, 어떤 것은 자기회귀 모델입니다. 즉, 이 데이터 센터 내부에는 동시에 완전히 다른 유형의 모