短短9个月，OpenAI自研ASIC芯片已超越英伟达Blackwell？

원문 저자: 동징(Dong Jing)

원문 출처: 월스트리트저널(Wall Street CN)

OpenAI의 첫 자체 개발 칩 '할라페뇨(Jalapeño)'가 등장하며 믿기 어려울 정도의 속도로 AI 칩 산업의 기존 구도를 뒤흔들고 있다. 이는 단순한 제품 출시가 아니라, AI가 칩 설계 방식 자체를 재편하고 있다는 신호다.

월스트리트저널 기사에 따르면, 블룸버그는 8월 25일 OpenAI가 할라페뇨가 단위 전력당 처리 가능한 AI 워크로드와 응답 속도라는 두 가지 핵심 지표에서 모두 엔비디아 GB300을 앞섰다고 보도했다. 이 칩은 OpenAI와 브로드컴(Broadcom)이 공동 개발했으며, AI 추론 단계에 특화되어 빠르면 올해 말부터 실제 사용에 투입될 예정이다. OpenAI 칩 책임자 리처드 호(Richard Ho)는 할라페뇨가 700와트(W)의 낮은 전력으로도 강력한 성능을 구현하여 데이터센터 전력 비용을 대폭 절감하는 데 기여할 수 있다고 밝혔다.

반도체 연구기관 세미애널리시스(SemiAnalysis)에 따르면, 이 칩은 설계 시작부터 테이프아웃(Tape-out) 완료까지 약 16개월밖에 걸리지 않았으며, 그중 핵심 단계인 CoWoS 패키징 테이프아웃 노드는 2025년 11월에 완료되어 불과 9개월 만에 달성했다. 이는 업계 일반적인 18~36개월 주기를 훨씬 밑도는 수치다.

세미애널리시스 연구진은 직접 OpenAI 연구소를 방문하여 자체 개발한 벤치마크 테스트 스위트 'InferenceX'로 할라페뇨를 실측했다. 결론은 명확했다. 이 칩은 와트당 성능(perf/W) 지표에서 이들이 이전에 테스트한 모든 엔비디아, AMD, 구글 칩을 능가했다.

더 주목할 점은 이러한 성과가 할라페뇨가 아직 스큘레이티브 디코딩(Speculative Decoding)을 활성화하지 않았고, 프리필(Prefill)과 디코드(Decode) 분리 배포 같은 최적화 수단을 적용하지 않은 상태에서 달성되었다는 것이다. 반면 비교 대상이 된 다른 칩들은 모두 자사의 최적 구성을 활성화한 상태였다.

그래서 유명 반도체 분석가 딜런 패텔(Dylan Patel)조차 이렇게 단언했다. "뒤집힌 것은 Blackwell만이 아니다. 엔비디아의 Rubin 칩까지도 추월당했다"!

분석가들은 이 결과가 엔비디아의 시장 지배력에 직접적인 도전이 되며, 시장이 AI 칩 경쟁 구도를 재평가하도록 만들고 있다고 분석한다.

실측 데이터: 할라페뇨, 여러 핵심 지표에서 Blackwell 압도

세미애널리시스의 테스트 결과에 따르면 할라페뇨는 추론 효율성에서 상당한 우위를 보인다.

GPT-OSS 120B 모델에서 할라페뇨는 초당 약 1459개의 토큰을 출력할 수 있는 반면, 엔비디아 GB200은 535개에 불과했다. 엔드투엔드 지연 시간 측면에서는 할라페뇨가 작업 하나를 완료하는 데 1.65초밖에 걸리지 않았지만, GB300은 약 6초가 필요해 약 3.6배의 차이를 보였다. 고상호작용(High-interactivity) 시나리오에서 GB300이 자체 최고 디코딩 속도(초당 169개 토큰)로 작동할 때, 할라페뇨의 처리량은 그보다 104.3배 더 높았다.

데이터센터 에너지 효율성을 측정하는 핵심 지표인 메가와트(MW)당 초당 출력 토큰 수에서, 할라페뇨는 GPT-OSS 모델 기준 약 5300만 개의 토큰/MW/s를 달성한 반면, GB200 NVL72는 약 1000만 개에 그쳤다.

세미애널리시스는 이 지표가 본질적으로 줄(joule)당 산출되는 토큰 수와 동일하며, 데이터센터의 수익 상한선을 직접 결정한다고 지적한다. 연산 능력이 전력에 의해 제약받는 현 상황에서 이러한 차원의 우위는 특히 중요하다.

시스템 레벨 비용 측면에서, 세미애널리시스가 전력 공급, 냉각, 네트워킹을 모두 포함해 계산한 결과, 할라페뇨의 칩당 시간당 총소유비용(TCO)은 약 1.56달러로 H100의 1.55달러와 거의 비슷했다. 반면 엔비디아 Vera Rubin은 3.61달러에 달했다.

주목할 점은 세미애널리시스가 동시에 몇 가지 중요한 유보 의견을 제시했다는 것이다.

첫째, 테스트에 사용된 모델은 현재 가장 최첨단 모델이 아니다. 엔비디아와 AMD는 더 대규모 모델(예: DeepSeek V4 Pro, Kimi K3)에서 AgentX 스위트 기반 성능을 발표했지만, 할라페뇨는 아직 AgentX 테스트를 완료하지 못했다. 이 스위트는 다중 턴, 긴 컨텍스트 등 실제 프로덕션 환경의 성능을 더 잘 반영한다.

둘째, 더 공정한 비교 대상은 역시 HBM4를 사용하는 엔비디아 Vera Rubin이지 Blackwell이 아니다. Vera Rubin의 와트당 성능은 GB200 NVL72보다 약 5.4배 향상되었으며, 할라페뇨와 비교할 때 토큰당 총소유비용(TCO)은 거의 동일하다.

셋째, 할라페뇨는 현재 엔지니어링 샘플 단계에 머물러 있으며, 양산은 2027년이 되어서야 점진적으로 확대될 것으로 예상된다.

AI가 설계한 칩: GPT-Astra와 Codex의 '플라이휠 효과'

할라페뇨가 이렇게 놀라운 속도로 개발될 수 있었던 핵심 이유 중 하나는 AI 도구의 깊은 개입이다. 세미애널리시스에 따르면, OpenAI는 칩 설계 과정에서 내부 AI 모델을 대거 사용했으며, 그중에는 외부에서도 널리 주목받는 GPT-Astra가 포함되어 있다.

소셜 플랫폼 X 사용자 앤드류 커런(Andrew Curran)이 OpenAI 정보를 인용해 지적한 바에 따르면, GPT-Astra는 할라페뇨의 연구개발 전 과정에 깊이 관여했다:

"팀은 Codex와 GPT-Astra를 활용해 두 달 만에 원래 할라페뇨 양산 계획에 없던 세 가지 오픈소스 모델을 고성능 상태로 튜닝했다."

이는 AI가 단순히 칩 설계 자체를 가속화할 뿐만 아니라, 칩이 지원할 수 있는 모델의 범위까지 빠르게 확장하고 있음을 의미한다.

세미애널리시스의 데이터는 이러한 기여를 더욱 정량화한다:

AI 보조 설계 덕분에 SIMD 유닛 면적이 8% 줄었고, 매트릭스 엔진 면적은 10% 감소했으며, 타이밍과 전력 소모 측면에서도 초기 버전보다 우수한 결과를 보였다.

소프트웨어 측면에서 OpenAI는 내부 확장 버전의 Codex를 사용해 할라페뇨 커널을 작성했다. 일부 커널 코드는 약 3000줄에 달한다. 성능을 가장 크게 요구하는 어텐션 메커니즘과 MoE 모듈에서 AI가 생성한 코드는 인간 최고 엔지니어의 구현보다 1.5배에서 1.8배 더 빨랐다.

세미애널리시스는 이에 대해 상당히 날카롭게 평가한다: 엔비디아 GPU에서 실행되는 OpenAI 모델(예: GPT-5.6 Sol)이 CUDA 모트(Moat)에 실질적인 위협이 되는 칩을 설계하는 데 사용되고 있다는 점, 즉 "엔비디아 자체 GPU가 실시간으로 자신의 잠재적 후계자를 낳고 있는 셈"이라는 것이다.

아키텍처 분석: 왜 '범용'이 오히려 더 빠른가?

외부에서는 일반적으로 할라페뇨가 OpenAI 자체 모델에 깊이 맞춰진 특화 칩일 것이라고 예상했다. 그러나 세미애널리시스의 결론은 정반대다: 할라페뇨는 AI 추론을 위한 범용 칩으로, 다양한 모델과 워크로드를 실행할 수 있으며, 심지어 Codex로 포팅한 게임 '둠(Doom)'도 실행할 수 있다.

아키텍처 측면에서 할라페뇨의 핵심 설계 철학은 '고정 지연 시간 제거'다. GPU가 복잡한 메모리 계층 구조에 의존하는 것과 달리, 할라페뇨는 연산 코어와 HBM 슬라이스를 직접 바인딩하고, 코어 간에는 전용 고대역폭 집합 네트워크로 동기화하여 메모리 액세스 지연 시간을 크게 줄였다.

또한 할라페뇨는 다른 가속기들이 일반적으로 사용하는 소프트웨어 관리 스크래치패드 메모리 대신, 비순차 실행(OoO, Out-of-Order) 코어와 L1 캐시를 채택하여 소규모 배치, 저지연 시나리오에서 하드웨어 이론적 최고 성능에 더 가깝게 접근할 수 있다.

메모리 대역폭 측면에서 할라페뇨는 HBM4를 채택하여 단일 패키지에서 15.4TB/s의 메모리 대역폭을 구현했으며, 와트당 HBM 대역폭은 22에 달한다. 반면 엔비디아 Rubin은 11.1, GB300은 5.71에 불과하다.

세미애널리시스는 할라페뇨의 HBM4 핀 속도가 10Gbps로 엔비디아 Rubin의 9.6Gbps보다 약간 높으며, HBM 공급업체는 삼성일 가능성이 높다고 지적한다.

흥미로운 점은 할라페뇨가 프리필-디코드 분리 배포(PDD, Prefill-Decode Disaggregation)를 채택하지 않았다는 것이다. 세미애널리시스는 이에 대해 상세한 설명을 제공한다:

실제 프로덕션 환경에서는 입력-출력 비율, 동시성, 캐시 적중률 등의 파라미터가 끊임없이 변화한다. 고정된 분할 풀(Pool)은 전체적인 활용도를 떨어뜨릴 수 있다. 반면 동종(Homogeneous) 리소스 풀은 트래픽 변화에 유연하게 대응하며, 지연 시간에 민감한 요청과 높은 처리량의 배치 처리 사이에서 자원을 동적으로 배분할 수 있다.

CUDA 모트(Moat): 금이 가기 시작했나?

세미애널리시스는 이 보고서에서 상당히 무게감 있는 판단을 내놓았다. CUDA의 모트가 이미 죽었을 수도 있다는 것이다.

그 근거는 소프트웨어 시작 속도의 비교에 있다. 엔비디아 Rubin의 CoWoS 테이프아웃은 할라페뇨보다 한 달 먼저 완료되었지만, 현재까지 외부에서 볼 수 있는 Rubin의 공개 벤치마크 데이터는 CoreWeave의 엔지니어링 샘플에서 비롯된 것뿐이다. 엔비디아는 OpenAI처럼 제3자가 연구소에 들어와 자유롭게 테스트하도록 허용하지 않았다. 세미애널리시스는 이것이 하드웨어 자체의 격차라기보다는 소프트웨어 성숙도의 격차를 반영한다고 본다.

소프트웨어 스택을 처음부터 구축했기 때문에, 오히려 OpenAI는 과거의 부담에서 벗어나 더 깔끔한 아키텍처 결정을 내릴 수 있었다. OpenAI는 자체 개발한 커널 프로그래밍 언어 Gluon(Triton 기반)과 내부 추론 엔진 'Teacup'을 사용하며, Codex를 통해 커널 튜닝을 신속하게 완료했다. 세미애널리시스는 2주도 채 되지 않아 특정 상호작용 속도에서 할라페뇨의 처리량이 2배 이상 향상되었고, 8일 만에 팀이 텐서 병렬 처리(TP)를 TP8에서 TP32로 확장하여 랙 간 전체 랙 규모 배포를 달성한 것을 관찰했다.

다만 세미애널리시스는 현재 테스트가 8k1k라는 비교적 단순한 워크로