Coinbase CEO: AI 비용 통제를 위한 기본 모델 및 라우팅 메커니즘 최적화로 Token 사용 증가와 지출 감소 동시 달성

Odaily星球日报讯 Coinbase CEO 브라이언 암스트롱(Brian Armstrong)이 X 플랫폼에 글을 올려, Coinbase 내부 팀이 Token 사용량이 기하급수적으로 증가하는 동시에 AI 지출을 안정적으로 유지하는 방법을 모색 중이라고 밝혔습니다. 이러한 목표는 사용 제한이나 잦은 비용 알림을 통해서가 아니라, 더 나은 시스템 설계를 통해 달성하고 있습니다.

그는 Coinbase가 AI 사용 비용을 최적화하는 다섯 가지 주요 방법을 설명했습니다. 첫째는 '더 나은 기본 모델'로, 엔지니어가 모델을 자유롭게 선택할 수 있지만 시스템 기본값은 비용이 낮은 오픈소스 가중치 모델(예: GLM 5.2, Kimi 2.7)로 유도합니다. 동시에 작업 유형에 적합한 모델을 선택하도록 장려합니다. 둘째는 '스마트 라우팅'으로, 작업 유형, 캐시 적중률 및 모델 가격에 따라 최적의 모델을 자동으로 할당하는 시스템을 구축하여 수동 선택을 대체합니다.

셋째는 '캐시 최적화'로, 캐시 적중률을 높여 반복 계산 비용을 획기적으로 줄입니다. 넷째는 '간소화된 컨텍스트'로, 작업 전환 시 불필요한 Token 소모를 줄이고 불필요한 도구 호출을 제한합니다. 다섯째는 '시각적 투명성'으로, 엔지니어가 자신의 사용 현황을 명확히 파악할 수 있도록 하지만 사용을 억제하기 위해 제한을 가하지는 않습니다.

브라이언 암스트롱은 목표는 AI 사용을 억제하는 것이 아니라 기하급수적인 성장을 뒷받침할 수 있는 인프라를 구축하는 것이라고 강조했습니다. 실제 결과에 따르면 Token 사용량이 지속적으로 증가하는 가운데, 전체 AI 지출은 거의 절반 가까이 감소했습니다.