Coinbase CEO: AI支出が約50%削減される一方、トークン使用量は増加を継続（GLMモデルなどの活用による）

Odaily 星球日报 CoinbaseのBrian Armstrong CEOはXプラットフォームへの投稿で、Coinbaseがデフォルト設定、ルーティング、キャッシュ戦略を最適化することで、トークン使用量が増加し続ける中、AI関連支出を約50%削減したと述べました。

具体的な施策は以下の通りです：デフォルトモデルをGLM 5.2やKimi 2.7などのオープンソースウェイトモデルに切り替え、従業員の91%はこれまで使用上限に達したことがありませんでした。カスタムシステムでプロンプトを前処理し、最適なモデルに自動ルーティングすることで、計画タスクと実行タスクの処理を差別化。キャッシュヒット率を向上させ、LibreChatのキャッシュヒット率は5%から60%に上昇。コンテキスト管理を効率化し、タスク切り替え時に新しいセッションを開始し、ファイルコンテキスト範囲を縮小。支出の可視性を高め、エンジニアはモデルを自由に選択できるものの、それに伴う影響を理解する責任を負います。