SemiAnalysis: TTFT 被高估？大型語言模型推理瓶頸在於權衡互動性與吞吐量

Odaily星球日報訊 SemiAnalysis 發文指出，大型語言模型推理中常被引用的「首個 Token 延遲」（TTFT, time-to-first-token）可能被市場過度關注，推理系統的核心維度並非「越快越好」，而是在「單用戶互動速度（tok/s/user）」與「整體吞吐效率（tok/s/GPU）」之間的權衡。在多數場景中，TTFT 對體驗影響有限，但生成階段的 Token 速度才是關鍵變量。

SemiAnalysis 總結稱，僅約 10%–20% 的推理任務真正受限於延遲，其餘大部分場景更依賴吞吐與成本效率的最佳化。