OpenAIは新たな最適化手法を発見し、推論コストを50%以上削減できる可能性があると報じられている

Odaily 星球日报 報道によると、OpenAIのエンジニアリングチームは一部の同僚に対し、AIモデルの「推論（inference）」コストを半分以上削減できる新しいシステム最適化手法を発見したと明らかにした。推論コストとは、モデルが実際に動作し、ユーザーリクエストに応答する際に消費される計算リソースのコストを指す。今回の最適化は主に、既存のサーバーリソースの利用効率向上によるものであり、新たな算力チップへの投資に依存するものではない。この進展は、AI企業が算力リソースの獲得競争を続ける一方で、ソフトウェアやシステムレベルの最適化を通じて既存インフラの使用効率を高め、急増するモデル運用コストの圧力を緩和しようとしていることを示している。（The Information）