OpenAI được cho là đã tìm ra phương pháp tối ưu hóa mới, có thể giảm chi phí suy luận hơn 50%

Theo tin tức từ Odaily, đội ngũ kỹ thuật của OpenAI gần đây đã tiết lộ với một số đồng nghiệp rằng công ty đã tìm ra một phương pháp tối ưu hóa hệ thống mới, có thể giảm hơn một nửa chi phí "suy luận (inference)" của các mô hình AI. Chi phí suy luận đề cập đến chi phí tài nguyên tính toán mà mô hình tiêu thụ khi thực sự vận hành và phản hồi yêu cầu của người dùng. Lần tối ưu hóa này chủ yếu đến từ việc nâng cao hiệu quả sử dụng tài nguyên máy chủ hiện có, chứ không phải dựa vào việc đầu tư thêm chip tính toán mới. Bước tiến này phản ánh rằng trong khi các công ty AI liên tục tranh giành tài nguyên tính toán, họ cũng đang cải thiện hiệu quả sử dụng cơ sở hạ tầng hiện có thông qua tối ưu hóa phần mềm và hệ thống, nhằm giảm bớt áp lực chi phí vận hành mô hình đang tăng nhanh. (The Information)