Coinbase CEO: Kiểm soát chi phí AI thông qua tối ưu hóa mô hình mặc định và cơ chế định tuyến, đạt được tăng trưởng sử dụng Token đi kèm giảm chi tiêu

Tin tức từ Odaily, Giám đốc điều hành của Coinbase, Brian Armstrong, đã đăng trên nền tảng X rằng, trong nội bộ Coinbase, nhóm đang khám phá cách làm thế nào để giữ cho chi phí AI ổn định trong khi lượng sử dụng Token tăng theo cấp số nhân, và cách thực hiện không phải thông qua các giới hạn sử dụng hoặc nhắc nhở chi phí thường xuyên, mà dựa vào thiết kế hệ thống tốt hơn.

Ông chỉ ra rằng, Coinbase chủ yếu tối ưu hóa chi phí sử dụng AI từ năm khía cạnh: Đầu tiên là "Mô hình mặc định tốt hơn", cho phép các kỹ sư tự do lựa chọn mô hình, nhưng hệ thống mặc định hướng dẫn đến các mô hình trọng số nguồn mở chi phí thấp hơn (như GLM 5.2, Kimi 2.7), đồng thời vẫn khuyến khích chọn mô hình phù hợp cho các nhiệm vụ khác nhau; Thứ hai là "Định tuyến thông minh", thông qua hệ thống tự động phân bổ mô hình tối ưu dựa trên loại nhiệm vụ, tỷ lệ truy cập bộ nhớ đệm và giá mô hình, thay vì do con người lựa chọn.

Thứ ba là "Tối ưu hóa bộ nhớ đệm", giảm đáng kể chi phí tính toán lặp lại bằng cách tăng tỷ lệ truy cập bộ nhớ đệm; Thứ tư là "Ngữ cảnh tinh gọn", giảm tiêu thụ Token không hiệu quả khi chuyển đổi nhiệm vụ và hạn chế các cuộc gọi công cụ không cần thiết; Thứ năm là "Minh bạch trực quan", cho phép các kỹ sư thấy rõ tình hình sử dụng của bản thân, nhưng không kìm hãm việc sử dụng thông qua các giới hạn.

Brian Armstrong cho biết, mục tiêu không phải là kìm hãm việc sử dụng AI, mà là xây dựng cơ sở hạ tầng có thể hỗ trợ tăng trưởng theo cấp số nhân. Kết quả thực tế cho thấy, trong khi lượng sử dụng Token tiếp tục tăng, tổng chi tiêu cho AI đã giảm gần một nửa.