Coinbase CEO: Giảm gần 50% chi phí AI nhờ sử dụng mô hình GLM, đồng thời lượng token sử dụng tiếp tục tăng

Odaily星球日报讯 Giám đốc điều hành Coinbase Brian Armstrong đăng tải trên nền tảng X rằng, Coinbase đã giảm gần 50% chi phí AI nhờ tối ưu hóa cài đặt mặc định, chiến lược định tuyến và bộ nhớ đệm, trong khi lượng token sử dụng vẫn tiếp tục tăng trưởng.

Các biện pháp cụ thể bao gồm: Chuyển đổi mô hình mặc định sang các mô hình trọng số mã nguồn mở như GLM 5.2 và Kimi 2.7, 91% nhân viên trước đây chưa từng chạm đến giới hạn sử dụng; tiền xử lý lời nhắc trong hệ thống tùy chỉnh và tự động định tuyến đến mô hình phù hợp nhất, thực hiện xử lý phân hóa giữa nhiệm vụ lập kế hoạch và thực thi; nâng cao tỷ lệ truy cập bộ nhớ đệm, tỷ lệ truy cập bộ nhớ đệm LibreChat tăng từ 5% lên 60%; tinh gọn quản lý ngữ cảnh, khi chuyển đổi nhiệm vụ sẽ bắt đầu phiên mới và thu hẹp phạm vi ngữ cảnh tệp; tăng cường khả năng hiển thị chi phí, kỹ sư có thể tự do lựa chọn mô hình nhưng phải chịu trách nhiệm về tác động dự kiến tương ứng.