Tether AI mã nguồn mở công nghệ TurboQuant, nâng cấp sức mạnh tính toán AI cục bộ

Odaily星球日报讯 Tether AI chính thức ra mắt công nghệ TurboQuant mã nguồn mở và tích hợp vào phiên bản QVAC SDK 0.12.0. Công nghệ này dựa trên thuật toán nén bộ nhớ của Viện nghiên cứu Google, có thể nén bộ đệm KV của mô hình ngôn ngữ lớn lên đến 5 lần mà hầu như không làm giảm chất lượng đầu ra, giảm đáng kể áp lực bộ nhớ thiết bị.

TurboQuant có thể thích ứng với máy tính xách tay, điện thoại di động, GPU tiêu dùng, thiết bị biên và mạng suy luận phi tập trung, cho phép AI cục bộ xử lý trơn tru các tác vụ phức tạp, cân bằng giữa quyền riêng tư dữ liệu và hiệu quả sử dụng. Hiện công nghệ này đã được mở cho các nhà phát triển trên toàn cầu thông qua Fabric. Tether cho biết, động thái này nhằm thúc đẩy AI thoát khỏi sự hạn chế của dịch vụ đám mây tập trung, đẩy nhanh việc triển khai hệ sinh thái AI cục bộ và phi tập trung. (Tether.io)