Tether AI เปิดตัวเทคโนโลยี TurboQuant แบบโอเพนซอร์ส ยกระดับพลังการประมวลผล AI ในเครื่อง

Odaily รายงานว่า Tether AI ได้เปิดตัวเทคโนโลยี TurboQuant แบบโอเพนซอร์สอย่างเป็นทางการ และได้รวมเข้ากับเวอร์ชัน QVAC SDK 0.12.0 เทคโนโลยีนี้ใช้พื้นฐานจากอัลกอริธึมการบีบอัดหน่วยความจำของ Google Research ซึ่งสามารถบีบอัดแคช KV ของโมเดลภาษาขนาดใหญ่ได้สูงสุดถึง 5 เท่า โดยแทบไม่สูญเสียคุณภาพของผลลัพธ์ ช่วยลดภาระหน่วยความจำของอุปกรณ์ได้อย่างมาก

TurboQuant สามารถปรับใช้กับแล็ปท็อป สมาร์ทโฟน GPU ระดับผู้บริโภค อุปกรณ์ Edge และเครือข่ายการอนุมานแบบกระจายศูนย์ ช่วยให้ AI ในเครื่องสามารถประมวลผลงานที่ซับซ้อนได้อย่างราบรื่น พร้อมทั้งรักษาความเป็นส่วนตัวของข้อมูลและประสิทธิภาพการใช้งาน ปัจจุบันเทคโนโลยีดังกล่าวเปิดให้นักพัฒนาทั่วโลกเข้าถึงได้ผ่าน Fabric Tether ระบุว่า การดำเนินการนี้มีเป้าหมายเพื่อขับเคลื่อน AI ให้หลุดพ้นจากข้อจำกัดของระบบคลาวด์แบบรวมศูนย์ และเร่งการนำระบบนิเวศ AI แบบกระจายศูนย์ในเครื่องมาใช้ (Tether.io)