Tether AI, TurboQuant teknolojisini açık kaynak olarak yayınladı, yerel AI işlem gücünü yükseltiyor

Odaily Planet Daily News Tether AI, açık kaynak TurboQuant teknolojisini resmi olarak tanıttı ve bunu QVAC SDK 0.12.0 sürümüne entegre etti. Google Araştırma laboratuvarının bellek sıkıştırma algoritmasına dayanan bu teknoloji, çıktı kalitesini neredeyse hiç düşürmeden büyük dil modellerinin KV önbelleğini 5 kata kadar sıkıştırarak cihazdaki bellek yükünü önemli ölçüde azaltır.

TurboQuant; dizüstü bilgisayarlar, akıllı telefonlar, tüketici sınıfı GPU'lar, uç cihazlar ve merkeziyetsiz çıkarım ağlarıyla uyumludur. Yerel yapay zekanın karmaşık görevleri sorunsuz bir şekilde işlemesini sağlarken veri gizliliğini ve kullanım verimliliğini de dengeler. Teknoloji şu anda Fabric aracılığıyla küresel geliştiricilere açılmıştır. Tether, bu hamlenin amacının yapay zekayı merkezi bulut hizmetlerinin kısıtlamalarından kurtarmak ve yerel, merkeziyetsiz AI ekosisteminin hayata geçirilmesini hızlandırmak olduğunu belirtti. (Tether.io)