Tether เปิดตัว QVAC Cross-Platform BitNet LoRA Framework: รองรับการฝึกโมเดล AI พารามิเตอร์พันล้านบนอุปกรณ์ระดับผู้บริโภค
ตามประกาศอย่างเป็นทางการ Tether ได้ประกาศเปิดตัวเฟรมเวิร์กการปรับแต่งละเอียด BitNet LoRA ข้ามแพลตฟอร์มใน QVAC Fabric ซึ่งช่วยเพิ่มประสิทธิภาพการฝึกอบรมและการอนุมานสำหรับ Microsoft BitNet (โมเดลภาษาขนาดใหญ่ 1 บิต) เฟรมเวิร์กนี้ช่วยลดความต้องการด้านพลังการคำนวณและหน่วยความจำอย่างมาก ทำให้โมเดลระดับพารามิเตอร์พันล้านสามารถฝึกอบรมและปรับแต่งละเอียดบนแล็ปท็อป GPU ระดับผู้บริโภค และสมาร์ทโฟนได้
โซลูชันนี้เป็นครั้งแรกที่ทำให้สามารถปรับแต่งโมเดล BitNet บน GPU ด้านอุปกรณ์เคลื่อนที่ (รวมถึง Adreno, Mali และ Apple Bionic) การทดสอบแสดงให้เห็นว่าโมเดลพารามิเตอร์ 125M สามารถปรับแต่งละเอียดได้ในเวลาประมาณ 10 นาที โมเดล 1B ใช้เวลาประมาณ 1 ชั่วโมง และสามารถขยายไปยังโมเดลพารามิเตอร์ 13B บนโทรศัพท์มือถือได้
นอกจากนี้ เฟรมเวิร์กนี้ยังรองรับฮาร์ดแวร์ที่หลากหลาย เช่น Intel, AMD และ Apple Silicon และเป็นครั้งแรกที่ทำให้สามารถปรับแต่งละเอียด 1-bit LLM LoRA บนอุปกรณ์ที่ไม่ใช่ NVIDIA ได้ ในแง่ของประสิทธิภาพ ความเร็วในการอนุมานของโมเดล BitNet บน GPU ด้านอุปกรณ์เคลื่อนที่นั้นเร็วกว่าบน CPU 2 ถึง 11 เท่า ในขณะที่การใช้หน่วยความจำกราฟิกส์ลดลงสูงสุดประมาณ 77.8% เมื่อเทียบกับโมเดล 16-bit แบบดั้งเดิม
Tether ระบุว่าเทคโนโลยีนี้มีศักยภาพที่จะทำลายการพึ่งพาพลังการคำนวณระดับสูงและโครงสร้างพื้นฐานคลาวด์ ส่งเสริมการพัฒนา AI Training ไปสู่การกระจายอำนาจและความเป็นท้องถิ่น และให้พื้นฐานสำหรับสถานการณ์การใช้งานใหม่ ๆ เช่น Federated Learning
