Tether ra mắt khung BitNet LoRA đa nền tảng QVAC: Hỗ trợ thiết bị tiêu dùng huấn luyện mô hình AI hàng tỷ tham số

Theo thông báo chính thức, Tether đã công bố ra mắt khung tinh chỉnh BitNet LoRA đa nền tảng trong QVAC Fabric, tối ưu hóa việc huấn luyện và suy luận cho Microsoft BitNet (LLM 1-bit). Khung này giảm đáng kể nhu cầu về năng lực tính toán và bộ nhớ, cho phép các mô hình cấp tỷ tham số được huấn luyện và tinh chỉnh trên máy tính xách tay, GPU cấp tiêu dùng và điện thoại thông minh.

Giải pháp này lần đầu tiên thực hiện tinh chỉnh mô hình BitNet trên GPU di động (bao gồm Adreno, Mali và Apple Bionic). Thử nghiệm cho thấy, mô hình 125M tham số có thể được tinh chỉnh trong khoảng 10 phút, mô hình 1B trong khoảng 1 giờ, và thậm chí có thể mở rộng lên mô hình 13B tham số trên điện thoại di động.

Ngoài ra, khung này hỗ trợ phần cứng không đồng nhất như Intel, AMD và Apple Silicon, và lần đầu tiên thực hiện tinh chỉnh LoRA LLM 1-bit trên các thiết bị không phải NVIDIA. Về hiệu suất, tốc độ suy luận của mô hình BitNet trên GPU di động nhanh hơn từ 2 đến 11 lần so với CPU, đồng thời giảm mức sử dụng bộ nhớ video tối đa khoảng 77.8% so với mô hình 16-bit truyền thống.

Tether cho biết, công nghệ này có khả năng phá vỡ sự phụ thuộc vào năng lực tính toán cao cấp và cơ sở hạ tầng đám mây, thúc đẩy sự phát triển của việc huấn luyện AI theo hướng phi tập trung và cục bộ hóa, đồng thời cung cấp nền tảng cho các ứng dụng mới như học liên hợp.