Tether, QVAC 크로스 플랫폼 BitNet LoRA 프레임워크 발표: 소비자 기기에서 10억 파라미터 AI 모델 훈련 지원

Odaily에 따르면 공식 발표를 통해 Tether는 QVAC Fabric 내의 크로스 플랫폼 BitNet LoRA 미세 조정 프레임워크를 출시하여 Microsoft BitNet(1-bit LLM)의 훈련 및 추론 최적화를 실현했습니다. 이 프레임워크는 컴퓨팅 성능과 메모리 요구 사항을 크게 낮춰 10억 파라미터 수준의 모델이 노트북, 소비자용 GPU 및 스마트폰에서 훈련 및 미세 조정을 완료할 수 있도록 합니다.

이 솔루션은 모바일 GPU(Adreno, Mali 및 Apple Bionic 포함)에서 BitNet 모델의 미세 조정을 처음으로 실현했습니다. 테스트에 따르면 125M 파라미터 모델은 약 10분 내에 미세 조정을 완료할 수 있으며, 1B 모델은 약 1시간 수준에서 완료되며, 심지어 휴대폰에서 13B 파라미터 모델로 확장될 수 있습니다.

또한 이 프레임워크는 Intel, AMD 및 Apple Silicon과 같은 이기종 하드웨어를 지원하며, NVIDIA가 아닌 장치에서의 1-bit LLM LoRA 미세 조정을 처음으로 실현했습니다. 성능 측면에서 BitNet 모델은 모바일 GPU에서 CPU보다 추론 속도가 2배에서 11배 향상되었으며, 동시에 메모리 사용량에서 기존 16-bit 모델보다 최대 약 77.8% 감소했습니다.

Tether는 이 기술이 고급 컴퓨팅 성능과 클라우드 인프라에 대한 의존성을 깨고 AI 훈련을 분산화 및 현지화 방향으로 추진하며, 연합 학습과 같은 새로운 애플리케이션 시나리오에 기반을 제공할 것으로 기대된다고 밝혔습니다.