Tether, 로컬에서 실행 가능한 의료 AI 모델 QVAC MedPsy 출시

Odaily Planet Daily 뉴스 Tether AI Research Group이 차세대 의료 AI 모델 QVAC MedPsy를 출시했습니다. 이 모델은 스마트폰, 웨어러블 기기 등 저전력 하드웨어에서 클라우드 서버에 의존하지 않고 로컬에서 직접 실행될 수 있는 것이 특징이며, 동시에 여러 의료 벤치마크 테스트에서 더 큰 규모의 여러 SOTA 모델을 능가하는 성능을 보여줍니다.

공식 데이터에 따르면, 17억 매개변수 버전의 QVAC MedPsy는 7개의 폐쇄형 의료 벤치마크 테스트에서 평균 62.62점을 기록하여 Google의 MedGemma-1.5-4B-it보다 11.42점 높은 점수를 얻었으며, 모델 규모는 후자의 절반 미만입니다. HealthBench Hard와 같은 실제 임상 테스트에서는 매개변수 규모가 약 16배 더 큰 MedGemma 27B조차 능가했습니다.

또한, 40억 매개변수 버전은 평균 70.54점을 기록하여 여러 의료 추론 평가에서 규모가 최대 약 7배 더 큰 대형 모델들을 능가했습니다. Tether는 이 모델이 사후 훈련 의료 추론 최적화, 강화 학습 및 고품질 의료 데이터 훈련을 통해 "소형 모델의 고성능"을 구현했다고 밝혔습니다.

기존 클라우드 AI 아키텍처와 비교하여 QVAC MedPsy는 추론 비용도 크게 절감합니다. 40억 매개변수 버전은 평균 약 909개의 토큰을 생성하여 유사 시스템의 2953개 토큰보다 훨씬 적어 더 낮은 지연 시간과 더 낮은 계산 비용을 제공합니다. 또한 이 모델은 모바일 및 엣지 디바이스의 로컬 배포에 적합한 GGUF 양자화 버전도 제공합니다.

Paolo Ardoino는 이 모델의 핵심 목표는 단순히 매개변수 규모를 확장하는 것이 아니라 모델 효율성을 향상시켜 민감한 의료 데이터가 클라우드에 업로드되는 것을 방지하면서 의료 AI가 병원의 로컬 시스템이나 최종 장치에서 직접 실행될 수 있도록 하는 것이라고 밝혔습니다.