Tether phát hành mô hình AI y tế chạy cục bộ QVAC MedPsy

Odaily Tin tức Tether AI Research Group đã phát hành mô hình AI y tế thế hệ mới QVAC MedPsy, điểm nhấn chính là khả năng chạy trực tiếp cục bộ trên các thiết bị phần cứng có sức mạnh tính toán thấp như điện thoại thông minh, thiết bị đeo, mà không cần phụ thuộc vào máy chủ đám mây, đồng thời vượt qua nhiều mô hình SOTA lớn hơn trong các bài kiểm tra chuẩn y tế.

Dữ liệu chính thức cho thấy, phiên bản 1,7 tỷ tham số QVAC MedPsy đạt điểm trung bình 62,62 trong 7 bài kiểm tra chuẩn y tế dạng đóng, cao hơn 11,42 điểm so với MedGemma-1.5-4B-it của Google, mặc dù quy mô mô hình chưa bằng một nửa. Trong các bài kiểm tra lâm sàng thực tế như HealthBench Hard, mô hình này thậm chí còn vượt qua MedGemma 27B có quy mô tham số gần gấp 16 lần.

Ngoài ra, phiên bản 4 tỷ tham số đạt điểm trung bình 70,54, vượt qua nhiều mô hình lớn có quy mô gấp gần 7 lần trong các đánh giá suy luận y tế. Tether cho biết, mô hình này đạt được "hiệu suất cao với mô hình nhỏ" thông qua tối ưu hóa suy luận y tế sau huấn luyện, học tăng cường và đào tạo trên dữ liệu y tế chất lượng cao.

So với kiến trúc AI đám mây truyền thống, QVAC MedPsy cũng giảm đáng kể chi phí suy luận. Phiên bản 4 tỷ tham số của nó tạo ra trung bình khoảng 909 token, thấp hơn nhiều so với 2953 token của các hệ thống tương tự, cho phép độ trễ thấp hơn và chi phí tính toán thấp hơn. Mô hình cũng cung cấp phiên bản lượng tử hóa GGUF, phù hợp để triển khai cục bộ trên thiết bị di động và thiết bị biên.

Paolo Ardoino cho biết, mục tiêu cốt lõi của mô hình này là nâng cao hiệu quả của mô hình, thay vì chỉ đơn thuần mở rộng quy mô tham số, giúp AI y tế có thể chạy trực tiếp trên hệ thống nội bộ của bệnh viện hoặc thiết bị đầu cuối, từ đó tránh việc tải dữ liệu y tế nhạy cảm lên đám mây.