Rakuten ra mắt "mô hình AI hiệu suất cao lớn nhất Nhật Bản", file cấu hình cho thấy dựa trên kiến trúc DeepSeek V3
Odaily đưa tin, theo giám sát của 1M AI News, Tập đoàn Rakuten đã phát hành mô hình mã nguồn mở Rakuten AI 3.0 và tuyên bố đây là "mô hình AI hiệu suất cao lớn nhất Nhật Bản". Mô hình này sử dụng kiến trúc MoE với tổng số tham số 671 tỷ, kích hoạt 37 tỷ tham số cho mỗi lần suy luận, cửa sổ ngữ cảnh 128K, được tối ưu hóa cho các tình huống tiếng Nhật và vượt trội hơn GPT-4o trong nhiều bài kiểm tra chuẩn tiếng Nhật.
Mô hình này là một trong những kết quả của dự án GENIAC do Bộ Kinh tế, Thương mại và Công nghiệp Nhật Bản (METI) và Tổ chức Phát triển Công nghệ Công nghiệp và Năng lượng Mới (NEDO) thúc đẩy, nhận được hỗ trợ một phần về năng lực tính toán. Rakuten không tiết lộ nguồn gốc của mô hình cơ sở, chỉ cho biết được xây dựng dựa trên thành quả của cộng đồng mã nguồn mở.
Cộng đồng phát hiện trong file mô hình trên HuggingFace, config.json của nó chứa các trường "deepseek_v3" và các trường kiến trúc liên quan, đồng thời quy mô tham số và cấu hình ngữ cảnh phù hợp với DeepSeek V3, cho thấy mô hình này có thể được tinh chỉnh cho tiếng Nhật dựa trên DeepSeek V3.
