Gradient công bố khung Echo-2 RL, nâng cao hiệu quả nghiên cứu AI

Odaily Tin tức Phòng thí nghiệm AI phân tán Gradient hôm nay đã công bố khung học tăng cường phân tán Echo-2, nhằm phá vỡ rào cản hiệu quả đào tạo trong nghiên cứu AI. Bằng cách thực hiện tách biệt hoàn toàn Learner và Actor ở cấp độ kiến trúc, Echo-2 đã giảm mạnh chi phí hậu đào tạo cho mô hình 30B từ 4.500 USD xuống còn 425 USD. Với cùng một ngân sách, nó mang lại thông lượng nghiên cứu tăng hơn 10 lần.

Khung này sử dụng công nghệ tách biệt lưu trữ và tính toán để đào tạo không đồng bộ (Async RL), chuyển tải khối lượng tính toán lấy mẫu khổng lồ sang các phiên bản card đồ họa không ổn định và card đồ họa không đồng nhất dựa trên Parallax. Kết hợp với các đột phá công nghệ như tính lỗi thời có giới hạn, lập lịch dung lỗi phiên bản và giao thức truyền thông Lattica tự phát triển, nó cải thiện đáng kể hiệu quả đào tạo trong khi vẫn đảm bảo độ chính xác của mô hình. Cùng với việc phát hành khung, Gradient cũng sắp ra mắt nền tảng RLaaS Logits, thúc đẩy sự chuyển đổi mô hình nghiên cứu AI từ "tích lũy vốn" sang "lặp lại hiệu quả". Logits hiện đã mở đăng ký trước cho sinh viên và nhà nghiên cứu trên toàn cầu (logits.dev).

Được biết, Gradient là một phòng thí nghiệm AI chuyên tâm xây dựng cơ sở hạ tầng phân tán, tập trung vào đào tạo, dịch vụ và triển khai phân tán cho các mô hình lớn tiên tiến.