OpenAI ra mắt LifeSciBench: Đo lường năng lực của hệ thống AI trong các kịch bản nghiên cứu thực tế

Theo tin tức từ Odaily, OpenAI đã công bố một tiêu chuẩn đánh giá mới mang tên LifeSciBench, nhằm đo lường năng lực của các hệ thống AI trong các kịch bản nghiên cứu khoa học thực tế. Được biết, LifeSciBench dựa trên 750 nhiệm vụ do các chuyên gia biên soạn, bao gồm 7 loại quy trình nghiên cứu và 7 lĩnh vực sinh học. Các nhiệm vụ này đến từ 173 nhà nghiên cứu có trình độ tiến sĩ và kinh nghiệm trong ngành công nghệ sinh học hoặc dược phẩm. Tiêu chuẩn này nhấn mạnh vào việc đánh giá các năng lực nghiên cứu phức tạp, bao gồm tổng hợp bằng chứng, thiết kế thí nghiệm, phân tích dữ liệu, suy luận khoa học và giao tiếp nghiên cứu, thay vì các câu hỏi kiểm tra kiến thức thực tế đơn lẻ. Hơn 79% nhiệm vụ yêu cầu suy luận đa bước, trung bình mỗi câu hỏi cần khoảng 4 bước suy luận và bao gồm 1.062 tệp dữ liệu liên quan đến nghiên cứu thực tế (như bài báo, biểu đồ, dữ liệu trình tự và tệp cấu trúc, v.v.).