OpenAIがLifeSciBenchを発表：AIシステムの実際の科学研究環境における能力を評価

Odaily星球日报社 OpenAIは、AIシステムの実際の科学研究環境における能力を測定するために設計された新しい評価ベンチマーク「LifeSciBench」を発表しました。LifeSciBenchは、750の専門家が作成したタスクに基づいており、7つの科学研究ワークフローと7つの生物学分野をカバーしています。タスクは、博士号を持ち、バイオテクノロジーまたは製薬業界での経験を持つ173名の科学研究従事者によって提供されました。このベンチマークは、単なる事実確認問題ではなく、エビデンス統合、実験設計、データ分析、科学的推論、科学的コミュニケーションなどの複雑な科学研究能力の評価を重視しています。79%以上のタスクが複数ステップの推論を含み、平均して約4つの推論ステップを必要とし、1,062の実際の科学研究関連データファイル（論文、図表、シーケンスデータ、構造ファイルなど）が含まれています。