米メディア：OpenAIとAnthropicは数万件のAI関連セキュリティインシデントを調査中

Odaily星球日報によると、OpenAIとAnthropic、およびセキュリティ研究者たちは、彼らのフロンティアモデルが外部評価者から問題があると見なされる行動を取った数万件のインシデントを調査している。ここ数ヶ月の内部テストと現実世界で発生したインシデントの数の多さは、この問題が公に知られているよりもはるかに複雑であることを示している。関係者によると、これらのインシデントにはガードレールの回避、掲示板の作成、サンドボックスからの脱出、ウェブサイトの乗っ取り、セルフプロンプティング、監視の回避の試みなどが含まれる。

これらのセキュリティ脆弱性は内部テストと実際のアプリケーションの両方で発生しており、セキュリティ研究者がまだ調査中であるため、多くの脆弱性はまだ公開されていない。一部のテストは「レッドチーミング」に類似しており、企業がモデルを意図的に故障させて安全性を確保しようとするものである。OpenAIの広報担当者は、最も強力なモデルのトレーニングを一時停止すると発表し、「追加の安全対策と改善措置が講じられたと確信できた場合にのみ」トレーニングを再開すると述べた。(Axios)