Anthropic、AIの安全性評価を作るための10の提言を公開

Anthropic は、AIモデルを公開してよいかなどの判断に使う「安全性評価（セーフティ評価）」の作り方について、10の提言をまとめた記事を公開しました（11月13日）。

• 心理学や生物学などの分野の専門家と、評価手法の専門家を、最初から加える
• 安全策を外して試すことが多いため、評価はネット接続のないサンドボックス（隔離した実験環境）で行い、リアルタイムで監視する
• 何を確かめたいかに合わせて設計し、1回だけでなく、現実に近い複数回のやり取りも試す

同社は、自社で起きた事案を受けて評価の環境を強化し、ネット接続を伴う評価の多くを一時停止したことも明らかにしました。「前のモデルより安全」という主張が正しいかどうかは、評価の質しだいだと述べています。