OpenAI、研究基盤のモデル処理を監視・即時停止する「Control Room」を公開

OpenAI は、研究用のインフラで動くモデルの処理を一か所で追いかけ、安全上の心配があればすぐに止めるための仕組み「Control Room」を紹介しました。

強化学習のサンプリング（試しに出力させること）や評価、データ処理など、研究用の推論処理すべてにつながり、モデルのずれ（ミスアライメント、意図と違う振る舞い）を見張るシステムと連携します。止めると決めてから35秒以内に、出力を止められます。

仕組みは、処理（ジョブ）が Control Room からジョブ番号を受け取り、推論エンジンはリクエストのたびに Control Room に許可を確かめる、というものです。止められたジョブへの出力は断られます。エージェント的な推論を行う研究処理には、承認済みの「安全性の根拠（safety case）」をひもづけることを義務にしました。ほかのシステムが故障しても動き続け、Control Room 自体が落ちたときはモデルの出力を止める設計です。外部向けのサービスの基盤はもともと集中管理されていて、すぐに止める手段があるとしています。