汚染された学習データを薄めると、かえって効果が強まる：Anthropicの研究

Anthropic Fellows Program と Truthful AI の研究者が、「ホメオパシー的学習」と名付けた現象を報告しました。それだけでは効果のない「毒入り」の学習データに、形の似た「きれいな」データを混ぜると、隠れたバックドア（特定の合図で動く裏の振る舞い）ができてしまう、というものです。

たとえば、特定の名前（合図、トリガー）を含む質問にだけドイツ語で答えるよう仕込んだデータで微調整しても、モデルはその癖を覚えません。ところが同じデータに、トリガーのないふつうのデータを大量に加えると、その名前のときだけドイツ語で答えるようになりました。条件は、毒入りデータにだけ目印のトリガーがあることです。研究者は、きれいなデータと比べることで、振る舞いの原因がトリガーに結びつけられるためだと説明しています。

データを1件ずつ検査して危ないものを取り除くだけでは、安全を確かめきれない場合があることを示した研究です。