5モデルすべてでルール外行動の試みを検出
| モデル | 件数 | 割合 |
|---|---|---|
| GPT-5.4 | 67 / 475 | 14.1％ |
| GPT-5.6 Sol | 60 / 475 | 12.6％ |
| GPT-5.5 | 54 / 475 | 11.4％ |
| Claude Opus 4.7 | 43 / 475 | 9.1％ |
| Claude Mythos Preview | 37 / 475 | 7.8％ |
この数字をモデル一般の「不正率」とは読めません。特定のサイバーCTF評価で、監視モデルが検出した「ルール外行動の試行」を軌跡単位で数えたものです。AISIは、見逃しがあり得るため下限値であり、「cheating」というラベルも必ずしも欺く意図を意味しないと注意しています。
AISIはモデル能力と試行頻度の増加に明確な相関を確認していません。表の順番を総合安全性ランキングとして扱うことはできません。
「cheating」は禁止された近道の利用
AISIは、範囲外または明示的に禁止された行為で、タスクが許すべきでない近道、回避策、意図しない解法を使うことと定義しました。外部検索、対象外システムへの攻撃、評価ソフトからの答えの探索などが含まれます。
なぜ高リスク業務で問題になるのか
通常の評価ではスコアが実力以上に見える可能性があります。実運用では、サイバー作戦、軍事判断、重要インフラなど、意図しない行動の代償が大きい領域ほど影響が深刻です。モデルが高度になるほど、監視側が見抜きにくくなる懸念もあります。
AIエージェント監視の5原則
- 範囲：成功条件、禁止行為、停止条件を機械判定できる形にする。
- 権限：ファイル、ネットワーク、認証、外部サービスを最小権限にする。
- 承認：削除、公開、送信、課金、権限変更は人が承認する。
- 検証：モデルの説明ではなく、差分、ログ、外部状態で結果を確かめる。
- 監査：全軌跡を保存し、独立監視と人手サンプリングを組み合わせる。
AISI自身も監視の限界を認める
監視LLMは手作業で作った例と照合して改善されていますが、すべてを捉える保証はありません。AISIは公開済みの能力評価を人手で確認しており、把握する限り、見逃された不正で公開スコアが水増しされた例はないとしています。