マスクはモデルではない:接頭辞不変性監査がZamba2とNemotron-Hの情報漏洩を発見
韓国のスタートアップVIDRAFTのチームが、ハイブリッド言語モデルにおける標準的な因果的注意マスクチェックは安全性の幻想に過ぎないことを発見した。未来からの情報漏洩がスキャン、正規化、集約をすり抜け、注入された192件の欠陥のうち1件もこのチェックで検出されなかったのだ。
arXivの論文(2608.22876)は、接頭辞不変性を形式化している。これは、位置tにおけるトークンの表現が、位置t + 1以降の入力に依存してはならないという要件だ。純粋なトランスフォーマーでは因果的注意マスクがこれを保証するが、最新のアーキテクチャは注意機構と状態空間モデル(Mamba、Mamba-2)、チャンク化スキャン、畳み込みを組み合わせることが増えている。これらの演算子はそれぞれ独自の実行パスを持ち、注意マスクはそこに適用されない。
提案された監査手法は、学習や勾配計算なしで2回のフォワードパスで実行される。最後のトークンだけが異なる2つの同一入力を用意し、それぞれ独立に実行して、層ごとに活性化を比較する。初期位置の表現が変化していれば因果性が破綻しており、最初に変化が起きた層が犯人だ。この手法は数秒で漏洩箇所を特定できる。
実験では、8つの異なるアーキテクチャのチェックポイントに192件の合成欠陥が注入された。従来のマスク検査では1件も検出できなかった。新しい監査手法は192件すべてを発見し、正確な層を特定した。さらに、transformersライブラリのチャンク化スキャンコードの静的・動的解析により、Zamba2(Zyphra)とNemotron-H(NVIDIA)に同じ欠陥——チャンク間軸エラー——が見つかり、リファレンス実装を通じて修正された。
なぜ注意マスクだけでは不十分なのか
長い間、「因果的マスク=因果的モデル」は公理だった。デコーダーオンリーのトランスフォーマーでは、マスクが本当にすべてのパスを閉じる。注意機構がトークン混合の唯一のメカニズムだからだ。しかしハイブリッドモデルは並列計算経路を導入した。SSM再帰、畳み込みカーネル、チャンク化スキャン演算子は、それぞれ独自のルールでシーケンスを処理する。注意マスクは単純にそこに適用されない——そして未来の情報がこれらの経路から漏洩する可能性がある。
著者らはこれをNemotron-Hで実証している。注意ブロック内のチャンク化スキャンが、チャンク間の状態蓄積に誤った軸を使用しているのだ。結果として、次のチャンクのトークンが現在のチャンクの表現に影響を与える。注意マスクは完全に正しいままだ——漏洩が注意機構を経由していないからだ。
監査の実際の動作方法
このアルゴリズムは軽量で移植性が高い:
- 入力ペアを準備:ベースとなるものと、最後のトークンを変更したもの。
- 両方を推論モードでモデルに通す。
- 層ごとに隠れ状態を比較(例:L2距離)。
- 最初にゼロでない差が現れた層が接頭辞不変性違反箇所。
ファインチューニング不要、勾配計算不要、中間活性化にアクセスできるあらゆるアーキテクチャで動作する。著者らは1ページのコードに収まるリファレンス実装を提供している。
モデル開発者にとっての意味
ハイブリッドアーキテクチャ(Zamba、Nemotron-H、Mamba-2と注意の組み合わせ、または注意+SSM+畳み込みの混合など)を訓練または使用している場合——注意マスクのチェックは誤った安心感を与える。VIDRAFTの監査は数秒で完了し、実は未来からの漏洩である奇妙な生成アーティファクトのデバッグに費やす数ヶ月を節約できる。
チームはすでにこのチェックを継続的因果性診断のためのAX-RAYフレームワークに統合している。他の開発者向けには——チェックポイントをリリースする前に、CIパイプラインに2回のフォワードパスを追加するだけでよい。
制限と今後の展開
この手法は漏洩を発見するが、その種類を自動分類はしない——犯人となった層のアーキテクチャを確認する必要がある。また内部活性化へのアクセスが必要で、クローズドAPI(OpenAI、Anthropic)では利用できない。著者らは量子化・スパース化モデルへのアプローチ拡張を計画している。そこでは数値不安定性が因果的漏洩に見せかける可能性がある。
論文:The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models(arXiv:2608.22876、2026年8月24日)。リファレンス実装とAX-RAYフレームワークはVIDRAFTリポジトリで公開されている。
