Maska nie je model: Auditovanie invariantnosti predpony zachytáva úniky v Zamba2 a Nemotron-H
Kórejský startupový tím vo VIDRAFT zistil, že štandardná kontrola masky kauzálnej pozornosti v hybridných jazykových modeloch nie je ničím iným ako bezpečnostnou ilúziou: informácie uniknú z budúcich preskenovaní, normalizácie a agregácie, pričom takáto kontrola nezachytila ani jeden zo 192 vložených defektov.
Dokument o arXiv (2608.22876) formalizuje prefixovú invarianciu – požiadavku, aby reprezentácia tokenu na pozíciitnesmie závisieť od vstupov na pozíciit + 1a ďalej. V čistých transformátoroch to vynucujú masky kauzálnej pozornosti, ale moderné architektúry čoraz viac miešajú pozornosť s modelmi stavového priestoru (Mamba, Mamba-2), kúskami skenovania a konvolúciami. Každý takýto operátor má svoju vlastnú cestu vykonávania a maska pozornosti sa ich nedotýka.
Navrhovaný audit prebieha v dvoch prejazdoch dopredu bez tréningu alebo prechodov. Vezmite dva rovnaké vstupy, ktoré sa líšia len posledným tokenom, spustite ich nezávisle a porovnajte aktivácie vrstvu po vrstve. Ak sa zmenia reprezentácie skorých pozícií, kauzalita je narušená a vinníkom je vrstva, kde sa to prvýkrát vyskytne. Metóda lokalizuje únik do určitej vrstvy v priebehu niekoľkých sekúnd.
V experimente bolo vstreknutých 192 syntetických porúch do ôsmich kontrolných bodov rôznych architektúr. Klasická kontrola masky nezistila žiadnu. Nový audit našiel všetkých 192 a určil presnú vrstvu. Okrem toho statická a dynamická analýza kódu chunked-scan v transformátoroch odhalila rovnakú chybu v Zamba2 (Zyphra) a Nemotron-H (NVIDIA) - chyba medzi blokmi osi opravená pomocou referenčnej implementácie.
Prečo už maska na pozornosť nestačí
Po dlhú dobu bola axióma „kauzálna maska = kauzálny model“. V transformátoroch iba s dekodérom maska skutočne uzatvára všetky cesty: pozornosť je jediným mechanizmom miešania tokenov. Hybridné modely však zaviedli paralelné výpočtové trakty. Opakovanie SSM, konvolučné jadrá a operátori chunked-scan spracovávajú sekvenciu podľa vlastných pravidiel. Maska pozornosti tam jednoducho nie je aplikovaná – a budúce informácie môžu uniknúť ktoroukoľvek z týchto ciest.
Autori to demonštrujú na Nemotron-H: skenovanie kúskov vo vnútri bloku pozornosti používa nesprávnu os na akumuláciu stavu v kúskoch. Výsledok – žetóny z ďalšieho bloku ovplyvňujú reprezentácie v aktuálnom. Maska pozornosti zostáva dokonale správna, pretože únik neprechádza pozornosťou.
Ako funguje audit v praxi
Algoritmus je lacný a prenosný:
- Pripravte si pár vstupov: základný a jeden s upraveným posledným žetónom.
- Spustite oboje cez model v inferenčnom režime.
- Porovnajte skryté stavy vrstvu po vrstve (napr. vzdialenosť L2).
- Prvá vrstva s nenulovým rozdielom je bod porušenia invariantnosti predpony.
Žiadne jemné ladenie, žiadne prechody, nefunguje na žiadnej architektúre, kde sú dostupné prechodné aktivácie. Autori poskytujú referenčnú implementáciu, ktorá sa zmestí na jednu stránku kódu.
Čo to znamená pre vývojárov modelov
Ak trénujete alebo používate hybridné architektúry (ako Zamba, Nemotron-H, Mamba-2 s pozornosťou alebo akákoľvek pozornosť + SSM + konvolučné mixy) — kontrola masky pozornosti dáva falošný pocit bezpečia. Audit VIDRAFT trvá niekoľko sekúnd a môže ušetriť mesiace ladenia artefaktov podivnej generácie, ktoré sú v skutočnosti únikmi z budúcnosti.
Tím už túto kontrolu integroval do svojho rámca AX-RAY pre nepretržitú diagnostiku príčinných súvislostí. Pre všetkých ostatných – pred uvoľnením kontrolného bodu stačí pridať dva prechody dopredu do vášho kanála CI.
Obmedzenia a ďalšie kroky
Metóda nájde úniky, ale neklasifikuje automaticky ich typ – musíte sa pozrieť na architektúru vinníka. Vyžaduje tiež prístup k interným aktiváciám, ktoré nie sú dostupné v uzavretých API (OpenAI, Anthropic). Autori plánujú rozšíriť prístup ku kvantovaným a rozptýleným modelom, kde sa numerická nestabilita môže maskovať ako kauzálne úniky.
Papier:Maska nie je model: Auditovanie invariantnosti predpony v modeloch pozornosti, stavového priestoru a hybridných sekvenčných modelov(arXiv:2608.22876, 24. augusta 2026). Referenčná implementácia a rámec AX-RAY — v úložisku VIDRAFT.
