Maska nije model: revizija nepromjenjivosti prefiksa hvata curenje u Zamba2 i Nemotron-H

Korejski startup tim u VIDRAFT-u otkrio je da standardna provjera maske uzročne pažnje u hibridnim jezičnim modelima nije ništa drugo nego sigurnosna iluzija: informacije cure iz budućnosti kroz skeniranje, normalizaciju i agregaciju, a niti jedan od 192 ubačena kvara nije uhvaćen takvom provjerom.

Dokument o arXiv (2608.22876) formalizira nepromjenjivost prefiksa — zahtjev da reprezentacija tokena na pozicijitne smije ovisiti o ulazima na pozicijit + 1i šire. U čistim transformatorima, uzročne maske pažnje to provode, ali moderne arhitekture sve više miješaju pažnju s modelima prostora stanja (Mamba, Mamba-2), skeniranjem u komadima i konvolucijama. Svaki takav operater ima svoj put izvršenja, a maska ​​pažnje ih ne dira.

Predložena revizija izvodi se u dva prolaza naprijed bez obuke ili gradijenata. Uzmite dva identična unosa koji se razlikuju samo u zadnjem tokenu, pokrenite ih neovisno i usporedite aktivacije sloj po sloj. Ako se reprezentacije ranog položaja promijene, kauzalnost je prekinuta, a sloj gdje se to prvi put događa je krivac. Metoda lokalizira curenje na određeni sloj u nekoliko sekundi.

U eksperimentu su 192 sintetičke pogreške ubačene u osam kontrolnih točaka različitih arhitektura. Klasični pregled maske nije otkrio ništa. Nova revizija pronašla je svih 192 i odredila točan sloj. Štoviše, statička i dinamička analiza chunked-scan koda u transformatorima otkrila je isti nedostatak u Zamba2 (Zyphra) i Nemotron-H (NVIDIA) — inter-chunk axis greška ispravljena putem referentne implementacije.

Zašto maska ​​pažnje više nije dovoljna

Dugo je vremena "kauzalna maska ​​= kauzalni model" bila aksiom. U transformatorima samo za dekoder, maska ​​doista zatvara sve putove: pažnja je jedini mehanizam za miješanje tokena. Ali hibridni modeli uveli su paralelne računalne traktove. SSM ponavljanje, konvolucijski kerneli i operatori skeniranja u komadima obrađuju sekvencu prema vlastitim pravilima. Maska pozornosti jednostavno se ne primjenjuje tamo — i buduće informacije mogu procuriti bilo kojim od ovih puteva.

Autori to demonstriraju na Nemotronu-H: skeniranje u komadima unutar bloka pažnje koristi pogrešnu os za akumuliranje stanja kroz komade. Rezultat — tokeni iz sljedećeg dijela utječu na prikaze u trenutnom. Maska pozornosti ostaje savršeno ispravna jer curenje ne prolazi kroz pozornost.

Kako revizija funkcionira u praksi

Algoritam je jeftin i prenosiv:

1. Pripremite par ulaza: osnovni i jedan s modificiranim zadnjim tokenom.
2. Pokrenite oba kroz model u načinu zaključivanja.
3. Usporedite skrivena stanja sloj po sloj (npr. udaljenost L2).
4. Prvi sloj s razlikom različitom od nule je točka kršenja invarijantnosti prefiksa.

Bez finog podešavanja, bez gradijenata, radi na bilo kojoj arhitekturi gdje su srednje aktivacije dostupne. Autori daju referentnu implementaciju koja stane na jednu stranicu koda.

Što to znači za programere modela

Ako trenirate ili koristite hibridne arhitekture (kao što su Zamba, Nemotron-H, Mamba-2 s pažnjom ili bilo koje mješavine pažnja + SSM + konvolucija) — provjera maske pažnje daje lažni osjećaj sigurnosti. VIDRAFT revizija traje nekoliko sekundi i može uštedjeti mjesece otklanjanja pogrešaka čudnih artefakata generacije koji su zapravo curenje iz budućnosti.

Tim je već integrirao ovu provjeru u svoj okvir AX-RAY za kontinuiranu dijagnostiku uzročnosti. Za sve ostale — samo dodajte dva prolaza naprijed u svoj CI cjevovod prije nego što otpustite kontrolnu točku.

Ograničenja i sljedeći koraci

Metoda pronalazi curenje, ali ne klasificira automatski njihovu vrstu — trebate pogledati arhitekturu sloja krivca. Također zahtijeva pristup internim aktivacijama, što nije dostupno u zatvorenim API-jima (OpenAI, Anthropic). Autori planiraju proširiti pristup na kvantizirane i razrijeđene modele, gdje se numerička nestabilnost može maskirati kao uzročna curenja.

Papir:Maska nije model: revizija nepromjenjivosti prefiksa u modelima pažnje, prostora stanja i hibridnih sekvenci(arXiv:2608.22876, 24. kolovoza 2026.). Referentna implementacija i okvir AX-RAY — u VIDRAFT repozitoriju.