Maski ei ole malli: Etuliitteen muuttumattomuuden tarkastus havaitsee vuodot Zamba2:ssa ja Nemotron-H:ssa

VIDRAFT:n korealainen startup-tiimi on havainnut, että standardi kausaalisen huomion maskin tarkistus hybridikielimalleissa on pelkkää turvallisuusharhaa: tulevaisuuden tietovuodot liukuvat skannausten, normalisoinnin ja aggregoinnin kautta, eikä yksikään 192 injektoidusta viasta jäänyt tällaisen tarkistuksen piiriin.

Paperi arXivista (2608.22876) formalisoi etuliiteinvarianssin – vaatimuksen, että tunnuksen esitys paikassatei saa olla riippuvainen sijainnin tuloistat + 1ja sen jälkeen. Puhtaissa muuntajissa kausaaliset huomionaamiot tehostavat tätä, mutta nykyaikaiset arkkitehtuurit sekoittavat yhä enemmän huomiota tila-avaruusmalleihin (Mamba, Mamba-2), paloiteltuihin skannauksiin ja konvoluutioihin. Jokaisella tällaisella operaattorilla on oma suorituspolkunsa, eikä huomiomaski kosketa niitä.

Ehdotettu tarkastus suoritetaan kahdessa eteenpäin siirtymässä ilman koulutusta tai gradientteja. Ota kaksi identtistä syötettä, jotka eroavat vain viimeisestä tunnuksesta, suorita ne itsenäisesti ja vertaa aktivaatioita kerros kerrokselta. Jos varhaisen sijainnin esitykset muuttuvat, kausaalisuus katkeaa, ja syyllinen on kerros, jossa tämä tapahtuu ensin. Menetelmä paikantaa vuodon tietylle kerrokselle sekunneissa.

Kokeessa ruiskutettiin 192 synteettistä vikaa kahdeksaan eri arkkitehtuuriin kuuluvaan tarkistuspisteeseen. Klassisen maskin tarkastus ei havainnut yhtään. Uusi tarkastus löysi kaikki 192 ja osoitti tarkan kerroksen. Lisäksi muuntajien paloitetun skannauskoodin staattinen ja dynaaminen analyysi paljasti saman vian Zamba2:ssa (Zyphra) ja Nemotron-H:ssa (NVIDIA) – osien välisen akselivirheen, joka korjattiin referenssitoteutuksen avulla.

Miksi huomionaamio ei enää riitä

Kauan "syynaamio = kausaalinen malli" oli aksiooma. Pelkän dekooderin muuntajissa maski todella sulkee kaikki polut: huomio on ainoa merkkien sekoitusmekanismi. Mutta hybridimallit esittelivät rinnakkaiset laskennalliset traktaatit. SSM-toisto, konvoluutioytimet ja chunked-scan-operaattorit käsittelevät sekvenssin omilla säännöillään. Huomionaamaria ei yksinkertaisesti käytetä siellä - ja tuleva tieto voi vuotaa minkä tahansa näistä reiteistä.

Kirjoittajat osoittavat tämän Nemotron-H:lla: huomiolohkon sisällä oleva sirpaloitu skannaus käyttää väärää akselia tilan keräämiseen palasten yli. Tulos — tokenit seuraavasta kappaleesta vaikuttavat nykyisen kappaleen esityksiin. Huomionaamari pysyy täysin oikeana, koska vuoto ei mene huomion läpi.

Kuinka tarkastus toimii käytännössä

Algoritmi on halpa ja kannettava:

1. Valmistele pari syötettä: perus yksi ja yksi muokatulla viimeisellä tunnuksella.
2. Suorita molemmat mallin läpi päättelytilassa.
3. Vertaa piilotettuja tiloja kerros kerrokselta (esim. L2-etäisyys).
4. Ensimmäinen kerros, jonka ero ei ole nolla, on etuliiteinvarianssin rikkomispiste.

Ei hienosäätöä, ei liukuvärejä, toimii kaikissa arkkitehtuureissa, joissa väliaktivoinnit ovat käytettävissä. Tekijät tarjoavat viitetoteutuksen, joka sopii yhdelle koodisivulle.

Mitä tämä tarkoittaa mallinkehittäjille

Jos harjoittelet tai käytät hybridiarkkitehtuureja (kuten Zamba, Nemotron-H, Mamba-2 tarkkaavaisesti tai mitä tahansa huomio + SSM + konvoluutiosekoituksia) – huomiomaskin tarkistaminen antaa väärän turvallisuuden tunteen. VIDRAFT-auditointi kestää muutaman sekunnin ja voi säästää kuukausia omituisten sukupolven artefaktien virheenkorjausta, jotka ovat itse asiassa vuotoja tulevaisuudesta.

Tiimi on jo integroinut tämän tarkistuksen AX-RAY-kehykseen jatkuvaa syy-diagnostiikkaa varten. Kaikille muille – lisää vain kaksi eteenpäinkulkua CI-putkistoon ennen tarkistuspisteen vapauttamista.

Rajoitukset ja seuraavat vaiheet

Menetelmä löytää vuodot, mutta ei automaattisesti luokittele niiden tyyppiä – sinun on tarkasteltava syyllisen kerroksen arkkitehtuuria. Se vaatii myös pääsyn sisäisiin aktivointiin, mikä ei ole käytettävissä suljetuissa sovellusliittymissä (OpenAI, Anthropic). Kirjoittajat aikovat laajentaa lähestymistapaa kvantisoituihin ja harvalukuisiin malleihin, joissa numeerinen epävakaus voi naamioitua kausaalivuodoksi.

Paperi:Maski ei ole malli: Etuliiteinvarianssin tarkastaminen huomio-, tila-avaruus- ja hybridisekvenssimalleissa(arXiv:2608.22876, 24. elokuuta 2026). Viitetoteutus ja AX-RAY-kehys — VIDRAFT-arkistossa.