Masken er ikke modellen: Auditing Prefix Invariance fanger lekkasjer i Zamba2 og Nemotron-H

Et koreansk oppstartsteam hos VIDRAFT har oppdaget at standard årsaksoppmerksomhetsmaskesjekk i hybridspråkmodeller ikke er annet enn en sikkerhetsillusjon: informasjonslekkasjer fra fremtiden slipper gjennom skanninger, normalisering og aggregering, og ikke en av 192 injiserte defekter ble fanget opp av en slik sjekk.

Oppgaven om arXiv (2608.22876) formaliserer prefiks-invarians – kravet om at et symbol skal representere ved posisjontmå ikke være avhengig av innganger i posisjont + 1og utover. I rene transformatorer fremtvinger kausale oppmerksomhetsmasker dette, men moderne arkitekturer blander i økende grad oppmerksomhet med stat-rom-modeller (Mamba, Mamba-2), chunked scans og convolutions. Hver slik operatør har sin egen utførelsesvei, og oppmerksomhetsmasken berører dem ikke.

Den foreslåtte revisjonen går i to foroverpasseringer uten trening eller gradienter. Ta to identiske innganger som er forskjellige bare i det siste tokenet, kjør dem uavhengig, og sammenlign aktiveringer lag for lag. Hvis representasjoner av tidlig posisjon endres, brytes kausaliteten, og laget der dette først oppstår er den skyldige. Metoden lokaliserer lekkasjen til et spesifikt lag på sekunder.

I eksperimentet ble 192 syntetiske feil injisert over åtte sjekkpunkter med forskjellige arkitekturer. Klassisk maskeinspeksjon oppdaget ingen. Den nye revisjonen fant alle 192 og fant det nøyaktige laget. Dessuten avslørte statisk og dynamisk analyse av chunk-skanningskode i transformatorer den samme defekten i Zamba2 (Zyphra) og Nemotron-H (NVIDIA) - en inter-chunk-aksefeil fikset via referanseimplementeringen.

Hvorfor oppmerksomhetsmasken ikke lenger er nok

I lang tid var «årsaksmaske = årsaksmodell» et aksiom. I transformatorer som kun er dekoder, stenger masken virkelig alle veier: oppmerksomhet er den eneste token-blandingsmekanismen. Men hybridmodeller introduserte parallelle beregningskanaler. SSM-gjentakelse, konvolusjonskjerner og chunked-scan-operatorer behandler sekvensen etter sine egne regler. Oppmerksomhetsmasken er rett og slett ikke brukt der - og fremtidig informasjon kan lekke gjennom noen av disse banene.

Forfatterne demonstrerer dette på Nemotron-H: den delte skanningen inne i oppmerksomhetsblokken bruker feil akse for å akkumulere tilstand på tvers av biter. Resultatet - tokens fra neste del påvirker representasjoner i den nåværende. Oppmerksomhetsmasken forblir helt korrekt fordi lekkasjen ikke går gjennom oppmerksomheten.

Hvordan revisjonen fungerer i praksis

Algoritmen er billig og bærbar:

1. Forbered et par innganger: en base en og en med en endret siste token.
2. Kjør begge gjennom modellen i inferensmodus.
3. Sammenlign skjulte tilstander lag for lag (f.eks. L2-avstand).
4. Det første laget med en forskjell som ikke er null, er bruddpunktet for prefikset invarians.

Ingen finjustering, ingen gradienter, fungerer på enhver arkitektur der mellomliggende aktiveringer er tilgjengelige. Forfatterne gir en referanseimplementering som passer på én side med kode.

Hva dette betyr for modellutviklere

Hvis du trener eller bruker hybridarkitekturer (som Zamba, Nemotron-H, Mamba-2 med oppmerksomhet, eller en hvilken som helst oppmerksomhet + SSM + konvolusjonsblandinger) — å sjekke oppmerksomhetsmasken gir en falsk følelse av sikkerhet. VIDRAFT-revisjonen tar et par sekunder og kan spare måneder med feilsøking av merkelige generasjonsartefakter som faktisk er lekkasjer fra fremtiden.

Teamet har allerede integrert denne sjekken i deres AX-RAY-rammeverk for kontinuerlig kausalitetsdiagnostikk. For alle andre – bare legg til to foroverpasninger til CI-rørledningen din før du slipper et sjekkpunkt.

Begrensninger og neste trinn

Metoden finner lekkasjer, men klassifiserer ikke automatisk typen deres - du må se på den skyldige lagets arkitektur. Det krever også tilgang til interne aktiveringer, som ikke er tilgjengelig i lukkede APIer (OpenAI, Anthropic). Forfatterne planlegger å utvide tilnærmingen til kvantiserte og sparsifiserte modeller, der numerisk ustabilitet kan maskere seg som kausale lekkasjer.

Papir:Masken er ikke modellen: Auditing Prefix Invariance in Attention, State-Space og Hybrid Sequence Models(arXiv:2608.22876, 24. august 2026). Referanseimplementering og AX-RAY-rammeverk — i VIDRAFT-depotet.