Het masker is niet het model: auditing van prefix-invariantie spoort lekken op in Zamba2 en Nemotron-H
Een Koreaans startup-team bij VIDRAFT heeft ontdekt dat de standaard causale aandachtsmaskercontrole in hybride taalmodellen niets anders is dan een veiligheidsillusie: informatielekken uit de toekomst glippen door scans, normalisatie en aggregatie, en niet één van de 192 geïnjecteerde defecten werd door een dergelijke controle ontdekt.
Het artikel over arXiv (2608.22876) formaliseert prefix-invariantie – de vereiste dat de representatie van een token op positietmag niet afhankelijk zijn van invoer op de positiet+1en verder. Bij pure transformatoren versterken causale aandachtsmaskers dit, maar moderne architecturen vermengen de aandacht steeds vaker met state-space-modellen (Mamba, Mamba-2), gefragmenteerde scans en convoluties. Elke dergelijke operator heeft zijn eigen uitvoeringspad en het aandachtsmasker raakt hen niet.
De voorgestelde audit verloopt in twee voorwaartse passen zonder training of gradiënten. Neem twee identieke ingangen die alleen verschillen in het laatste token, voer ze onafhankelijk uit en vergelijk de activeringen laag voor laag. Als representaties van vroege posities veranderen, wordt de causaliteit verbroken, en de laag waar dit het eerst voorkomt is de boosdoener. De methode lokaliseert het lek binnen enkele seconden naar een specifieke laag.
In het experiment werden 192 synthetische fouten geïnjecteerd in acht controlepunten van verschillende architecturen. Klassieke maskerinspectie heeft niets gedetecteerd. De nieuwe audit vond alle 192 en stelde de exacte laag vast. Bovendien bracht statische en dynamische analyse van gefragmenteerde scancode in transformatoren hetzelfde defect aan het licht in Zamba2 (Zyphra) en Nemotron-H (NVIDIA) - een asfout tussen delen die werd opgelost via de referentie-implementatie.
Waarom het aandachtsmasker niet langer genoeg is
Lange tijd was ‘causaal masker = causaal model’ een axioma. In transformatoren die alleen decoders zijn, sluit het masker werkelijk alle paden: aandacht is het enige token-mixmechanisme. Maar hybride modellen introduceerden parallelle computerkanalen. SSM-herhaling, convolutionele kernels en chunked-scan-operatoren verwerken de reeks volgens hun eigen regels. Het aandachtsmasker wordt daar simpelweg niet toegepast – en toekomstige informatie kan via elk van deze paden lekken.
De auteurs demonstreren dit op Nemotron-H: de gefragmenteerde scan binnen het aandachtsblok gebruikt de verkeerde as voor het accumuleren van toestanden over chunks heen. Het resultaat: tokens uit het volgende deel beïnvloeden de representaties in het huidige deel. Het aandachtsmasker blijft perfect correct omdat het lek niet door de aandacht gaat.
Hoe de audit in de praktijk werkt
Het algoritme is goedkoop en draagbaar:
- Bereid een paar invoergegevens voor: een basis één en één met een aangepast laatste token.
- Voer beide door het model in de gevolgtrekkingsmodus.
- Vergelijk verborgen toestanden laag voor laag (bijvoorbeeld L2-afstand).
- De eerste laag met een verschil dat niet nul is, is het overtredingspunt van de prefix-invariantie.
Geen fijnafstemming, geen gradiënten, werkt op elke architectuur waar tussenliggende activeringen toegankelijk zijn. De auteurs bieden een referentie-implementatie die op één codepagina past.
Wat dit betekent voor modelontwikkelaars
Als je hybride architecturen traint of gebruikt (zoals Zamba, Nemotron-H, Mamba-2 met aandacht, of welke mix van aandacht + SSM + convolutie dan ook) - het controleren van het aandachtsmasker geeft een vals gevoel van veiligheid. De VIDRAFT-audit duurt een paar seconden en kan maanden besparen op het debuggen van vreemde generatieartefacten die feitelijk lekken uit de toekomst zijn.
Het team heeft deze controle al geïntegreerd in hun AX-RAY-framework voor continue causaliteitsdiagnostiek. Voor alle anderen: voeg gewoon twee voorwaartse passen toe aan uw CI-pijplijn voordat u een controlepunt vrijgeeft.
Beperkingen en volgende stappen
De methode vindt lekken, maar classificeert hun type niet automatisch. Je moet naar de architectuur van de daderlaag kijken. Het vereist ook toegang tot interne activeringen, wat niet beschikbaar is in gesloten API's (OpenAI, Anthropic). De auteurs zijn van plan de aanpak uit te breiden naar gekwantiseerde en spaarzame modellen, waarbij numerieke instabiliteit zich kan voordoen als causale lekken.
Papier:Het masker is niet het model: het controleren van prefix-invariantie in aandachts-, toestandsruimte- en hybride sequentiemodellen(arXiv:2608.22876, 24 augustus 2026). Referentie-implementatie en AX-RAY-framework — in de VIDRAFT-repository.
