La maschera non è il modello: il controllo dell'invarianza del prefisso individua le perdite in Zamba2 e Nemotron-H
Un team di startup coreane presso VIDRAFT ha scoperto che il controllo standard della maschera di attenzione causale nei modelli linguistici ibridi non è altro che un'illusione di sicurezza: le fughe di informazioni dal futuro scivolano attraverso scansioni, normalizzazione e aggregazione, e nessuno dei 192 difetti inseriti è stato rilevato da tale controllo.
Il documento su arXiv (2608.22876) formalizza l'invarianza del prefisso: il requisito che la rappresentazione di un token nella posizionetnon deve dipendere dagli input in posizionet + 1e oltre. Nei trasformatori puri, le maschere di attenzione causale lo impongono, ma le architetture moderne mescolano sempre più l'attenzione con modelli di spazio degli stati (Mamba, Mamba-2), scansioni a pezzi e convoluzioni. Ciascuno di questi operatori ha il proprio percorso di esecuzione e la maschera di attenzione non li tocca.
L'audit proposto si svolge in due passaggi successivi senza formazione o gradienti. Prendi due input identici che differiscono solo nell'ultimo token, eseguili in modo indipendente e confronta le attivazioni livello per livello. Se le rappresentazioni delle posizioni iniziali cambiano, la causalità viene interrotta e il colpevole è lo strato in cui ciò avviene per primo. Il metodo localizza la perdita su uno strato specifico in pochi secondi.
Nell'esperimento, sono state inserite 192 faglie sintetiche attraverso otto checkpoint di diverse architetture. L'ispezione classica della maschera non ne ha rilevato nessuno. Il nuovo audit ne ha individuati tutti i 192 e ha individuato lo strato esatto. Inoltre, l'analisi statica e dinamica del codice di scansione in blocchi nei trasformatori ha rivelato lo stesso difetto in Zamba2 (Zyphra) e Nemotron-H (NVIDIA): un errore dell'asse tra blocchi corretto tramite l'implementazione di riferimento.
Perché la maschera dell’attenzione non basta più
Per molto tempo "maschera causale = modello causale" è stato un assioma. Nei trasformatori solo decoder, la maschera chiude davvero tutti i percorsi: l'attenzione è l'unico meccanismo di miscelazione dei token. Ma i modelli ibridi hanno introdotto tratti computazionali paralleli. La ricorrenza SSM, i kernel convoluzionali e gli operatori di scansione in blocchi elaborano la sequenza in base alle proprie regole. La maschera dell'attenzione semplicemente non viene applicata lì e le informazioni future possono fuoriuscire attraverso uno qualsiasi di questi percorsi.
Gli autori lo dimostrano su Nemotron-H: la scansione in blocchi all'interno del blocco dell'attenzione utilizza l'asse sbagliato per accumulare lo stato tra i blocchi. Il risultato: i token del blocco successivo influenzano le rappresentazioni in quello corrente. La maschera di attenzione rimane perfettamente corretta perché la fuga di notizie non passa attraverso l'attenzione.
Come funziona l'audit nella pratica
L'algoritmo è economico e portatile:
- Preparare una coppia di input: uno di base e uno con l'ultimo token modificato.
- Esegui entrambi attraverso il modello in modalità di inferenza.
- Confronta gli stati nascosti strato per strato (ad esempio, distanza L2).
- Il primo strato con una differenza diversa da zero è il punto di violazione dell'invarianza del prefisso.
Nessuna regolazione fine, nessun gradiente, funziona su qualsiasi architettura in cui siano accessibili attivazioni intermedie. Gli autori forniscono un'implementazione di riferimento che si adatta a una pagina di codice.
Cosa significa per gli sviluppatori di modelli
Se addestri o usi architetture ibride (come Zamba, Nemotron-H, Mamba-2 con attenzione o qualsiasi mix di attenzione + SSM + convoluzione), controllare la maschera di attenzione dà un falso senso di sicurezza. L'audit VIDRAFT richiede un paio di secondi e può far risparmiare mesi di debug di strani artefatti di generazione che in realtà sono perdite dal futuro.
Il team ha già integrato questo controllo nel proprio quadro AX-RAY per la diagnostica continua della causalità. Per tutti gli altri: basta aggiungere due passaggi in avanti alla pipeline CI prima di rilasciare un checkpoint.
Limitazioni e passaggi successivi
Il metodo rileva le perdite ma non ne classifica automaticamente il tipo: è necessario esaminare l'architettura del livello colpevole. Richiede inoltre l'accesso alle attivazioni interne, che non è disponibile nelle API chiuse (OpenAI, Anthropic). Gli autori intendono estendere l'approccio a modelli quantizzati e sparsi, dove l'instabilità numerica può mascherarsi da perdite causali.
Carta:La maschera non è il modello: controllo dell'invarianza del prefisso nei modelli di attenzione, spazio degli stati e sequenza ibrida(arXiv:2608.22876, 24 agosto 2026). Implementazione di riferimento e framework AX-RAY: nel repository VIDRAFT.
