A máscara não é o modelo: a auditoria da invariância do prefixo detecta vazamentos em Zamba2 e Nemotron-H
Uma equipe de inicialização coreana da VIDRAFT descobriu que a verificação padrão da máscara de atenção causal em modelos de linguagem híbrida nada mais é do que uma ilusão de segurança: vazamentos de informações do futuro passam por varreduras, normalização e agregação, e nenhum dos 192 defeitos injetados foi detectado por tal verificação.
O artigo sobre arXiv (2608.22876) formaliza a invariância de prefixo - o requisito de que a representação de um token na posição t não deve depender de entradas na posição t + 1 e além. Em transformadores puros, as máscaras de atenção causal reforçam isso, mas as arquiteturas modernas misturam cada vez mais a atenção com modelos de espaço de estados (Mamba, Mamba-2), varreduras fragmentadas e convoluções. Cada operador tem seu próprio caminho de execução e a máscara de atenção não os afeta.
A auditoria proposta é executada em duas passagens para frente, sem treinamento ou gradientes. Pegue duas entradas idênticas, diferindo apenas no último token, execute-as de forma independente e compare as ativações camada por camada. Se as representações das posições iniciais mudarem, a causalidade é quebrada e a camada onde isso ocorre primeiro é a culpada. O método localiza o vazamento em uma camada específica em segundos.
No experimento, 192 falhas sintéticas foram injetadas em oito pontos de verificação de diferentes arquiteturas. A inspeção clássica da máscara não detectou nenhuma. A nova auditoria encontrou todos os 192 e identificou a camada exata. Além disso, a análise estática e dinâmica do código de varredura em pedaços em transformadores revelou o mesmo defeito em Zamba2 (Zyphra) e Nemotron-H (NVIDIA) - um erro de eixo entre pedaços corrigido por meio da implementação de referência.
Por que a máscara de atenção não é mais suficiente
Durante muito tempo, “máscara causal = modelo causal” foi um axioma. Nos transformadores somente decodificadores, a máscara realmente fecha todos os caminhos: a atenção é o único mecanismo de mistura de tokens. Mas os modelos híbridos introduziram setores computacionais paralelos. A recorrência SSM, os kernels convolucionais e os operadores de varredura em partes processam a sequência de acordo com suas próprias regras. A máscara de atenção simplesmente não é aplicada ali – e informações futuras podem vazar por qualquer um desses caminhos.
Os autores demonstram isso em Nemotron-H: a varredura fragmentada dentro do bloco de atenção usa o eixo errado para acumular estado entre os blocos. O resultado – tokens do próximo pedaço influenciam as representações do atual. A máscara de atenção permanece perfeitamente correta porque o vazamento não passa pela atenção.
Como funciona a auditoria na prática
O algoritmo é barato e portátil:
- Prepare um par de entradas: uma base e outra com um último token modificado.
- Execute ambos pelo modelo no modo de inferência.
- Compare estados ocultos camada por camada (por exemplo, distância L2).
- A primeira camada com diferença diferente de zero é o ponto de violação da invariância do prefixo.
Sem ajuste fino, sem gradientes, funciona em qualquer arquitetura onde ativações intermediárias sejam acessíveis. Os autores fornecem uma implementação de referência que cabe em uma página de código.
O que isso significa para desenvolvedores de modelos
Se você treinar ou usar arquiteturas híbridas (como Zamba, Nemotron-H, Mamba-2 com atenção, ou qualquer mixagem de atenção + SSM + convolução) - verificar a máscara de atenção dá uma falsa sensação de segurança. A auditoria VIDRAFT leva alguns segundos e pode economizar meses de depuração de artefatos de geração estranha que na verdade são vazamentos do futuro.
A equipe já integrou esta verificação em sua estrutura AX-RAY para diagnósticos contínuos de causalidade. Para todos os outros, basta adicionar dois passes de encaminhamento ao pipeline de CI antes de liberar um ponto de verificação.
Limitações e próximas etapas
O método encontra vazamentos, mas não classifica automaticamente seu tipo — você precisa observar a arquitetura da camada culpada. Também requer acesso a ativações internas, indisponíveis em APIs fechadas (OpenAI, Anthropic). Os autores planejam estender a abordagem para modelos quantizados e esparsos, onde a instabilidade numérica pode se disfarçar como vazamentos causais.
Papel: A máscara não é o modelo: auditando a invariância do prefixo em modelos de atenção, espaço de estados e sequência híbrida (arXiv:2608.22876, 24 de agosto de 2026). Implementação de referência e estrutura AX-RAY - no repositório VIDRAFT.
