Uma máscara não é um modelo: como uma auditoria de

A equipe da startup coreana VIDRAFT descobriu que a verificação padrão da máscara de atenção causal em modelos de linguagem híbrida é apenas uma ilusão de segurança: vazamentos de informações do vazamento futuro por meio de varreduras, normalização e agregação, e tal verificação não encontrou nenhum dos 192 defeitos incorporados.

Em um artigo sobre arXiv (2608.22876), os autores formalizam o conceito de invariância de prefixo – o requisito de que a representação de um token em uma posição t não deve depender de entradas em posições t + 1 e mais. Em transformadores puros, isso é garantido por uma máscara de atenção causal, mas as arquiteturas modernas estão cada vez mais misturando atenção com modelos de espaço de estados (Mamba, Mamba-2), varreduras fragmentadas e convoluções. Cada um desses operadores tem seu próprio caminho de execução e a máscara de atenção não lhes diz respeito.

A auditoria proposta funciona em duas passagens para frente sem treinamento ou gradientes. Eles pegam duas entradas idênticas que diferem apenas no último token, executam-nas de forma independente e comparam as ativações camada por camada. Se a representação das posições anteriores mudou, a causalidade é quebrada e a camada onde isso aconteceu pela primeira vez é a culpada. O método localiza o vazamento em uma camada específica em segundos.

No experimento, 192 erros sintéticos foram introduzidos em oito pontos de verificação de diferentes arquiteturas. A inspeção clássica da máscara não encontrou nenhuma. A nova auditoria encontrou todos os 192 e identificou a camada exata. Além disso, a análise estática e dinâmica do código em pedaços nos transformadores revelou o mesmo defeito em Zamba2 (Zyphra) e Nemotron-H (NVIDIA) - um erro no eixo entre pedaços, corrigido através da implementação de referência.

Por que a máscara da atenção não é mais suficiente?

Durante muito tempo, “máscara causal = modelo causal” foi um axioma. Nos transformadores somente decodificadores, a máscara realmente fecha todos os caminhos: a atenção é o único mecanismo para misturar tokens. Mas os modelos híbridos introduziram caminhos de computação paralelos. A recorrência SSM, os kernels convolucionais e os operadores de varredura em partes processam a sequência com suas próprias regras. A máscara de atenção simplesmente não se aplica ali – e as informações futuras podem fluir por qualquer um desses caminhos.

Os autores mostram com o exemplo Nemotron-H: uma varredura fragmentada dentro de um bloco de atenção usa o eixo errado para acumular estado entre os blocos. O resultado é que os tokens do próximo bloco afetam as visualizações do bloco atual. A máscara de atenção é idealmente correta, pois o vazamento não passa pela atenção.

Como funciona a auditoria na prática

O algoritmo é barato e portátil:

1. Prepare um par de entradas: básico e com o último token modificado.
2. Execute ambos pelo modelo no modo de inferência.
3. Compare estados ocultos camada por camada (por exemplo, pela distância L2).
4. A primeira camada com diferença diferente de zero é o ponto de violação da invariância do prefixo.

Nenhum treinamento adicional, sem gradientes, funciona em qualquer arquitetura onde haja acesso a ativações intermediárias. Os autores fornecem uma implementação de referência em uma página de código.

O que isso significa para modeladores?

Se você estiver treinando ou usando arquiteturas híbridas (como Zamba, Nemotron-H, Mamba-2 com atenção ou qualquer mistura de atenção + SSM + convoluções) - verificar a máscara de atenção dá uma falsa sensação de segurança. Uma auditoria VIDRAFT custa alguns segundos e pode economizar meses de depuração de artefatos de geração estranha que, na verdade, são vazamentos do futuro.

A equipe já integrou esta verificação em sua estrutura AX-RAY para diagnósticos contínuos de causalidade. De resto, basta adicionar duas passagens de avanço ao pipeline de CI antes de liberar o ponto de verificação.

Limitações e próximas etapas

O método encontra vazamentos, mas não classifica automaticamente seu tipo – você precisa observar a arquitetura da camada culpada. Também requer acesso a ativações internas, que não estão disponíveis em API fechado (OpenAI, Anthropic). Os autores planejam estender a abordagem para modelos quantizados e analisados, onde a instabilidade numérica pode se disfarçar como vazamentos causais.

Artigo: A máscara não é o modelo: auditando a invariância do prefixo em modelos de atenção, espaço de estados e sequência híbrida (arXiv:2608.22876, 24 de agosto de 2026). A implementação de referência e a estrutura AX-RAY estão no repositório VIDRAFT.