Eine Maske ist kein Modell: Wie eine Präfixinvarianzprüfung
Das Team des koreanischen Startups VIDRAFT entdeckte, dass die Standardprüfung der kausalen Aufmerksamkeitsmaske in hybriden Sprachmodellen nur eine Illusion von Sicherheit ist: Durch Scans, Normalisierung und Aggregation lecken Informationen aus der Zukunft, und bei einer solchen Prüfung konnte keiner der 192 eingebetteten Fehler gefunden werden.
In einem Artikel zu arXiv (2608.22876) formalisieren die Autoren das Konzept der Präfixinvarianz – die Anforderung, dass die Darstellung eines Tokens an einer Position erfolgt T sollte nicht von Einträgen in Positionen abhängen t + 1 und weiter. Bei reinen Transformatoren wird dies durch eine kausale Aufmerksamkeitsmaske sichergestellt, moderne Architekturen vermischen die Aufmerksamkeit jedoch zunehmend mit Zustandsraummodellen (Mamba, Mamba-2), Chunked Scans und Faltungen. Jeder dieser Operatoren hat seinen eigenen Ausführungspfad und die Aufmerksamkeitsmaske betrifft sie nicht.
Das vorgeschlagene Audit funktioniert in zwei Vorwärtsdurchgängen ohne Training oder Steigungen. Sie nehmen zwei identische Eingaben, die sich nur im letzten Token unterscheiden, führen sie unabhängig voneinander aus und vergleichen die Aktivierungen Schicht für Schicht. Wenn sich die Darstellung früherer Positionen geändert hat, ist die Kausalität gebrochen, und die Schicht, auf der dies zuerst geschah, ist der Schuldige. Die Methode lokalisiert das Leck in Sekundenschnelle auf einer bestimmten Schicht.
Im Experiment wurden 192 synthetische Fehler in acht Kontrollpunkte unterschiedlicher Architektur eingeführt. Die klassische Maskeninspektion ergab keine. Bei der neuen Prüfung wurden alle 192 gefunden und die genaue Schicht identifiziert. Darüber hinaus ergab die statische und dynamische Analyse von Chunked-Code in Transformatoren den gleichen Fehler in Zamba2 (Zyphra) und Nemotron-H (NVIDIA) – einen Fehler auf der Inter-Chunk-Achse, der durch die Referenzimplementierung korrigiert wurde.
Warum reicht die Maske der Aufmerksamkeit nicht mehr aus?
„Kausalmaske = Kausalmodell“ war lange Zeit ein Axiom. Bei Nur-Decoder-Transformatoren schließt die Maske wirklich alle Pfade: Aufmerksamkeit ist der einzige Mechanismus zum Mischen von Token. Aber Hybridmodelle führten parallele Rechenpfade ein. SSM-Rekurrenz, Faltungskerne und Chunked-Scan-Operatoren verarbeiten die Sequenz nach ihren eigenen Regeln. Die Aufmerksamkeitsmaske greift dort einfach nicht – und zukünftige Informationen können über jeden dieser Wege fließen.
Die Autoren zeigen anhand von Beispiel Nemotron-H: Ein Chunked-Scan innerhalb eines Aufmerksamkeitsblocks verwendet die falsche Achse, um den Status zwischen Chunks zu akkumulieren. Das Ergebnis ist, dass Token aus dem nächsten Block die Ansichten im aktuellen Block beeinflussen. Die Aufmerksamkeitsmaske ist im Idealfall korrekt, da das Leck nicht durch Aufmerksamkeit entsteht.
Wie Wirtschaftsprüfung in der Praxis funktioniert
Der Algorithmus ist günstig und portabel:
- Bereiten Sie ein Paar Eingaben vor: einfach und mit dem letzten geänderten Token.
- Führen Sie beide im Inferenzmodus durch das Modell.
- Vergleichen Sie verborgene Zustände Schicht für Schicht (z. B. anhand der L2-Entfernung).
- Die erste Schicht mit einer Differenz ungleich Null ist der Punkt der Verletzung der Präfixinvarianz.
Kein zusätzliches Training, keine Steigungen, funktioniert auf jeder Architektur, bei der Zugriff auf Zwischenaktivierungen besteht. Die Autoren stellen eine Referenzimplementierung in einer Codeseite bereit.
Was bedeutet das für Modellbauer?
Wenn Sie hybride Architekturen trainieren oder verwenden (wie Zamba, Nemotron-H, Mamba-2 mit Aufmerksamkeit oder eine beliebige Mischung aus Aufmerksamkeit + SSM + Faltungen), vermittelt die Überprüfung der Aufmerksamkeitsmaske ein falsches Sicherheitsgefühl. Ein VIDRAFT-Audit kostet ein paar Sekunden und kann monatelanges Debuggen seltsamer Generationsartefakte ersparen, bei denen es sich in Wirklichkeit um Lecks aus der Zukunft handelt.
Das Team hat diesen Check bereits in sein AX-RAY-Framework zur kontinuierlichen Kausalitätsdiagnostik integriert. Im Übrigen reicht es aus, der CI-Pipeline zwei Vorwärtsdurchgänge hinzuzufügen, bevor der Prüfpunkt freigegeben wird.
Einschränkungen und nächste Schritte
Die Methode findet Lecks, klassifiziert ihren Typ jedoch nicht automatisch – Sie müssen sich die Architektur der Täterschicht ansehen. Es erfordert außerdem Zugriff auf interne Aktivierungen, der im geschlossenen API (OpenAI, Anthropic) nicht verfügbar ist. Die Autoren planen, den Ansatz auf quantisierte und parsifizierte Modelle auszuweiten, bei denen numerische Instabilität als kausale Lecks getarnt werden kann.
Artikel: Die Maske ist nicht das Modell: Prüfung der Präfixinvarianz in Aufmerksamkeits-, Zustandsraum- und Hybridsequenzmodellen (arXiv:2608.22876, 24. August 2026). Die Referenzimplementierung und das AX-RAY-Framework befinden sich im VIDRAFT-Repository.
