Maska nie jest modelem: kontrola niezmienności przedrostków wyłapuje wycieki w Zamba2 i Nemotron-H

Koreański zespół start-upów w VIDRAFT odkrył, że standardowe sprawdzanie maski uwagi przyczynowej w modelach języka hybrydowego to nic innego jak iluzja bezpieczeństwa: wycieki informacji z przyszłości przechodzą przez skanowanie, normalizację i agregację, a żadna ze 192 wprowadzonych defektów nie została wykryta przez taką kontrolę.

Artykuł na temat arXiv (2608.22876) formalizuje niezmienność przedrostka — wymaganie, aby reprezentacja tokena na pozycjitnie może zależeć od wejść na pozycjit+1i poza nią. W czystych transformatorach wymuszają to maski uwagi przyczynowej, ale współczesne architektury coraz częściej mieszają uwagę z modelami przestrzeni stanów (Mamba, Mamba-2), fragmentarycznymi skanami i splotami. Każdy taki operator ma własną ścieżkę wykonania, a maska ​​uwagi ich nie dotyka.

Proponowany audyt przebiega w dwóch przebiegach do przodu, bez szkolenia i nachyleń. Weź dwa identyczne dane wejściowe, różniące się tylko ostatnim tokenem, uruchom je niezależnie i porównaj aktywacje warstwa po warstwie. Jeśli reprezentacje wczesnych pozycji ulegną zmianie, przyczynowość zostaje zerwana, a winowajcą jest warstwa, w której następuje to po raz pierwszy. Metoda lokalizuje wyciek w określonej warstwie w ciągu kilku sekund.

W eksperymencie wstrzyknięto 192 syntetyczne błędy w ośmiu punktach kontrolnych różnych architektur. Klasyczna kontrola maski nie wykryła żadnego. Nowy audyt znalazł wszystkie 192 i wskazał dokładną warstwę. Co więcej, statyczna i dynamiczna analiza kodu fragmentarycznego skanowania w transformatorach ujawniła tę samą wadę w Zamba2 (Zyphra) i Nemotron-H (NVIDIA) — błąd osi między fragmentami naprawiony za pomocą implementacji referencyjnej.

Dlaczego maska ​​uwagi już nie wystarczy

Przez długi czas „maska ​​przyczynowa = model przyczynowy” była aksjomatem. W transformatorach przeznaczonych tylko do dekodera maska ​​naprawdę zamyka wszystkie ścieżki: uwaga jest jedynym mechanizmem mieszania tokenów. Jednak modele hybrydowe wprowadziły równoległe ciągi obliczeniowe. Operatory rekurencji SSM, jądra splotowego i operatory skanowania fragmentarycznego przetwarzają sekwencję według własnych reguł. Maska uwagi po prostu nie jest tam stosowana, a przyszłe informacje mogą wyciekać dowolną z tych ścieżek.

Autorzy demonstrują to na Nemotronie-H: fragmentaryczny skan wewnątrz bloku uwagi wykorzystuje niewłaściwą oś do akumulowania stanu we fragmentach. Wynik — żetony z następnego fragmentu wpływają na reprezentacje w bieżącym. Maska uwagi pozostaje całkowicie poprawna, ponieważ wyciek nie przechodzi przez uwagę.

Jak audyt wygląda w praktyce

Algorytm jest tani i przenośny:

1. Przygotuj parę wejść: podstawowe i jedno ze zmodyfikowanym ostatnim tokenem.
2. Przeprowadź oba przez model w trybie wnioskowania.
3. Porównaj stany ukryte warstwa po warstwie (np. odległość L2).
4. Pierwsza warstwa z różnicą niezerową jest punktem naruszenia niezmienności przedrostka.

Bez dostrajania, bez gradientów, działa na każdej architekturze, w której dostępne są pośrednie aktywacje. Autorzy udostępniają referencyjną implementację mieszczącą się na jednej stronie kodu.

Co to oznacza dla twórców modeli

Jeśli trenujesz lub używasz architektur hybrydowych (takich jak Zamba, Nemotron-H, Mamba-2 z uwagą lub dowolne miksy uwagi + SSM + splotu) — sprawdzenie maski uwagi daje fałszywe poczucie bezpieczeństwa. Audyt VIDRAFT zajmuje kilka sekund i może zaoszczędzić miesiące debugowania artefaktów dziwnej generacji, które w rzeczywistości są wyciekami z przyszłości.

Zespół zintegrował już tę kontrolę ze strukturą AX-RAY na potrzeby ciągłej diagnostyki związku przyczynowego. Dla wszystkich innych — po prostu dodaj dwa przejścia do przodu do swojego potoku CI przed zwolnieniem punktu kontrolnego.

Ograniczenia i kolejne kroki

Metoda znajduje wycieki, ale nie klasyfikuje automatycznie ich typu — należy przyjrzeć się architekturze warstwy odpowiedzialnej za wyciek. Wymaga także dostępu do wewnętrznych aktywacji, co jest niedostępne w zamkniętych API (OpenAI, Anthropic). Autorzy planują rozszerzyć to podejście na modele skwantowane i sparsyfikowane, w których niestabilność numeryczna może udawać wycieki przyczynowe.

Papier:Maska nie jest modelem: kontrola niezmienności przedrostków w modelach uwagi, przestrzeni stanów i sekwencji hybrydowych(arXiv:2608.22876, 24 sierpnia 2026). Implementacja referencyjna i framework AX-RAY – w repozytorium VIDRAFT.