די מאַסקע איז נישט דער מאָדעל: אַודיטינג פּרעפיקס ינוואַריאַנס קאַטשאַז ליקס אין Zamba2 און Nemotron-H
א קאָרעיִש סטאַרטאַפּ מאַנשאַפֿט אין VIDRAFT האט דיסקאַווערד אַז די נאָרמאַל קאַוסאַל ופמערקזאַמקייט מאַסקע טשעק אין כייבריד שפּראַך מאָדעלס איז גאָרנישט אָבער אַ זיכערקייַט אילוזיע: אינפֿאָרמאַציע ליקס פון דער צוקונפֿט דורכפאַל דורך סקאַנז, נאָרמאַליזיישאַן און אַגגרעגאַטיאָן, און קיין איינער פון 192 ינדזשעקטיד חסרונות איז געכאפט דורך אַזאַ אַ טשעק.
די פּאַפּיר אויף אַרקסיוו (2608.22876) פאָרמאַליזיז פּרעפיקס ינווייראַנאַנס - די פאָדערונג אַז אַ סימען ס פאַרטרעטונג אין שטעלעtמוזן ניט אָפענגען אויף ינפּוץ אין שטעלעה+1און ווייטער. אין ריין טראַנספאָרמערס, קאַוסאַל ופמערקזאַמקייט מאַסקס דורכפירן דעם, אָבער מאָדערן אַרקאַטעקטשערז ינקריסינגלי מישן ופמערקזאַמקייט מיט שטאַט-פּלאַץ מאָדעלס (מאַמבאַ, מאַמבאַ -2), טשאַנגקט סקאַנז און קאַנוואַלושאַנז. יעדער אַזאַ אָפּעראַטאָר האט זייַן אייגן דורכפירונג וועג, און די ופמערקזאַמקייַט מאַסקע טוט נישט פאַרבינדן זיי.
די פארגעלייגט קאָנטראָלירן לויפט אין צוויי פאָרויס פּאַסיז אָן טריינינג אָדער גראַדיאַנץ. נעמען צוויי יידעניקאַל ינפּוץ וואָס זענען אַנדערש בלויז אין די לעצטע סימען, לויפן זיי ינדיפּענדאַנטלי און פאַרגלייַכן אַקטאַוויישאַנז שיכטע דורך שיכטע. אויב פרי-פּאָזיציע רעפּראַזאַנטיישאַנז טוישן, קאַוסאַליטי איז צעבראכן, און די שיכטע ווו דאָס ערשטער אַקערז איז די קולפּריט. דער אופֿן לאָוקאַלייזיז די רינען צו אַ ספּעציפיש שיכטע אין סעקונדעס.
אין דער עקספּערימענט, 192 סינטעטיש חסרונות זענען ינדזשעקטיד איבער אַכט טשעקפּוינץ פון פאַרשידענע אַרקאַטעקטשערז. קלאַסיש מאַסקע דורכקוק דיטעקטאַד גאָרניט. די נייַע קאָנטראָלירן געפונען אַלע 192 און פּינפּוינטיד די פּינטלעך שיכטע. דערצו, סטאַטיק און דינאַמיש אַנאַליסיס פון טשאַנגקט-סקאַן קאָד אין טראַנספאָרמערס אנטפלעקט די זעלבע כיסאָרן אין Zamba2 (Zyphra) און Nemotron-H (NVIDIA) - אַן ינטער-טשאַנגק אַקס טעות פאַרפעסטיקט דורך די רעפֿערענץ ימפּלאַמענטיישאַן.
פארוואס די ופמערקזאַמקייַט מאַסקע איז ניט מער גענוג
פֿאַר אַ לאַנג צייַט, "קאַוסאַל מאַסקע = קאַוסאַל מאָדעל" איז געווען אַן אַקסיאַם. אין דעקאָדער-בלויז טראַנספאָרמערס, די מאַסקע טאַקע קלאָוזיז אַלע פּאַטס: ופמערקזאַמקייט איז דער בלויז סימען-מיקסינג מעקאַניזאַם. אָבער כייבריד מאָדעלס באַקענענ פּאַראַלעל קאַמפּיוטיישאַנאַל טראַקץ. SSM ריקעראַנס, קאַנוואַלושאַנאַל קערנאַלז און טשאַנגקט-סקאַן אָפּערייטערז פּראָצעס די סיקוואַנס דורך זייער אייגענע כּללים. די ופמערקזאַמקייט מאַסקע איז פשוט נישט געווענדט דאָרט - און צוקונפֿט אינפֿאָרמאַציע קענען רינען דורך קיין פון די פּאַטס.
די מחברים באַווייַזן דעם אויף Nemotron-H: די טשאַנגקט יבערקוקן ין די ופמערקזאַמקייט בלאָק ניצט די אומרעכט אַקס פֿאַר אַקיומיאַלייטינג שטאַט אַריבער טשאַנגקס. דער רעזולטאַט - טאָקענס פון דער ווייַטער טשאַנג השפּעה רעפּראַזאַנטיישאַנז אין דעם קראַנט. די ופמערקזאַמקייט מאַסקע בלייבט בישליימעס ריכטיק ווייַל די רינען גייט נישט דורך ופמערקזאַמקייַט.
ווי די קאָנטראָלירן אַרבעט אין פיר
דער אַלגערידאַם איז ביליק און פּאָרטאַטיוו:
- צוגרייטן אַ פּאָר פון ינפּוץ: אַ באַזע איינער און איינער מיט אַ מאַדאַפייד לעצטע סימען.
- לויפן ביידע דורך די מאָדעל אין ינפעראַנס מאָדע.
- פאַרגלייַכן פאַרבאָרגן שטאַטן שיכטע דורך שיכטע (למשל, ל 2 דיסטאַנסע).
- דער ערשטער שיכטע מיט אַ ניט-נול חילוק איז די פּרעפיקס ווייאַליישאַן פונט.
קיין פיין-טונינג, קיין גראַדיענץ, אַרבעט אויף קיין אַרקאַטעקטשער ווו ינטערמידייט אַקטאַוויישאַנז זענען צוטריטלעך. די מחברים צושטעלן אַ רעפֿערענץ ימפּלאַמענטיישאַן וואָס פיץ אויף איין בלאַט פון קאָד.
וואָס דאָס מיטל פֿאַר מאָדעל דעוועלאָפּערס
אויב איר באַן אָדער נוצן כייבריד אַרקאַטעקטשערז (ווי Zamba, Nemotron-H, Mamba-2 מיט ופמערקזאַמקייט, אָדער קיין ופמערקזאַמקייט + SSM + קאַנוואַלושאַן מיקסעס) - קאָנטראָלירן די ופמערקזאַמקייט מאַסקע גיט אַ פאַלש געפיל פון זיכערהייט. די VIDRAFT קאָנטראָלירן נעמט אַ פּאָר פון סעקונדעס און קענען ראַטעווען חדשים פון דיבאַגינג מאָדנע דור אַרטאַפאַקץ וואָס זענען פאקטיש ליקס פון דער צוקונפֿט.
די מאַנשאַפֿט האט שוין ינאַגרייטיד דעם טשעק אין זייער AX-RAY פריימווערק פֿאַר קעסיידערדיק קאַוזאַליטי דיאַגנאָסטיקס. פֿאַר אַלעמען אַנדערש - נאָר לייגן צוויי פאָרויס פּאַסיז צו דיין סי רערנ - ליניע איידער ריליסינג אַ טשעקפּוינט.
לימיטיישאַנז און ווייַטער סטעפּס
דער אופֿן געפינט ליקס אָבער נישט אויטאָמאַטיש קלאַסיפיצירן זייער טיפּ - איר דאַרפֿן צו קוקן אין די אַרקאַטעקטשער פון די קולפּריט שיכטע. עס אויך ריקווייערז אַקסעס צו ינערלעך אַקטאַוויישאַנז, וואָס איז אַנאַוויילאַבאַל אין פארמאכט אַפּיס (OpenAI, Anthropic). די מחברים פּלאַנירן צו פאַרברייטערן דעם צוגאַנג צו קוואַנטייזד און ספּאַרסאַפייד מאָדעלס, ווו נומעריקאַל ינסטאַביליטי קענען זיין מאַסיוו ווי קאַוסאַל ליקס.
פאפיר:די מאַסקע איז נישט דער מאָדעל: אַודיטינג פּרעפיקס ינווייראַנס אין ופמערקזאַמקייַט, שטאַט-פּלאַץ און כייבריד סיקוואַנס מאָדעלס(אַרקסיוו: 2608.22876, 24 אויגוסט 2026). רעפערענץ ימפּלאַמענטיישאַן און AX-RAY פריימווערק - אין די VIDRAFT ריפּאַזאַטאָרי.
