זוכן טעקסט דורך טייַטש פֿאַר פריי
אין אַ לאַנג קאָנטראַקט, אַ שפּעט צאָלונג אָפּצאָל קען זיין גערופן אַ "שטראָף". אין באַגעגעניש הערות, דער ענטפער צו דיין קשיא קען נוצן גאָר פאַרשידענע ווערטער. פריי סעמאַנטיק טעקסט זוכן געפינט באַטייַטיק פּאַסידזשיז און רייען זיי לויט ענלעכקייט. קלייַבן פּינטלעך קיווערד וואָס ריכטן זיך אָדער זוכן דורך טייַטש. דיין טעקסט סטייז אין דעם בלעטערער, און קיין טאָקענס זענען טשאַרדזשינג.
ווען געפֿינען אויף בלאַט קומט ליידיק
ימאַדזשאַן אַ באַגעגעניש קלאָץ פון צוואַנציק בלאַט. איר געדענקט אַז די מאַנשאַפֿט האָט אריבערגעפארן אַן אַפּ קאַטער, אָבער די פראַזע "מעלדונג טאָג" איז קיינמאָל ארויס. קייוואָרד זוכן קערט גאָרנישט. אין סעמאַנטיק מאָדע, אַ אָנפֿרעג ווי "ווען איז דער קאַטער" קען פירן צו "די ראָולאַוט באוועגט צו ווייַטער וואָך", אפילו כאָטש די ווערדינג איז אַנדערש.
עס זענען צוויי מאָדעס. "פּינטלעך ווערטער" סקאָרז פּאַסידזשיז ניצן די ווערטער אין דיין אָנפֿרעג און זייער קאָרעוו וואָג; עס אַרבעט גלייך אָן אַ מאָדעל אראפקאפיע. "דורך טייַטש" קאַמפּערז טעקסט עמבעדינגז געבויט דורך מאַלטיילינגוואַל MiniLM. זיין מאָדעל טעקעס זענען בעערעך 118 מעגאבייטן. דער ערשטער לויפן דאַונלאָודז זיי; שפּעטער לויפט קענען נוצן דעם בלעטערער קאַש אָפפלינע. פֿאַר אַ קורץ, קלאָר וואָרט דאָקומענט, דער ערשטער מאָדע איז פאַסטער. פֿאַר סינאָנימס, פּרובירן די רגע.
פּרוּווט עס מיט דיין אייגענע דאָקומענט
- עפענען די זוכן געצייַג און פּאַפּ טעקסט. איר קענען אויך לאָדן TXT, Markdown, HTML אָדער אַ PDF מיט אַ טעקסט שיכטע. דער טעקע איז לייענען אויף דיין מיטל.
- אַרייַן אַרויף צו פינף פֿראגן, איינער פּער שורה. פֿאַר בייַשפּיל: "שפּעט צאָלונג אָפּצאָל" און "ענדיקן דעם קאָנטראַקט".
- אויסקלייַבן קיווערד אָדער סעמאַנטיק מאָדע און דריקן זוכן. רעזולטאַטן ווייַזן וואָס ריכטן פּאַסידזשיז, אַן ענלעכקייט פּראָצענט און די אָנפֿרעג לינגקט צו יעדער דורכפאָר.
- נאָכמאַכן די שוועבעלעך אָדער היט זיי ווי TXT אָדער Markdown.
דריי מוסטער דאָקומענטן זענען בארעכטיגט: אַ העסקעם, פאָרשונג הערות און אַ באַגעגעניש קלאָץ. זיי לאָזן איר פאַרגלייַכן מאָדעס אָן פּריפּערינג אַ טעקע. איך וואָלט אָנהייבן מיט די שנעל קיווערד מאָדע און באַשטימען צו סעמאַנטיק זוכן אויב דער דאָקומענט ניצט פאַרשידענע טערמינאָלאָגיע.
דיין טעקסט סטייז מיט איר
די געצייַג ספּליץ דעם דאָקומענט אין פּאַסידזשיז, סקאָרז יעדער איינער קעגן די פֿראגן און סאָרט די שוועבעלעך. אַלע דעם כאַפּאַנז אין דיין בלעטערער. ניט דער דאָקומענט אדער זיין אינהאַלט גיין צו די סערווער. עס אויך אַרבעט פֿאַר געסט.
דער טעקסט לימיט איז 200,000 אותיות, מיט בייַ מינדסטער 80 דארף פֿאַר אַ זוכן. א PDF דאַרף סעלעקטאַבאַל טעקסט; אַ בלאַט יבערקוקן אָן אַ טעקסט שיכטע קענען ניט זיין לייענען. סעמאַנטיק זוכן קען נעמען מער אויף אַ גרויס דאָקומענט אָדער אַ סלאָוער מיטל. די ענלעכקייט פּראָצענט העלפּס צו ריי פּאַסידזשיז, אָבער עס טוט נישט באַווייַזן אַ פאַקט: לייענען וויכטיק טערמינען אין זייער אָריגינעל קאָנטעקסט.
פֿאַר בייַשפּיל, אין אַ פאָרשונג באַריכט איר קען פרעגן סעפּעראַטלי וועגן מאָדעל אַקיעראַסי און צייט סייווינגז פון אַ קלינישאַן. די געצייַג קענען ייבערפלאַך פּאַסידזשיז פון פאַרשידענע פּאַרץ פון דער זעלביקער דאָקומענט. עס קען נישט פאַרגלייַכן פיגיערז מיט אַרויס קוואלן אָדער שרייַבן אַ מסקנא פֿאַר איר. עפֿענען דעם אָריגינעל PDF און קאָנטראָלירן וואָס עקספּערימענט און צייט פּעריאָד יעדער נומער געהערט איידער ציטירן עס.
ווען איר דאַרפֿן אַ קיצער אַנשטאָט
דער געצייַג העלפּס צו געפֿינען פּאַסידזשיז בשעת בעכעסקעם די ווערדינג פון דעם דאָקומענט. אויב איר ווילט אַ קורץ קיצער פון אַ גאַנץ בלאַט אָדער PDF, נוצן די סאַמערייזער. איר קענען געפֿינען מער היגע מכשירים אין אנדערע מכשירים. פֿאַר אַ זוכן, פּאַפּ דיין דאָקומענט און פּרובירן איין באַטאָנען קשיא.