וואָס איז אַ ראָבאָץ.טקסט טעקע? אַלץ איר דאַרפֿן צו שרייַבן, פאָרלייגן און צוריקקריגן אַ ראָובאַץ טעקע פֿאַר סעאָ

מיר האָבן געשריבן אַ פולשטענדיק אַרטיקל אויף ווי זוכן ענדזשאַנז געפֿינען, קריכן און אינדעקס דיין וועבסיטעס. א פונדאַמענטאַל שריט אין דעם פּראָצעס איז די robots.txt טעקע, די גייטוויי פֿאַר אַ זוכן מאָטאָר צו קריכן דיין פּלאַץ. פארשטאנד ווי צו בויען אַ robots.txt טעקע רעכט איז יקערדיק אין זוכן מאָטאָר אַפּטאַמאַזיישאַן (סעאָ).

דעם פּשוט אָבער שטאַרק געצייַג העלפּס וועבמאַסטערס קאָנטראָלירן ווי זוכן ענדזשאַנז ינטעראַקט מיט זייער וועבסיטעס. פארשטאנד און יפעקטיוולי ניצן אַ robots.txt טעקע איז יקערדיק פֿאַר ינשורינג אַ וועבזייטל ס עפעקטיוו ינדעקסינג און אָפּטימאַל וויזאַביליטי אין זוכן מאָטאָר רעזולטאַטן.

וואָס איז אַ ראָבאָץ.טקסט טעקע?

א robots.txt טעקע איז אַ טעקסט טעקע ליגן אין די וואָרצל וועגווייַזער פון אַ וועבזייטל. זיין ערשטיק ציל איז צו פירן זוכן מאָטאָר קראַוולערז וועגן וואָס פּאַרץ פון דעם פּלאַץ זאָל אָדער זאָל ניט זיין קראָלד און ינדעקסט. דער טעקע ניצט די ראָבאָץ יקסקלוזשאַן פּראָטאָקאָל (רעפּ), אַ נאָרמאַל וועבסיטעס נוצן צו יבערגעבן מיט וועב קראַוולערז און אנדערע וועב ראָובאַץ.

די REP איז נישט אַן באַאַמטער אינטערנעט נאָרמאַל אָבער איז וויידלי אנגענומען און געשטיצט דורך הויפּט זוכן ענדזשאַנז. די קלאָוסאַסט צו אַן אנגענומען נאָרמאַל איז די דאַקיומענטיישאַן פון הויפּט זוכן ענדזשאַנז ווי Google, Bing און Yandex. פֿאַר מער אינפֿאָרמאַציע, באַזוכן Google's Robots.txt ספּעסאַפאַקיישאַנז איז רעקאַמענדיד.

פארוואס איז Robots.txt קריטיש פֿאַר סעאָ?

1. קאַנטראָולד קריכן: Robots.txt אַלאַוז וועבזייטל אָונערז צו פאַרמייַדן זוכן ענדזשאַנז פון אַקסעס צו ספּעציפיש סעקשאַנז פון זייער פּלאַץ. דאָס איז ספּעציעל נוציק פֿאַר יקסקלודינג דופּליקאַט אינהאַלט, פּריוואַט געביטן אָדער סעקשאַנז מיט שפּירעוודיק אינפֿאָרמאַציע.
2. אָפּטימיזעד קריכן בודזשעט: זוכן ענדזשאַנז אַלאַקייט אַ קריכן בודזשעט פֿאַר יעדער וועבזייטל, די נומער פון בלעטער וואָס אַ זוכן מאָטאָר באָט וועט קריכן אויף אַ פּלאַץ. דורך דיסאַלאַוינג ירעלאַוואַנט אָדער ווייניקער וויכטיק סעקשאַנז, robots.txt העלפּס אַפּטאַמייז דעם קריכן בודזשעט, ינשורינג אַז מער באַטייַטיק בלעטער זענען קראָלד און ינדעקסט.
3. ימפּרוווד וועבזייטל לאָודינג צייט: דורך פּרעווענטינג באָץ פון אַקסעס אַנימפּאָרטיד רעסורסן, robots.txt קענען רעדוצירן סערווער מאַסע, פּאַטענטשאַלי ימפּרוווינג די פּלאַץ ס לאָודינג צייט, אַ קריטיש פאַקטאָר אין סעאָ.
4. פּרעווענטינג ינדעקסינג פון ניט-פובליק בלעטער: עס העלפּס צו האַלטן ניט-ציבור געביטן (אַזאַ ווי סטאַגינג זייטלעך אָדער אַנטוויקלונג געביטן) פון ינדאַקייטיד און דערשייַנען אין זוכן רעזולטאַטן.

Robots.txt יקערדיק קאַמאַנדז און זייער ניצט

• דערלויבן: די דירעקטיוו איז געניצט צו ספּעציפיצירן וואָס בלעטער אָדער סעקשאַנז פון די פּלאַץ זאָל זיין אַקסעסט דורך די קראַוולערז. פֿאַר בייַשפּיל, אויב אַ וועבזייטל האט אַ ספּעציעל באַטייַטיק אָפּטיילונג פֿאַר סעאָ, די 'אַלאַו' באַפֿעל קענען ענשור אַז עס איז קראָלד.

Allow: /public/

• פאַרלאָזן: דער פאַרקערט פון 'לאָזן', דעם באַפֿעל ינסטראַקץ זוכן מאָטאָר באָץ נישט צו קריכן זיכער טיילן פון דער וועבזייטל. דאָס איז נוציק פֿאַר בלעטער אָן סעאָ ווערט, ווי לאָגין בלעטער אָדער שריפט טעקעס.

Disallow: /private/

• ווילדקאַרדס: ווילדקאַרדס זענען געניצט פֿאַר מוסטער ריכטן. דער אַסטעריסק (*) רעפּראַזענץ קיין סיקוואַנס פון אותיות, און דער דאָלאַר צייכן ($) סיגנאַפייז די סוף פון אַ URL. די זענען נוציק פֿאַר ספּעציפיצירן אַ ברייט קייט פון URL ס.

Disallow: /*.pdf$

• סיטעמאַפּס: אַרייַנגערעכנט אַ סיטעמאַפּ אָרט אין robots.txt העלפּס זוכן ענדזשאַנז געפֿינען און קריכן אַלע וויכטיק בלעטער אויף אַ פּלאַץ. דאָס איז קריטיש פֿאַר סעאָ ווייַל עס אַידז אין די פאַסטער און מער פולשטענדיק ינדעקסינג פון אַ פּלאַץ.

Sitemap: https://martech.zone/sitemap_index.xml

ראָבאָץ.טקסט נאָך קאַמאַנדז און זייער ניצט

• באנוצער אגענט: ספּעציפיצירן וואָס קראַוולער די הערשן אַפּלייז צו. 'באַניצער-אַגענט: *' אַפּלייז די הערשן צו אַלע קראַוולערז. בייַשפּיל:

User-agent: Googlebot

• ניט אינדעקס: כאָטש ניט אַ טייל פון דער נאָרמאַל ראָובאַץ.טקסט פּראָטאָקאָל, עטלעכע זוכן ענדזשאַנז פֿאַרשטיין אַ נאָינדעקס דירעקטיוו אין robots.txt ווי אַן ינסטרוקטיאָן נישט צו אינדעקס די ספּעסאַפייד URL.

Noindex: /non-public-page/

• קריכן-פאַרהאַלטן: דער באַפֿעל פרעגט קראַוולערז צו וואַרטן אַ ספּעציפיש צייט צווישן היץ צו דיין סערווער, נוציק פֿאַר זייטלעך מיט סערווער מאַסע ישוז.

Crawl-delay: 10

ווי צו פּרובירן דיין Robots.txt טעקע

כאָטש עס איז באַגראָבן אין Google זוך קאַנסאָול, זוכן קאַנסאָול אָפפערס אַ robots.txt טעקע טעסטער.

איר קענט אויך פאָרלייגן דיין ראָבאָץ.טקסט טעקע דורך געבן אַ קליק אויף די דריי דאַץ אויף די רעכט און סעלעקטירן בעטן אַ רעקראָול.

טעסט אָדער רעסובמיט דיין Robots.txt טעקע

קענען די Robots.txt טעקע זיין געוויינט צו קאָנטראָלירן אַי באָץ?

די robots.txt טעקע קענען ווערן גענוצט צו דעפינירן צי AI באָץ, אַרייַנגערעכנט וועב קראַוולערז און אנדערע אָטאַמייטיד באָץ, קענען קריכן אָדער נוצן די אינהאַלט אויף דיין פּלאַץ. דער טעקע פירער די באָץ, ינדאַקייטינג וואָס פּאַרץ פון די וועבזייטל זיי זענען ערלויבט אָדער נישט ערלויבט צו אַקסעס. די יפעקטיוונאַס פון robots.txt קאַנטראָולינג די נאַטור פון אַי באָץ דעפּענדס אויף עטלעכע סיבות:

1. אַדכיר צו דעם פּראָטאָקאָל: מערסט רעפּיאַטאַבאַל זוכן מאָטאָר קראַוולערז און פילע אנדערע אַי באָץ רעספּעקט די כּללים שטעלן אין
   robots.txt. אָבער, עס איז וויכטיק צו טאָן אַז די טעקע איז מער אַ בקשה ווי אַן ענפאָרסאַבאַל ריסטריקשאַן. באָץ קענען איגנאָרירן די ריקוועס, ספּעציעל די אַפּערייטאַד דורך ווייניקער סקרופּיאַלאַס ענטיטיז.
2. ספּעציפֿישקייט פון אינסטרוקציעס: איר קענען ספּעציפיצירן פאַרשידענע ינסטראַקשאַנז פֿאַר פאַרשידענע באָץ. פֿאַר בייַשפּיל, איר קען לאָזן ספּעציפיש אַי באָץ צו קריכן דיין פּלאַץ בשעת ניט לאָזן אנדערע. דאָס איז געטאן מיט די User-agent דירעקטיוו אין די robots.txt טעקע בייַשפּיל אויבן. למשל, User-agent: Googlebot וואָלט ספּעציפיצירן ינסטראַקשאַנז פֿאַר Google ס קריכער, כוועראַז User-agent: * וואָלט אַפּלייז צו אַלע באָץ.
3. לימיטאַטיאָנס: ווייַלע robots.txt קענען פאַרמייַדן באָץ פון קראָלינג ספּעסיפיעד אינהאַלט; עס טוט נישט באַהאַלטן די אינהאַלט פון זיי אויב זיי שוין וויסן די URL. אַדדיטיאָנאַללי, עס טוט נישט צושטעלן קיין מיטל צו באַגרענעצן די נוצן פון דעם אינהאַלט אַמאָל עס איז קראָלד. אויב אינהאַלט שוץ אָדער ספּעציפיש באַניץ ריסטריקשאַנז זענען פארלאנגט, אנדערע מעטהאָדס ווי פּאַראָל שוץ אָדער מער סאַפיסטאַקייטיד אַקסעס קאָנטראָל מעקאַניזאַמז קען זיין נייטיק.
4. טייפּס פון באָץ: ניט אַלע אַי באָץ זענען שייַכות צו זוכן ענדזשאַנז. פאַרשידן באָץ זענען געניצט פֿאַר פאַרשידענע צוועקן (למשל, דאַטן אַגגרעגאַטיאָן, אַנאַליטיקס, אינהאַלט סקרייפּינג). די ראָובאַץ.טקסט טעקע קענען אויך זיין געוויינט צו פירן אַקסעס פֿאַר די פאַרשידענע טייפּס פון באָץ, ווי לאַנג ווי זיי אַדכיר צו די REP.

די robots.txt טעקע קענען זיין אַן עפעקטיוו געצייַג פֿאַר סיגנאַלינג דיין פּרעפֿערענצן וועגן די קראָלינג און יוטאַלאַזיישאַן פון פּלאַץ אינהאַלט דורך אַי באָץ. אָבער, זיין קייפּאַבילאַטיז זענען לימיטעד צו צושטעלן גיידליינז אלא ווי ענפאָרסינג שטרענג אַקסעס קאָנטראָל, און די יפעקטיוונאַס דעפּענדס אויף די העסקעם פון די באָץ מיט די ראָובאַץ יקסקלוזשאַן פּראָטאָקאָל.

די robots.txt טעקע איז אַ קליין אָבער שטאַרק געצייַג אין די סעאָ אַרסענאַל. עס קענען באטייטיק השפּעה אַ וועבזייטל ס וויזאַביליטי און זוכן מאָטאָר פאָרשטעלונג ווען געוויינט ריכטיק. דורך קאַנטראָולינג וואָס פּאַרץ פון אַ פּלאַץ זענען קראָלד און ינדעקסט, וועבמאַסטערס קענען ענשור אַז זייער מערסט ווערטפול אינהאַלט איז כיילייטיד, ימפּרוווינג זייער סעאָ השתדלות און וועבזייטל פאָרשטעלונג.