Robots.txt- ը տեքստային ֆայլ է, որը պարունակում է որոնման ռոբոտների համար կայքի ինդեքսավորման պարամետրեր:

Առաջարկություններ ֆայլի բովանդակության վերաբերյալ

Yandex- ը աջակցում է հետեւյալ հրահանգներին.

Հրահանգ	Ինչ է դա անում:
Օգտագործողի գործակալ *
Թույլտվություն.
Կայքի քարտեզ
Մաքուր-պարամ
Թույլ տալ
Սողոսկել	Մենք խորհուրդ ենք տալիս օգտագործել սողուն արագության կարգավորումը

Հրահանգ	Ինչ է դա անում:
Օգտագործողի գործակալ *	Ույց է տալիս ռոբոտին, որում կիրառվում են Robots.txt- ում նշված կանոնները:
Թույլտվություն.	Արգելում է ինդեքսավորման կայքի բաժինները կամ անհատական \u200b\u200bէջերը:
Կայքի քարտեզ	Նշում է Կայքի քարտեզի ուղին, որը տեղադրված է կայքում:
Մաքուր-պարամ	Ic ուցակում է ռոբոտին, որ այն UTM պիտակները, որոնք կխփվեն, այն ինդեքսավորելու ժամանակ անտեսվում են:
Թույլ տալ	Թույլ է տալիս ինդեքսավորել կայքի բաժինները կամ անհատական \u200b\u200bէջերը:
Սողոսկել	Նշում է որոնման ռոբոտի նվազագույն ընդմիջումը (վայրկյանների ընթացքում) `մեկ էջը բեռնելու համար, նախքան մեկ այլ բեռը բեռնելը: Մենք խորհուրդ ենք տալիս օգտագործել Crawl Speed- ը Yandex.webmaster- ում `հրահանգի փոխարեն:

* Պարտադիր հրահանգ:

Ձեզ ամենից հաճախ պետք է թույլտվություն, Կայքի քարտեզ եւ մաքուր պարամետր հրահանգներ: Օրինակ:

Օգտագործողի գործակալ. * Հրահանգները սահմանված են թույլտվության համար. / BIN / # անջատում է հղումները զամբյուղից: Թույլտեռնել. / Որոնել / # անջատում է կայքում տեղադրված որոնման հղումները. / Admin / # անջատում է հղումները ադմինիստրատորի վահանակի քարտեզի վրա: Մաքուր-պարամ. Ref /some_dir/get_book.pl

Այլ որոնիչներից եւ ծառայությունների ռոբոտները կարող են թարգմանել ձեւը: Ծառայություններ, տարբեր եղանակով:

Նշում. Ռոբոտը հաշվի է առնում Substrings (ֆայլի անվանումը կամ ուղի, ռոբոտի անվանումը) եւ գործը անտեսում է հրահանգների անուններով:

Օգտագործելով կիրիլական նիշ:

Cyrillic այբուբենի օգտագործումը չի թույլատրվում ռոբոտներ. Txt ֆայլում եւ սերվերի HTTP վերնագրերում:

Դոմենային անունների համար օգտագործեք punycode: Էջի հասցեները, օգտագործեք նույն կոդավորումը, քանի որ ներկայիս կայքի կառուցվածքը:

Բարի երեկո սիրելի ընկերներ: Դուք գիտեք, որ որոնիչի օպտիմիզացումը պատասխանատու եւ նուրբ բիզնեսն է: Անհրաժեշտ է հաշվի առնել բացարձակապես յուրաքանչյուր մանրուք, ընդունելի արդյունք ստանալու համար:

Այսօր մենք կխոսենք Robots.txt ֆայլի մասին, որոնք ծանոթ են յուրաքանչյուր վեբ վարպետին: Դրա մեջ են, որ նախատեսված են որոնման ռոբոտների բոլոր հիմնական ցուցումները: Որպես կանոն, նրանք ուրախ են հետեւել սահմանված ցուցումներին եւ ոչ պատշաճ կազմման դեպքում հրաժարվում են ցուցադրել վեբ ռեսուրսը: Հաջորդը, ես ձեզ կասեմ այն \u200b\u200bմասին, թե ինչպես կատարել Robots.txt- ի ճիշտ տարբերակը, ինչպես նաեւ ինչպես կարգավորել այն:

Նախաբանում ես արդեն նկարագրել եմ, թե որն է դա: Հիմա ես կասեմ, թե ինչու է նա անհրաժեշտ: Robots.txt- ը փոքր տեքստային ֆայլ է, որը պահվում է կայքի հիմքում: Այն օգտագործվում է որոնիչների կողմից: Այն հստակորեն ուղղված է ինդեքսավորման կանոններից, այսինքն, կայքի որ հատվածները պետք է ինդեքսավորվեն (ավելացրեք որոնմանը), եւ որը ոչ:

Սովորաբար, կայքի արդյունաբերական բաժինները փակված են ինդեքսավորումից: Ժամանակ առ ժամանակ սեւ ցուցակը ընկնում է չբացահայտված էջերից (այս օրինակի պատճենահանման գաղտնիության քաղաքականություն): Այստեղ «Ռոբոտները բացատրվում են» այն հատվածների հետ աշխատելու սկզբունքները, որոնք պետք է ինդեքսավորվեն: Շատ հաճախ կանոններ սահմանում են մի քանի ռոբոտների առանձին: Մենք դրա մասին կխոսենք հետագա:

Robots.txt- ը տեղադրելու ժամանակ ձեր կայքը երաշխավորված կլինի որոնիչի դիրքերում: Ռոբոտները հաշվի կառնեն միայն օգտակար բովանդակություն, դրսեւորելով կրկնօրինակ կամ տեխնիկական բաժիններ:

Robots.txt- ի ստեղծում

Ֆայլ ստեղծելու համար բավական է օգտագործել ձեր գործառնական համակարգի ստանդարտ գործառույթը, որից հետո այն բեռնաթափում եք FTP- ի միջոցով սերվերին: Որտեղ նա ստում է (սերվերի վրա) հեշտությամբ կռահելու համար `արմատում: Սովորաբար, այս թղթապանակը կոչվում է Public_html:

Դուք կարող եք հեշտությամբ մտնել ցանկացած FTP հաճախորդի (օրինակ,) կամ ներկառուցված ֆայլերի կառավարիչ: Բնականաբար, մենք չենք վերբեռնելու համար դատարկ ռոբոտ սերվերի համար: Մենք իրականացնում ենք մի քանի հիմնական հրահանգներ (կանոններ):

Օգտագործողի գործակալ. *
Թույլ տալ. /

Օգտագործելով այս շարքերը ձեր ռոբոտների ֆայլում, դուք կապվում եք բոլոր ռոբոտների հետ (օգտագործողի գործակալների հրահանգ), ինչը թույլ է տալիս նրանց լիարժեք եւ ամբողջությամբ ինդեքսավորել ձեր կայքը (ներառյալ բոլորը)

Իհարկե, այս տարբերակը հատկապես հարմար չէ մեզ համար: Ֆայլը հատկապես օգտակար չի լինի որոնիչի օպտիմալացնելու համար: Դա հաստատ պետք է իրավասու կազմաձեւի: Բայց մինչ այդ մենք համարում ենք բոլոր հիմնական հրահանգներն ու ռոբոտները: TXT արժեքները:

Հրահանգ

Օգտագործողի գործակալ	Դրանից ամենակարեւորներից մեկը նշում է, թե որ ռոբոտներն են հետեւել դրանից հետո կանոններին: Կանոնները հաշվի են առնվում մինչեւ ֆայլում հաջորդ օգտագործողի գործակալը:
Թույլ տալ	Թույլ է տալիս ռեսուրսների ցանկացած բլոկի ինդեքսավորում: Օրինակ, "/" կամ "/ Tag /":
Թույլտվություն.	Ընդհակառակը, արգելում է բաժինների ինդեքսավորումը:
Կայքի քարտեզ	Ուղու դեպի կայքի քարտեզ (XML ձեւաչափով):
Հյուրընկալող:	Հիմնական հայելին (www կամ առանց, կամ եթե ունեք մի քանի տիրույթներ): Այստեղ այն նաեւ ցույց է տալիս HTTPS անվտանգ արձանագրություն (առկայության դեպքում): Եթե \u200b\u200bունեք ստանդարտ http, ապա դա չպետք է նշեք:
Սողոսկել	Դրանով դուք կարող եք սահմանել ձեր կայքի ֆայլերը ռոբոտների համար այցելելու եւ ներբեռնելու ընդմիջում: Օգնում է նվազեցնել հյուրընկալողի բեռը:
Մաքուր-պարամ	Թույլ է տալիս անջատել պարամետրերի ինդեքսավորումը որոշակի էջերում (ըստ տիպի www.site.com/cat/State?admin_id8883278): Ի տարբերություն նախորդ հրահանգների, այստեղ նշված են 2 արժեք (հասցեն եւ պարամետրը):

Սրանք բոլոր կանոններն են, որոնց աջակցում են դրոշակակիրների որոնիչները: Դա նրանց օգնությամբ մենք կստեղծենք մեր ռոբոտները, տարբեր տատանումներ գործելու տարբեր տեսակի կայքերի համար:

Սահմանում

Ռոբոտի ֆայլի իրավասու կազմաձեւման համար մենք պետք է հստակ իմանանք, թե կայքի որ հատվածներից որն է պետք ցուցադրել, եւ որոնք չեն: HTML + CSS- ի մի պարզ մեկ էջի դեպքում մենք բավականաչափ գրանցում ենք մի քանի խոշոր հրահանգներ, ինչպիսիք են.

Օգտագործողի գործակալ. *
Թույլ տալ. /
Կայքի քարտեզ: site.ru/sitemap.xml
Հաղորդավար, www.site.ru.

Այստեղ մենք նշել ենք բոլոր որոնիչների կանոններն ու արժեքները: Բայց ավելի լավ է ավելացնել առանձին հրահանգներ Google- ի եւ Yandex- ի համար: Դա նման կլինի.

Օգտագործողի գործակալ. *
Թույլ տալ. /

Օգտագործողի գործակալ. Yandex
Թույլ տալ. /
Թույլատրել. / Politika

Օգտագործողի գործակալ. GoogleBot
Թույլ տալ. /
Արգելել. / Tags /

Կայքի քարտեզ: site.ru/sitemap.xml.
Հաղորդավար, site.ru.

Այժմ մեր HTML կայքում կդիտվեն բացարձակապես բոլոր ֆայլերը: Եթե \u200b\u200bմենք ուզում ենք բացառել որոշ էջ կամ նկար, ապա մենք պետք է նշենք այս հատվածի համեմատական \u200b\u200bկապը:

Կարող եք օգտագործել ռոբոտների ավտոմատ ֆայլերի արտադրության ծառայություններ: Մենք չենք երաշխավորում, որ նրանց օգնությամբ դուք կստեղծեք հիանալի ճիշտ տարբերակ, բայց կարող եք փորձել որպես ծանոթություն:

Նման ծառայությունների շարքում կարելի է հատկացնել.

Նրանց օգնությամբ դուք կարող եք ստեղծել Robots.txt ավտոմատ ռեժիմով: Անձամբ ես իսկապես չեմ առաջարկում այս տարբերակը, քանի որ դա շատ ավելի հեշտ է անել ձեռքով, ուսուցանելով իմ պլատֆորմի տակ:

Խոսելով պլատֆորմների մասին, նկատի ունեմ բոլոր տեսակի CMS, շրջանակներ, SaaS համակարգեր եւ շատ ավելին: Հաջորդը, մենք կխոսենք այն մասին, թե ինչպես հարմարեցնել WordPress- ը եւ Joomla Robots ֆայլը:

Բայց մինչ այս, ընտրեք մի քանի համընդհանուր կանոններ, որոնք կարող են առաջնորդվել ռոբոտների ստեղծմանը եւ կարգաբերելով գրեթե ցանկացած կայքի համար.

Փակեք ինդեքսավորումը (թույլտվություն).

• Կայքի կառավարում;
• Անհատական \u200b\u200bհաշիվ եւ գրանցման / թույլտվության էջեր;
• Զամբյուղ, պատվերների ձեւերով տվյալներ (առցանց խանութի համար);
• cGI թղթապանակ (տեղակայված է հյուրընկալողի վրա);
• Ծառայությունների բաժիններ;
• Գրություններ AJAX եւ JSON;
• UTM եւ OPEPSTAT պիտակներ;
• Տարբեր պարամետրեր:

Բաց (թույլ տալ):

• Նկարներ;
• JS եւ CSS ֆայլեր;
• Այլ տարրեր, որոնք պետք է հաշվի առնել որոնիչների կողմից:

Բացի այդ, վերջում մի մոռացեք նշել Կայքի քարտեզի տվյալները (Ուղի դեպի կայքի քարտեզ) եւ հյուրընկալող (հիմնական հայելի):

Robots.txt for WordPress- ի համար

Ֆայլ ստեղծելու համար անհրաժեշտ է նետել ռոբոտներ: Txt կայքի արմատին: Դուք կարող եք փոխել դրա բովանդակությունը այս դեպքում `օգտագործելով բոլոր նույն FTP եւ ֆայլերի ղեկավարները:

Կա ավելի հարմար տարբերակ `ստեղծել մի ֆայլ plugins- ով: Մասնավորապես, այս հատկությունը Yoast SEO- ն է: Խմբագրել ռոբոտները Ուղղակի ադմինիստրատորից շատ ավելի հարմար են, ուստի ես ինքս օգտագործում եմ ռոբոտների հետ աշխատելու այս եղանակը:

Ինչպես եք որոշում կայացնել այս ֆայլը `ձեր բիզնեսը, մեզ համար ավելի կարեւոր է հասկանալ, թե որ հրահանգները պետք է լինեն այնտեղ: Այս ընտրանքը օգտագործելով WordPress- ով աշխատող կայքերում.

Օգտագործողի գործակալ. * # Կանոններ բոլոր ռոբոտների համար, բացառությամբ Google- ի եւ Yandex- ի

Արգելել. / CGI-BIN # թղթապանակ սցենարներով
Արգելել. / # Հիմնական էջից պահանջների պարամետրեր
Թույլ չտալ. / Wp- # CSM- ի ֆայլերը ինքնուրույն (WP- ի հետ)
Թույլտանել. *? S \u003d # \
Թույլտանել. * & S \u003d # Բոլորը կապված են որոնման հետ
Անկարգություն. / Որոնել / # /
Արգելել. / Հեղինակ / # Արխիվներ Հեղինակներ
Արգելել. / Օգտվողներ / # եւ օգտագործողներ
Թույլատրել. * / Հետադարձ կապ # Ծանուցումներ WP- ից, որ ինչ-որ մեկը վերաբերում է ձեզ
Թույլատրել. * / Կերակրել # FID XML- ում
Արգելել. * / RSS # եւ RSS
Թույլատրել. * / Տեղադրել # Ներկառուցված տարրեր
Արգելել. /Xmlrpc.php. # WordPress API:
Թույլտվություն. * UTM \u003d # UTM պիտակներ
Թույլտվություն. * Openstat \u003d # Openstat պիտակներ
Արգելել. / Tag / # Պիտակներ (առկայության դեպքում)
Թույլ տալ. * / Վերբեռնումներ # բաց ներլցումներ (նկարներ եւ այլն)

Օգտագործողի գործակալ. Googlebot # Google- ի համար
Արգելել. / CGI-BIN
Արգելել. /
Թույլ չտալ. / Wp-
Թույլտանել. *? S \u003d
Թույլտանել. * & S \u003d
Անկարգություն. / Որոնել /
Արգելել. / Հեղինակ /
Արգելել. / Օգտվողներ /
Թույլատրել. * / Հետադարձ կապ
Թույլատրել. * / Կերակրել
Արգելել. * / RSS
Թույլատրել. * / Տեղադրել
Արգելել. /Xmlrpc.php.
Թույլտվություն. * UTM \u003d
Թույլտվություն. * Openstat \u003d
Արգելել. / Tag /
Թույլ տալ. * / Վերբեռնումներ
Թույլ տվեք. / *\u003e .Js. # Բացեք JS ֆայլերը
Թույլ տվեք. / *, / Abss. # եւ CSS
Թույլ տալ. /WP-*.png: # եւ նկարներ PNG ձեւաչափով
Թույլ տալ. /WP-*.jpg: # \
Թույլ տալ. /WP-*.jpeg # եւ այլ ձեւաչափերով
Թույլ տվեք. /WP-*.gif. # /
# աշխատում է plugins- ի հետ միասին

Օգտագործողի գործակալ. Yandex # yandex- ի համար
Արգելել. / CGI-BIN
Արգելել. /
Թույլ չտալ. / Wp-
Թույլտանել. *? S \u003d
Թույլտանել. * & S \u003d
Անկարգություն. / Որոնել /
Արգելել. / Հեղինակ /
Արգելել. / Օգտվողներ /
Թույլատրել. * / Հետադարձ կապ
Թույլատրել. * / Կերակրել
Արգելել. * / RSS
Թույլատրել. * / Տեղադրել
Արգելել. /Xmlrpc.php.
Արգելել. / Tag /
Թույլ տալ. * / Վերբեռնումներ
Թույլ տվեք. / *\u003e .Js.
Թույլ տվեք. / *, / Abss:
Թույլ տալ. /WP-*.png:
Թույլ տալ. /WP-*.jpg:
Թույլ տալ. /WP-*.jpeg
Թույլ տվեք. /WP-*.gif.
Թույլ տալ. /WP-Admin/admin-ajax.php.
# Մաքուր UTM պիտակներ
Մաքուր-պարամ. Openstat # եւ Openstat- ի մասին մի մոռացեք

Կայքի քարտեզ: # Մենք սահմանում ենք ճանապարհը դեպի կայքի քարտեզը
Հաղորդավար, https://site.ru: # Հիմնական հայելին

Ուշադրություն Պատկերները ֆայլի պատճենելիս մի մոռացեք ջնջել բոլոր մեկնաբանությունները (տեքստից հետո):

Այս տարբերակը Robots.txt- ն ամենատարածվածն է WebMasters- ի մեջ, որոնք օգտագործում են WP: Դա կատարյալ է: Ոչ. Կարող եք փորձել ինչ-որ բան ավելացնել կամ, ընդհակառակը, հեռացնելը: Բայց նշեք, որ ռոբոտների տեքստերը օպտիմալացումից հետո սխալը հազվադեպ չէ: Մենք նրանց հետ կխոսենք հետագա մասին:

Robots.txt Joomla- ի համար

Եվ չնայած 2018-ին Jo ոմլան հազվադեպ է, ով օգտագործում է, ես հավատում եմ, որ այս հիանալի CMS- ն անհնար է որոշել: Joomla- ի նախագծերը խթանելիս անպայման պետք է ստեղծեք ռոբոտների ֆայլ, եւ հակառակ դեպքում ինչպես եք ուզում փակել ավելորդ տարրերը ինդեքսավորումից:

Ինչպես նախորդ դեպքում, կարող եք ձեռքով ստեղծել ֆայլ, պարզապես այն նետել հյուրընկալողի վրա կամ օգտագործել այս նպատակների մոդուլը: Երկու դեպքում էլ ստիպված կլինեք իրավասու կարգավորել այն: Սա նման կլինի Joomla- ի ճիշտ տարբերակին.

Օգտագործողի գործակալ. *
Թույլ տվեք. /*.Css?
Թույլ տվեք. /*.Js?
Թույլ տալ. /*.Jpg?c:
Թույլ տալ. /*.Png?c.ova
Արգելել. / Քեշ /
Արգելել. /*.Pdf:
Արգելել. / Ադմինիստրատոր /
Արգելել. / Տեղադրում /
Արգելել. / CLI /
Արգելել. / Գրադարաններ /
Արգելել. / Լեզուն /
Արգելել. / Բաղադրիչներ /
Արգելել. / Մոդուլներ /
Արգելել. / Ներառում է /
Արգելել. / Bin /
Արգելել. / Բաղադրիչ /
Արգելել. / TMP /
Արգելել. /Index.php.
Թույլ տալ. / Plugins /
Արգելել. / * Փոստո /

Արգելել. / Տեղեկամատյաններ /
Արգելել. / Բաղադրիչ / Tags *
Արգելել. / *%
Արգելել. / Դատարկումներ /

Օգտագործողի գործակալ. Yandex
Արգելել. / Քեշ /
Արգելել. /*.Pdf:
Արգելել. / Ադմինիստրատոր /
Արգելել. / Տեղադրում /
Արգելել. / CLI /
Արգելել. / Գրադարաններ /
Արգելել. / Լեզուն /
Արգելել. / Բաղադրիչներ /
Արգելել. / Մոդուլներ /
Արգելել. / Ներառում է /
Արգելել. / Bin /
Արգելել. / Բաղադրիչ /
Արգելել. / TMP /
Արգելել. /Index.php.
Թույլ տալ. / Plugins /
Արգելել. / * Փոստո /

Արգելել. / Տեղեկամատյաններ /
Արգելել. / Բաղադրիչ / Tags *
Արգելել. / *%
Արգելել. / Դատարկումներ /

Օգտագործողի գործակալ. GoogleBot
Արգելել. / Քեշ /
Արգելել. /*.Pdf:
Արգելել. / Ադմինիստրատոր /
Արգելել. / Տեղադրում /
Արգելել. / CLI /
Արգելել. / Գրադարաններ /
Արգելել. / Լեզուն /
Արգելել. / Բաղադրիչներ /
Արգելել. / Մոդուլներ /
Արգելել. / Ներառում է /
Արգելել. / Bin /
Արգելել. / Բաղադրիչ /
Արգելել. / TMP /
Արգելել. /Index.php.
Թույլ տալ. / Plugins /
Արգելել. / * Փոստո /

Արգելել. / Տեղեկամատյաններ /
Արգելել. / Բաղադրիչ / Tags *
Արգելել. / *%
Արգելել. / Դատարկումներ /

Հաղորդավար, site.ru. # Մի մոռացեք փոխել հասցեն ձեր
Կայքի քարտեզ: site.ru/sitemap.xml. # եւ այստեղ

Որպես կանոն, սա բավարար է, որպեսզի ավելորդ ֆայլերը չընկնեն ցուցանիշի մեջ:

Սխալներ

Շատ հաճախ մարդիկ թույլ են տալիս սխալներ ռոբոտների ֆայլ ստեղծելիս եւ կարգաբերելիս: Ահա դրանցից ամենատարածվածը.

• Կանոնները նշվում են միայն օգտագործողի գործակալության համար:
• Չկան հյուրընկալող եւ Կայքի քարտեզ:
• Հյուրընկալող հրահանգում HTTP արձանագրության առկայությունը (ձեզ հարկավոր է միայն HTTPS նշել):
• Նկարների բացման / փակելիս բույնի կանոնները չկատարելը:
• Չի փակված UTM եւ Openstat պիտակներ:
• Յուրաքանչյուր ռոբոտի համար սեղմելով հյուրընկալող եւ Կայքի քարտեզի հրահանգներ:
• Մակերեսային ֆայլի ուսումնասիրություն:

Շատ կարեւոր է այս փոքրիկ ֆայլը պատշաճ կազմաձեւելը: Կոպիտային սխալներով հաստատվելիս կարող եք կորցնել երթեւեկության զգալի մասը, այնպես որ չափազանց ուշադիր եղեք:

Ինչպես ստուգել ֆայլը:

Այս նպատակների համար ավելի լավ է օգտագործել հատուկ ծառայություններ Yandex- ից եւ Google- ից, քանի որ այս որոնիչները ամենատարածվածն են եւ պահանջարկը (առավել հաճախ եզակի), ինչպիսիք են Bing- ը, Yahoo- ն կամ Rambler- ը:

Սկսելու համար, դիտարկեք տարբերակը Yandex- ի հետ: Մենք գնում ենք վեբ վարպետ: Դրանից հետո Robots.txt վերլուծության գործիքները:

Այստեղ կարող եք ստուգել ֆայլը սխալների համար, ինչպես նաեւ ստուգել իրական ժամանակում, որ էջերը բաց են ինդեքսավորման համար, եւ որոնք չեն: Շատ հարմար է:

Google- ը ունի ճիշտ նույն ծառայությունը: Մենք գնում ենք Բ. Որոնման վահանակ: , Մենք գտնում ենք սկան ներդիրը, ընտրեք - The Robots.Txt ֆայլի ստուգման գործիք:

Ահա հենց նույն գործառույթները, որքան ներքին ծառայության մեջ:

Խնդրում ենք նկատի ունենալ, որ դա ինձ ցույց է տալիս 2 սխալ: Դա պայմանավորված է նրանով, որ Google- ը չի ճանաչում այն \u200b\u200bպարամետրերի մաքրման հրահանգները, որոնք ես նշել եմ Yandex- ի համար.

Մաքուր-պարամետր. UTM_SORCE & UTM_Medium & Utm_Campaign
Մաքուր-պարամ. Openstat

Չարժե դրան ուշադրություն դարձնել դրան, քանի որ Google- ի ռոբոտները Googlebot- ի համար օգտագործում են միայն կանոններ:

Եզրակացություն

Robots.txt ֆայլը շատ կարեւոր է ձեր կայքի SEO օպտիմիզացման համար: Եկեք իր կազմաձեւումը բոլոր պատասխանատվությամբ, քանի որ սխալ իրականացումով ամեն ինչ կարող է գնալ որպես ցնցում:

Հաշվի առեք բոլոր հրահանգները, որոնք ես կիսեցի այս հոդվածում եւ մի մոռացեք, որ դուք պարտադիր չեք, որ ճշգրտորեն պատճենեք իմ ռոբոտների ընտրանքները: Հնարավոր է, որ դուք ստիպված կլինեք լրացուցիչ հասկանալ հրահանգներից յուրաքանչյուրը, ֆայլը կարգավորելով ձեր կոնկրետ գործի տակ:

Եվ եթե ցանկանում եք ավելի խորը թվարկել այն Robots.txt- ում եւ WordPress- ում կայքեր ստեղծել, ապա ես ձեզ հրավիրում եմ: Դրա վրա դուք կսովորեք, թե ինչպես Դուք կարող եք հեշտությամբ ստեղծել կայք, առանց մոռանալու այն որոնիչների համար օպտիմալացնելու համար:

Robots.txt - Սա տեքստային ֆայլ է, որը գտնվում է կայքի արմատում - http://site.ru/robots.txt., Դրա հիմնական նպատակը որոնիչներին հարցնել որոշակի հրահանգներ. Ինչ եւ երբ անել կայքում:

Ամենահեշտ ռոբոտները .txt

Ամենահեշտ Robots.txt- ը, որոնք բոլոր որոնիչները թույլ են տալիս ամեն ինչ ինդեքսավորել, այսպիսին է.

Օգտագործողի գործակալ. *
Թույլ տալ.

Եթե \u200b\u200bթույլ չտալ հրահանգը վերջում չունի հակված կտրատված, ապա թույլատրվում են ինդեքսավորման բոլոր էջերը:

Նման հրահանգը ամբողջովին արգելում է կայքը ինդեքսավորել.

Օգտագործողի գործակալ. *
Թույլատրել. /

Օգտագործողի գործակալ - նշում է, թե ում համար են նախատեսված հրահանգները, աստղերը նշում են, որ բոլոր ՀԾ-ների համար օգտագործողի գործակալը նշվում է Yandex- ի համար:

Yandex- ի օգնությունը գրված է, որ դրա որոնման ռոբոտները բռնում են օգտագործողի գործակալը. *, Բայց եթե ներկայիս օգտագործող գործակտ. Yandex, օգտագործողի գործակալ: * անտեսված:

Թույլ չտալ եւ թույլ տալ հրահանգներին

Կան երկու հիմնական հրահանգներ.

Թույլտվություն - արգելել

Թույլ տալ - թույլ տալ

Օրինակ: Բլոգում մեզ արգելվում է ցուցադրել թղթապանակը / WP-բովանդակությունը / Որտեղ տեղադրված են plug-ins, կաղապարի i.t.p. Բայց կան նաեւ պատկերներ, որոնք PS- ն ինդեքսավորվում է նկարների որոնմանը մասնակցելու համար: Դա անելու համար օգտագործեք նման սխեման.

Օգտագործողի գործակալ. *
Թույլ տալ. / WP-բովանդակություն / վերբեռնումներ / # Թույլ տվեք նկարների ինդեքսավորումը վերբեռնումների թղթապանակում
Արգելել. / WP- բովանդակություն /

Հրահանգներ օգտագործելու կարգը կարեւոր է Yandex- ի համար, եթե դրանք դիմում են մեկ էջի կամ պանակների: Եթե \u200b\u200bդուք նշում եք այսպես.

Օգտագործողի գործակալ. *
Արգելել. / WP- բովանդակություն /
Թույլ տալ. / WP-բովանդակություն / վերբեռնումներ /

Նկարները չեն բեռնաթափելու Yandex Robot- ը / վերբեռնումներից /, քանի որ իրականացվում է առաջին հրահանգը, որն արգելում է բոլոր մուտքը WP-բովանդակության պանակ:

Google- ը պատկանում է ավելի հեշտ եւ կատարում է Robots.TXT ֆայլի բոլոր հրահանգները, անկախ դրանց գտնվելու վայրից:

Նաեւ մի մոռացեք, որ սայթաքուն եւ առանց դրա հրահանգները իրականացնում են տարբեր դերեր.

Հանգստացեք. / Արգելված մուտքը ամբողջ կայքէջին

Արգելել. / Մոտ / Անջատեք էջերի ռոբոտների ինդեքսավորումը կայքում .Ru/about/ գրացուցակում եւ էջը ըստ Type.ru/about.html i.t.p. հասանելի կլինի ինդեքսավորմանը:

Պարբերաբար արտահայտություններ ռոբոտների մեջ: txt

Երկու նիշ է ապահովվում, սա է.

* - ենթադրում է նիշերի ցանկացած կարգ:

Օրինակ:

Արգելել. / Մոտ * Անջատեք մուտք դեպի բոլոր էջերը, որոնք պարունակում են սկզբունքորեն, այս հրահանգը նույնպես կաշխատի առանց աստղերի: Բայց որոշ դեպքերում այս արտահայտությունը փոխարինելի չէ: Օրինակ, մեկ կատեգորիայի մեջ կան C.HTML- ի էջեր, վերջում եւ առանց փակելու բոլոր էջերը, որոնք պարունակում են HTML, մենք սահմանում ենք այս հրահանգը.

Արգելել. / Մոտալես/*.html:

Այժմ կայքը .ru/about/live.html էջերը փակ են ինդեքսավորումից, իսկ կայքը: Ru/about/live էջը բաց է:

Անալոգիայի մեկ այլ օրինակ.

Օգտագործողի գործակալ. Yandex
Թույլ տալ. / Մոտալես /,html: # Թող ինձ ցուցեմ
Արգելել. / Մոտ /

Բոլոր էջերը կփակվեն, բացառությամբ էջերից, որոնք ավարտվում են .html- ով

$ - Կտրում է մնացած մասը եւ նշում է տողի վերջը:

Օրինակ:

Հանգստացեք. / - Այս ռոբոտների հրահանգը արգելում է ինդեքսավորել այն բոլոր էջերը, որոնք սկսվում են մոտ, ինչպես նաեւ / տեղեկատուի էջերում էլ արգելում է:

Վերջում դոլարի խորհրդանիշ ավելացնելը `թույլտվություն. / Մոտ $, մենք կտեղեկացնենք ռոբոտներին, որոնք դուք չեք կարող ցուցադրել միայն էջը / էջը, էջերը / տեղում, կարող է ինդեքսավորվել:

Կայքի քարտեզի հրահանգ

Այս հրահանգը ցույց է տալիս կայքի քարտեզի ուղին, այս տեսքով.

Կայքի քարտեզ. Http: //site.ru/sitemap.xml

Հրահանգի հաղորդավար:

Նշված այս տեսքով.

Հաղորդավար, site.ru.

Առանց http: //, հակված տեսարաններ եւ նման բաներ: Եթե \u200b\u200bունեք կայքի հիմնական հայելին www, ապա գրեք.

Օրինակ Robots.txt for Bitrix

Օգտագործողի գործակալ. *
Թույլտանել. /*Index.php$
Արգելել. / Bitrix /
Արգելել. / Auth /
Արգելել. / Անձնական /
Արգելել. / Վերբեռնեք /
Անկարգություն. / Որոնել /
Արգելել. / * / Որոնել /
Արգելել. / * / Slide_show /
Ամրագրել. / * / Պատկերասրահ / * Պատվեր \u003d *
Թույլտանել. / *? *
Արգելել. / * & Տպել \u003d
Թույլ չտալ. / * Գրանցվել \u003d
Թույլտանել. / * Mode_password \u003d
Թույլտանել. / * Change_password \u003d
Թույլատրել. / * Մուտք \u003d
Թույլատրել. / * Logout \u003d
Թույլատրել. / * Auth \u003d
Արգելել. / * Գործողություն \u003d *
Թույլտանել. / * Bitrix _ * \u003d
Թույլտանել. / * Backurl \u003d *
Թույլտանել. / * Backurl \u003d *
Արգելել. / * Back_url \u003d *
Արգելել. / * Back_url \u003d *
Թույլտանել. / * Back_url_Admin \u003d *
Արգելել. / * Print_course \u003d y
Թույլտանել. / * Դասընթաց_ \u003d
Թույլտանել. / * Pagen_ *
Արգելել. / * Էջ_ *
Թույլտանել. / * Ցեղ
Թույլտանել. / * Show_all \u003d
Հաղորդավար, sitename.ru:
Կայքի քարտեզ. Https://www.sitename.ru/sitemap.xml:

Օրինակ Robots.txt WordPress- ի համար

Բոլոր անհրաժեշտ հրահանգները ավելացվում են, որոնք նկարագրված են վերեւում: Այս ֆայլի նման մի բան պետք է ստանաք.

Այսպես է ասելը Robots.txt- ի հիմնական տարբերակը WordPress- ի համար: Ահա երկու օգտագործողի գործակալ-A - \u200b\u200bմեկը բոլորի համար, իսկ երկրորդը `Yandex- ի համար, որտեղ նշված է հյուրընկալող հրահանգը:

Meta Tags ռոբոտներ

Հնարավոր է փակել ինդեքսավորման էջից կամ կայքից ոչ միայն Robots.TXT ֆայլի միջոցով, դա կարելի է անել մետա պիտակով:

<meta Name \u003d "Robots" բովանդակություն \u003d "Noindex, Nofollow"\u003e

Անհրաժեշտ է այն սահմանել պիտակի մեջ, եւ այս մետա պիտակը արգելելու է ինդեքսը կայքը: WordPress- ում կան plugins, որոնք թույլ են տալիս սահմանել նման մետա պիտակներ, ինչպիսիք են պլատինե SEO փաթեթը: Դրանով դուք կարող եք փակել ինդեքսավորումից ցանկացած էջ, այն օգտագործում է Meta Tags:

Crawl-հետաձգման հրահանգ

Օգտագործելով այս հրահանգը, դուք կարող եք սահմանել այն ժամանակը, որով պետք է դադարեցվի որոնման բոտը, կայքի էջերը ներբեռնելու միջեւ:

Օգտագործողի գործակալ. *
Crawl-հետաձգում. 5

Երկու էջ բեռնելու միջեւ եղած ժամկետը հավասար կլինի 5 վայրկյան: Սերվերի վրա բեռը նվազեցնելու համար սովորաբար ցուցադրում են 15-20 վայրկյան: Այս հրահանգը անհրաժեշտ է մեծ, հաճախ թարմացված կայքերի համար, որոնց վրա որոնման բոտերը պարզապես «կենդանի» են:

Սովորական կայքերի / բլոգերի համար այս հրահանգը անհրաժեշտ չէ, բայց այդպիսով այն կարող է սահմանափակել այլ ոչ իրական որոնման ռոբոտների (Rambler, Yahoo, Bing) I.t.P. Ի վերջո, նրանք նաեւ մուտք են գործում կայք եւ ինդեքսավորում են այն, դրանով իսկ բեռը ստեղծելով սերվերի վրա:

Root File- ի ճիշտ, իրավասու կազմաձեւումը Robots.txt- ը Վեբ հրաշագործի ամենակարեւոր խնդիրներից մեկն է: Արտահանձնման որոնման մեջ աններելի սխալների դեպքում կարող են հայտնվել կայքի շատ անհարկի էջեր: Կամ հակառակը, ձեր կայքի կարեւոր փաստաթղթերը կփակվեն ինդեքսավորելու համար, ամենավատ դեպքում, կարող եք փակել որոնման ռոբոտների բոլոր արմատային գրացուցակը:

Robots.txt ֆայլի պատշաճ կազմաձեւումը ձեր սեփական ձեռքերով, իրականում առաջադրանքը շատ բարդ չէ: Այս հոդվածը կարդալուց հետո դուք կսովորեք հրահանգների իմաստություն եւ ինքնուրույն գրել կանոններ Robots.txt ֆայլի համար ձեր կայքում:

Robots.txt ֆայլը ստեղծելու համար օգտագործվում է որոշակի, բայց ոչ բարդ շարահյուսություն: Օգտագործված չեն շատ հրահանգներ: Դիտարկենք Robots.txt ֆայլի կանոնները, կառուցվածքը եւ շարահյուսությունը քայլ առ քայլ եւ մանրամասն:

Ընդհանուր կանոններ Robots.txt

Նախ, ռոբոտներ. TXT ֆայլը ինքնին պետք է ունենա Ansi կոդավորումը:

Երկրորդ, անհնար է օգտագործել ցանկացած ազգային այբուբենի կանոնների գրելու համար, հնարավոր է միայն լատիներեն:

Կառուցվածքային ֆայլը Robots.txt- ը կարող է բաղկացած լինել մեկ կամ մի քանի հրահանգներից բլոկներից, առանձին տարբեր որոնիչների ռոբոտների համար: Յուրաքանչյուր բլոկ կամ բաժին ունի մի շարք կանոններ (հրահանգներ) `կայքը որոնիչով ինդեքսացնելու համար:

Հրահանգներում կանոնների բլոկները եւ դրանց միջեւ թույլ չեն տալիս որեւէ ավելորդ վերնագիր եւ խորհրդանիշ:

Կանոնների հրահանգներն ու բլոկները առանձնացված են տողի փոխանցմամբ: Միակ ենթադրությունը մեկնաբանություններն են:

Մեկնաբանելով Robots.txt- ում

Մեկնաբանելու համար օգտագործեք «#» խորհրդանիշը: Եթե \u200b\u200bլարերի սկզբում դնում եք «ցանցը» խորհրդանիշը, ապա մինչեւ գծի ավարտը, բոլոր բովանդակությունը անտեսվում է որոնման ռոբոտների կողմից:

Օգտագործողի գործակալ. *
Թույլ տալ. / CSS # գրել մեկնաբանություն
# Մենք գրում ենք մեկ այլ մեկնաբանություն
Արգելել. / Img

Բաժիններ Robots.txt ֆայլում

Ֆայլը ռոբոտով կարդալիս օգտագործվում է միայն այս որոնիչի ռոբոտին ուղղված հատվածը, այսինքն, եթե բաժնում օգտագործողի գործակալը Yandex որոնման համակարգի անունն է, ապա դրա ռոբոտը կկարդա միայն բաժինը Նրան հասցեագրվեց, մասնավորապես անտեսելով ուրիշներին, իսկ հատվածը, բոլոր ռոբոտների համար հրահանգով `օգտագործողի գործակալ. *.

Բաժիններից յուրաքանչյուրը ինքն է: Բաժինները կարող են փոքր-ինչ լինել յուրաքանչյուր կամ որոշ որոնիչների ռոբոտների եւ մեկ համընդհանուր, իրենց համակարգերից մեկի բոլոր ռոբոտների կամ ռոբոտների համար: Եթե \u200b\u200bբաժինը մեկն է, այն սկսվում է ֆայլի առաջին տողից եւ տանում բոլոր տողերը: Եթե \u200b\u200bբաժինները մի քանիսը են, ապա դրանք պետք է առանձնանան դատարկ լարով, գոնե մեկ:

Բաժինը միշտ սկսվում է օգտագործողի կողմից գործակալի հրահանգով եւ պարունակում է որոնիչի անվանումը, որի համար ռոբոտները նախատեսված են, եթե դա բոլոր ռոբոտների համար համընդհանուր հատված չէ: Գործնականում դա կարծես այսպիսին է.

Օգտագործողի գործակալ. Yandexbot
# OUSER գործակալ ռոբոտների Yandex համակարգի համար
Օգտագործողի գործակալ. *
# Ouser գործակալ բոլոր ռոբոտների համար

Թվարկեք բոտերի մի քանի անուններ արգելված են: Յուրաքանչյուր որոնիչի բոտերի համար ստեղծվում է իր սեփական բաժինը, իր կանոնների առանձնացված առանձնահատկությունը: Եթե \u200b\u200bձեր դեպքում բոլոր ռոբոտների կանոնները նույնն են, օգտագործեք մեկ համընդհանուր, ընդհանուր բաժին:

Հրահանգ, ինչ է դա:

Հրահանգը որոշակի տեղեկությունների համար որոնման ռոբոտ է պատվիրում կամ կանոն: Հրահանգը հայտնում է, թե ինչպես է որոնման բոտը, ինչպես ինդեքսավորել ձեր կայքը, որ դիրեկտորիաները չեն դիտում, թե որտեղ է կայքի քարտեզը XML ձեւաչափով:

Robots.txt ֆայլի բաժինը բաղկացած է առանձին հրամաններից,
Հրահանգներ: Ընդհանուր շարահյուսների հրահանգներ, ինչպիսիք են.

[_Name]: [Ընտրովի տարածություն] [արժեք] [Ընտրովի տարածք]

Հրահանգը գրված է մեկ տողով, առանց փոխանցման: Ընդունված ստանդարտների համաձայն, տողերը թույլ չեն տալիս մեկ բաժնում հրահանգների միջեւ, այսինքն, նույն բաժնի բոլոր հրահանգները գրված են յուրաքանչյուր տողի վրա, առանց լրացուցիչ տողերի:

Եկեք նկարագրենք օգտագործված հիմնական հրահանգների արժեքները:

Հրահանգի թույլտվություն

Robots.txt ֆայլում առավել օգտագործված հրահանգը «թույլտվություն է»: Արգելելով: Չթողարկումը արգելում է դրա մեջ նշված ուղու ցուցանիշը: Դա կարող է լինել առանձին էջ, էջեր, որոնք պարունակում են նշված «դիմակ» ձեր URL- ում (ուղիներ), կայքի մի մաս, առանձին գրացուցակ (թղթապանակ) կամ ամբողջ կայքը:

«*» - աստղերը նշանակում են `« ցանկացած թվով կերպարներ »: Այսինքն, ուղին / թղթապանակը * նույնը ձեր արժեքով «/ Թղթապանակներ», «/ Թղթապանակ 1», «/ Թղթապանակներ» կամ «/ Թղթապանակ»: Ռոբոտներ, կանոնները կարդալիս, ինքնաբերաբար ավելացնում են «*» նշանը: Ստորեւ ներկայացված օրինակով երկու հրահանգները բացարձակապես հավասարապես համարժեք են.

Թույլատրել. / Նորություններ
Թույլատրել. / Նորություններ *

«$» - Դոլարի նշանը արգելում է ռոբոտներին, երբ կարդում են հրահանգները ավտոմատ կերպով ավելացնել «*» խորհրդանիշը (Աստղ) հրահանգի վերջում: Այլ կերպ ասած, «$» խորհրդանիշը նշանակում է համեմատության տողի ավարտ: Այսինքն, մեր օրինակում մենք արգելում ենք «/ Թղթապանակ» պանակների ինդեքսավորումը, բայց չեն արգելում թղթապանակներում «/ Թղթապանակ 1» կամ «/ Թղթապանակներ»:

Օգտագործողի գործակալ. *
Արգելել. / Թղթապանակ $

«#» - (Sharpe) Մեկնաբանության նշան, Այս ամենը գրված է այս պատկերակից հետո, մեկում, իր տողով, անտեսվում է որոնիչների կողմից:

Թույլատրել հրահանգը

Թույլ տալ ֆայլի Robots.TXT ֆայլը հակառակը `լուծարման հրահանգի հակառակն է, թույլ տալը, որ թույլ է տալիս հրահանգը լուծվել: Ստորեւ բերված օրինակում ցուցադրվում է, որ մենք արգելում ենք ցուցիչին ամբողջ կայքը, բացառությամբ թղթապանակի / թղթապանակի.

Օգտագործողի գործակալ. *
Թույլ տալ. / Թղթապանակ
Թույլատրել. /

«Թույլ տալ», «թույլտվություն» եւ առաջնահերթություն միաժամանակյա օգտագործման օրինակ

Մի մոռացեք արգելքների եւ թույլտվությունների առաջնահերթությունը հասկանալու մասին, հրահանգները հստակեցնելիս: Նախկինում առաջնահերթությունը նշվում էր արգելքներ եւ թույլտվություններ հայտարարելու կարգով: Այժմ առաջնահերթությունը սահմանվում է `նշելով առավելագույն առկա ուղին` որոնիչի ռոբոտի (օգտագործողի գործակալ) մեկ բլոկի մեջ, որպեսզի բարձրացնի ուղու երկարությունը եւ հրահանգների ցուցումների տեղը, քան ավելի երկար ճանապարհը, այնքան ավելի առաջնային է :

Օգտագործողի գործակալ. *
Թույլ տալ. / Թղթապանակներ
Արգելել. / Թղթապանակ

Վերոնշյալ վերը նշված օրինակում URL- ի ինդեքսավորումը թույլատրվում է սկսել «/ Թղթապանակներ», բայց արգելվում է այն ուղիներով, որոնք ունեն իրենց URL- ների մեջ, «/ Թղթապանակ», «/ Թղթապանակ»: Նույն ուղու միջոցով եւ «Թույլատրել» եւ «թույլտվություն» հրահանգը, նախապատվությունը տրվում է «Թույլ տալ» հրահանգով:

«Թույլատրել» եւ «թույլտվություն» հրահանգներում պարամետրի դատարկ արժեքը

Կան վեբ վարպետների սխալներ, երբ ռոբոտների տեղում `չթողնելու համար
Մոռացեք նշել «/» խորհրդանիշը: Սա ոչ ճիշտ, սխալ մեկնաբանություն է հրահանգների արժեքների եւ դրանց շարահյուսության մեջ: Արդյունքում, արգելող հրահանգը դառնում է բանաձեւ. «Արգելափակում.« Բացարձակապես նույնական է «Թույլ տալ. /»: Ամբողջ կայքի ինդեքսավորման ճիշտ արգելքը այսպիսին է.

Նույնը կարելի է ասել «Թույլ տալ.»: «Թույլ տվեք.« Հրահանգը առանց խորհրդանիշի »/« արգելում է ամբողջ կայքի ինդեքսավորումը, ինչպես նաեւ «թույլտվությունը. /»:

Կայքի քարտեզի հրահանգ

SEO- ի օպտիմիզացման բոլոր կանոնների համար դուք պետք է օգտագործեք կայքի քարտեզը (Կայքի քարտեզը) XML ձեւաչափով եւ տրամադրեք այն որոնիչներին:

Չնայած որոնման համակարգերում «Վեբ-վարպետների համար պահարաններ» ֆունկցիոնալությանը, անհրաժեշտ է հրապարակել քարտեզի ներկայությունը .xml եւ Robots.txt- ում: Կայքի քարտեզԹեժ Որոնեք ռոբոտները, երբ շրջանցում եք ձեր կայքը, կտեսնեք նմուշը sitemap.xml ֆայլի վրա եւ համոզվեք, որ այն օգտագործեք հետեւյալ շրջանցիկ: Sitemap- ի հրահանգի օգտագործման օրինակ `Robots.txt ֆայլում.

Օգտագործողի գործակալ. *
Կայքի քարտեզ. Https://www.domainname.zone/sitemap.xml.

Հրահանգի հաղորդավար:

Մեկ այլ կարեւոր ռոբոտներ. TXT հրահանգը հրահանգ է Հյուրընկալող:.

Համարվում է, որ բոլոր որոնիչները չեն ճանաչում այն: Բայց Yandex- ը նշում է, որ նա կարդում է այս հրահանգը, եւ Ռուսաստանում Yandex- ը հիմնական «որոնման կերակրողը» է, ուստի մենք չենք անտեսի հյուրընկալողի հրահանգը:

Այս հրահանգը ասում է որոնիչներին, որոնք տիրույթը հիմնական հայելին է: Բոլորս գիտենք, որ կայքը կարող է ունենալ մի քանի հասցե: Կայքի URL- ն կարող է օգտագործվել կամ չօգտագործվել www նախածանցի կամ կայքի կողմից, կարող է ունենալ մի քանի դոմեյն անուններ, օրինակ, Domain.ru, Domain.com, Domen.ru, www.domen.ru: Դա հենց նման դեպքերում է, մենք որոնիչին տեղեկացնում ենք Robots.txt ֆայլում `օգտագործելով հյուրընկալող հրահանգը, այս անուններից որն է հիմնականը: Հրահանգի արժեքը հիմնական հայելիի անունն է: Մենք օրինակ ենք տալիս: Մենք ունենք մի քանի տիրույթի անուններ (Domain.ru, Domain.com, Domain.ru) :

Օգտագործողի գործակալ. *
Հաղորդավար, www.domen.ru:

Եթե \u200b\u200bցանկանում եք ձեր հիմնական հայելին առանց նախածանցի (www), ապա, ըստ այդմ, դուք պետք է նշեք կայքի անվանումը `առանց հրահանգի նախածանցի:

Հյուրընկալող հրահանգը լուծում է այն էջերի զույգերի խնդիրը, որոնց հետ հաճախ բախվում են վեբ կախարդները եւ SEO մասնագետները: Հետեւաբար, հյուրընկալող հրահանգը պետք է օգտագործվի պարտադիր, եթե դուք ուղղված եք ռուսախոս սեգմենտին եւ կարեւոր եք ձեր կայքի դասակարգումը Yandex որոնման համակարգում: Կրկնեք, այսօր այս հրահանգը կարդալիս ասում է միայն «Յանդեքս» -ը: Այլ որոնիչներում հիմնական հայելին նշելու համար դուք պետք է օգտագործեք պարամետրերը վեբ վարպետների պահարաններում: Մի մոռացեք, որ հիմնական հայելիի անունը պետք է ճիշտ նշվի (գրելու ճիշտությունը, համապատասխանությունը ռոբոտների կոդավորմանը եւ շարահյուսությանը): Ֆայլում այս հրահանգը թույլատրվում է միայն մեկ անգամ: Եթե \u200b\u200bսխալմամբ մի քանի անգամ նշեք այն, ապա ռոբոտները հաշվի կառնեն առաջին մուտքը:

Crawl-հետաձգման հրահանգ

Այս հրահանգը որոնման ռոբոտների տեխնիկական, հրամանատարությունն է, թե որքան հաճախ է հարկավոր այցելել ձեր կայք: Ավելի ճշգրիտ, սողացող հետաձգման հրահանգը ցույց է տալիս ձեր կայքի ռոբոտների այցերի նվազագույն ընդմիջումը (որոնիչների քերուկներ): Ինչու նշեք այս կանոնը: Եթե \u200b\u200bռոբոտները շատ հաճախ են գալիս ձեզ, եւ կայքի վերաբերյալ նոր տեղեկատվությունը շատ ավելի քիչ է հայտնվում, ապա ժամանակի ընթացքում որոնիչները կսովորեն ձեր կայքի վերաբերյալ տեղեկատվության հազվագյուտ փոփոխություն եւ ձեզ դուր կգան: Սա որոնման փաստարկ է, հօգուտ սողացող հետաձգման հրահանգը օգտագործելու: Այժմ տեխնիկական փաստարկը: Շատ հաճախակի այցը ձեր կայքի ռոբոտներ սերվերի վրա լրացուցիչ բեռ է ստեղծում, որը ձեզ ընդհանրապես պետք չէ: Հրահանգի արժեքը ավելի լավ է ցուցադրել ամբողջ թիվ, բայց այժմ որոշ ռոբոտներ սովորել են կարդալ եւ կոտորակային համարներ: Նշում է ժամանակը վայրկյանների ընթացքում, օրինակ.

Օգտագործողի գործակալ. Yandex
Crawl-Հետաձգում. 5.5

Մաքուր-պարամների հրահանգ

«Մաքուր-պարամ» -ի ընտրության կարգը ցույց է տալիս կայքի որոնման ռոբոտները Հասցե պարամետրեր, որոնք պետք չէ ինդեքսավորել եւ պետք է վերցվեն նույն URL- ն: Օրինակ, դուք ունեք նույն էջերը ցուցադրվում են տարբեր հասցեներում, որոնք բնութագրվում են մեկ կամ մի քանի պարամետրերով.

www.domain.zone/foterler/page/
www.domain.zone/index.php?folder\u003dFolder&page\u003dpage1/
www.domain.zone/ index.php? Թղթապանակ \u003d 1 եւ էջ \u003d 1

Որոնման ռոբոտները կտտացնեն բոլոր նման էջերը եւ կնկատեն, որ էջերը նույնն են, պարունակում են նույն բովանդակությունը: Նախ, դա խառնաշփոթ կստեղծի կայքի կառուցվածքում `ինդեքսավորման ներքո: Երկրորդ, սերվերի լրացուցիչ բեռը կավելանա: Երրորդ, սկանավորման արագությունը նկատելիորեն կընկնի: Այս խնդիրներից խուսափելու համար եւ օգտագործեք մաքուր-պարամետր հրահանգը: Սինտաքսը հետեւյալն է.

Մաքուր-պարամ. Param1 [& param2 & param3 & param4 & ... & param * n] [PATH]

«Մաքուր-պարամ» հրահանգը, ինչպես «Հյուրընկալողը» կարդում է ոչ բոլոր որոնիչները: Բայց Yandex- ը դա հասկանում է:

Սխալներ, որոնք հաճախ հանդիպում են ռոբոտների մեջ

Robots.txt ֆայլը կայքի հիմքում չէ:

Ռոբոտների ֆայլ: tXT- ը պետք է տեղադրվի կայքի հիմքում, Միայն արմատային գրացուցակում, Նույն անունով մնացած բոլոր ֆայլերը, բայց մյուս պանակներում (դիրեկտորիաներ) անտեսվում են որոնիչներով:

Սխալ ֆայլի անունով Robots.txt

Ֆայլի անունը գրված է փոքր տառերով (ստորին ռեգիստր) եւ պետք է կանչվի Ռոբոտներ:txt., Մնացած բոլոր տարբերակները համարվում են սխալ եւ սթրեսների որոնում կհաղորդվի ֆայլի բացակայությանը: Հաճախակի սխալները այսպիսին են.

Robots.txt
Robots.txt
robot.txt

Օգտագործեք անվավեր նիշ ռոբոտ .txt- ում

Robots.txt ֆայլը պետք է լինի ANSI կոդավորման մեջ եւ պարունակի միայն լատիներեն: Գրելու հրահանգներ եւ ցանկացած այլ ազգային խորհրդանիշների դրանց արժեքները անընդունելի են, բացառությամբ մեկնաբանությունների բովանդակության:

Robots.txt շարահյուսության սխալներ

Փորձեք խստորեն հետեւել շարահյուսական կանոններին Robots.txt ֆայլում: Սինտաքսի սխալները կարող են հանգեցնել որոնիչների ամբողջ ֆայլի բովանդակության բովանդակության անտեսմանը:

Օգտագործողի գործակալության հրահանգում մի շարք ռոբոտներ ցուցակագրելը

Սխալ, որը հաճախ թույլատրվում է նորաստեղծ վեբ վարպետների կողմից, ավելի շուտ սեփական ծուլության, ոչ թե կոտրել ռոբոտների. Txt ֆայլը բաժնում եւ միավորել պատվիրակները մի հատվածում, օրինակ,

Օգտագործողի գործակալ `Yandex, Googlebot, Bing

Յուրաքանչյուր որոնիչի համար անհրաժեշտ է ստեղծել ձեր սեփական առանձին հատվածը, հաշվի առնելով այն հրահանգները, որոնք կարդում են այս որոնիչը: Բացի այդ, այս դեպքում, բոլոր որոնիչների համար միասնական բաժինն է.

Օգտագործողի գործակալը դատարկ արժեքով

Օգտագործողի գործակալների հրահանգը չի կարող ունենալ դատարկ արժեք: Այլընտրանք կարող է լինել միայն «թույլ տալ» եւ «թույլ տալ», իսկ հետո հաշվի առնելով այն փաստը, որ փոխում են իրենց արժեքը: Հատկացնելով օգտվողի գործակալը դատարկ արժեքով `կոպիտ սխալ է:

Մի քանի արժեքներ `թույլ չտալով հրահանգում

Ավելի հաճախ չարագործություն, բայց, այնուամենայնիվ, պարբերաբար կարելի է տեսնել կայքերում, սա թույլ է տալիս թույլ տալ եւ թույլ չտալ հրահանգներ, օրինակ,

Արգելել. / Folder1 / Folder2 / Folder3

Արգելել. / Թղթապանակ 1
Արգելել. / Թղթապանակ 2
Արգելել. / Թղթապանակ 3

Robots.txt- ում հրահանգների առաջնահերթություններին չհամապատասխանելը

Այս սխալն արդեն նկարագրված է վերեւում, բայց նյութը համախմբելու համար կկրկնվի: Նախկինում առաջնահերթությունը որոշվեց ուղղորդված հրահանգների կարգով: Մինչ օրս կանոնները փոխվել են, առաջնահերթությունը սահմանվում է գծի երկարությամբ: Եթե \u200b\u200bկա երկու փոխադարձ բացառիկ հրահանգներ, թույլ տվեք եւ թույլ չտալ նույն բովանդակությամբ ֆայլում, ապա առաջնահերթությունը թույլ կտա:

Որոնիչների եւ ռոբոտներ .txt

Հրահանգները Robots.TXT ֆայլում առաջարկվող կերպար են որոնիչների համար: Սա նշանակում է, որ ընթերցանության կանոնները պարբերաբար փոխվում են կամ լրացվում: Հիշեք նաեւ, որ յուրաքանչյուր որոնիչն իր ձեւով մշակում է ֆայլերի հրահանգները: Եվ ոչ բոլոր հրահանգներն են կարդում որոնիչներից յուրաքանչյուրը: Օրինակ, հյուրընկալող հրահանգն այսօր կարդում է միայն Yandex- ը: Միեւնույն ժամանակ, Yandex- ը երաշխավորում է, որ դոմենի անունը նշվում է, քանի որ հյուրընկալող հրահանգի հիմնական հայելին նշանակվելու է հիմնական բանը, բայց դա պնդում է, որ հրահանգում նշված է նշված անվանման գերակայությունը:

Եթե \u200b\u200bունեք մի փոքր կանոններ, կարող եք ստեղծել մեկ բաժին բոլոր ռոբոտների համար: Հակառակ դեպքում, մի ծույլ չլինեք, ստեղծեք առանձին բաժիններ, որոնք ձեզ հետաքրքրում են յուրաքանչյուր որոնման համար: Մասնավորապես, սա վերաբերում է արգելքներին, եթե չցանկանաք որոշ էջեր որոնել որոնման մեջ:

Արագ նավարկություն այս էջում.

Ժամանակակից իրականությունն այն է, որ Runet- ում ոչ մի ինքնահարգալից կայք չի կարող անել առանց ռոբոտների կոչվող ֆայլի: Այնուհետեւ ինդեքսավորումից հետո կա (չնայած որ տեղում է) Նվազագույնը, WWW- ի համար հրահանգը գրանցելու համար, եւ առանց www համար Yandex- ը հաստատ արժե, եւ ռոբոտներ գրելու կանոնները, որոնք կքննարկվեն ստորեւ:

Ինչ է ռոբոտները:

Նման անունով ֆայլը իր սեփական պատմությունն է ընդունում 1994 թվականից, երբ W3C կոնսորցիումը որոշեց մուտքագրել այդպիսի ստանդարտ, որպեսզի կայքերը որոնիչները կարող են ցուցմունքներ տալ:

Նման անուն ունեցող ֆայլը պետք է պահպանվի կայքի արմատային գրացուցակում, տեղադրեք այն ցանկացած այլ թղթապանակում թույլատրված չէ:

Ֆայլը կատարում է հետեւյալ գործառույթները.

1. Արգելում է ցանկացած էջ կամ էջ `ինդեքսավորելու համար
2. Թույլ է տալիս էջերի ցանկացած էջ կամ խմբեր ինդեքսավորումը
3. Նշում է Yandex Robot- ը, ինչ կայքի հայելի է հիմնականը (www կամ www)
4. sh ույց է տալիս ֆայլի գտնվելու վայրը կայքի քարտեզի հետ

Բոլոր չորս կետերը չափազանց կարեւոր են տեղանքի օպտիմիզացման համար: Ինդեքսավորման արգելքը թույլ է տալիս փակել այն էջը, որը պարունակում է կրկնօրինակ բովանդակություն, օրինակ, պիտակների էջեր, արխիվներ, որոնման արդյունքները եւ այլն: Կրկնօրինակ բովանդակության առկայությունը (երբ նույն տեքստը, չնայած մի քանի առաջարկների քանակով, առկա է երկու կամ ավելի էջերում) որոնման շարժիչների դասակարգում կայքի համար մինուս է:

Թույլ տալ, որ հրահանգը չունի ինքնաբացատ, քանի որ լռելյայն բոլոր էջերում եւ այնքան մատչելի են ինդեքսավորման համար: Այն աշխատում է մի փաթեթով `թույլ չտալով. Երբ, օրինակ, որոշ վերնագիր ամբողջովին փակ է որոնիչներից, բայց կցանկանայիք էջը բացել դրա մեջ կամ առանձին էջում:

Կայքի հիմնական հայելիի վրա նշելը նաեւ օպտիմիզացման ամենակարեւոր տարրերից մեկն է. Որոնիչները դիտում են www.vashsite.ru եւ vashtsyt.ru կայքերը, քանի որ այլապես նշում եք: Արդյունքում, բովանդակությունը կասկածվում է. Կրկնակի տեսքը արտաքին հղումների ուժի մեջ նվազում է (արտաքին հղումները կարող են տեղադրվել ինչպես www եւ առանց www), եւ արդյունքում այն \u200b\u200bկարող է հանգեցնել ավելի ցածր վարկանիշի որոնման արդյունքներում ,

Google- ի համար հիմնական հայելին նշանակվում է WebMaster գործիքներում (http://www.google.com/wewbmasters/), բայց Yandex- ի համար, այս հրահանգները կարող են սահմանվել միայն այդ ռոբոտներում: TCT.

Նշելով XML ֆայլը կայքի քարտով (օրինակ `sitemap.xml) Թույլ է տալիս որոնիչներին հայտնաբերել այս ֆայլը:

Օգտագործողի գործակալի ցուցումներ

Օգտագործողի գործակալը այս դեպքում, սա որոնիչ է: Հրահանգներ գրելիս պետք է նշեք, թե արդյոք նրանք գործելու են բոլոր որոնիչներին (այնուհետեւ աստղային նշանը կցվում է - *) կամ դրանք նախատեսված են որոշ առանձին որոնման համար, օրինակ, Yandex կամ Google:

Օգտագործողի գործակալը բոլոր ռոբոտների ցուցումով սահմանելու համար գրեք ձեր ֆայլում հետեւյալ տողից հետո.

Օգտագործողի գործակալ. *

Yandex- ի համար.

Օգտագործողի գործակալ. Yandex

Google- ի համար.

Օգտագործողի գործակալ. Googlebot

Կանոններ թույլ չտալու եւ թույլ տալ

Նախ, հարկ է նշել, որ Robots.txt ֆայլը դրա վավերականության համար անպայման պետք է պարունակի առնվազն մեկ թույլտվություն: Այժմ հաշվի առնելով այս հրահանգների կիրառումը հատուկ օրինակների վերաբերյալ:

Այս ծածկագրի միջոցով դուք թույլ եք տալիս կայքի բոլոր էջերի ինդեքսավորումը.

Օգտագործողի գործակալ. * Թույլատրում.

Եվ նման ծածկագրի միջոցով, ընդհակառակը, բոլոր էջերը կփակվեն.

Օգտագործողի գործակալ. * Դատարկ. /

Արգելել հատուկ գրացուցակի ինդեքսավորումը, որը կոչվում է Թղթապանակ, նշեք.

Օգտագործողի գործակալ. * Դատարկ. / Թղթապանակ

Կարող եք նաեւ օգտագործել աստղանիշներ կամայական անունը փոխարինելու համար.

Օգտագործողի գործակալ. * Թույլատրեք. * .Php

Կարեւոր է. Աստղանիշը ամբողջությամբ փոխարինում է ֆայլի անունը, այսինքն, դուք չեք կարող նշել ֆայլ * .Php (բայց ընդլայնմամբ) արգելվում է խուսափել. ,

Թույլատրել հրահանգը, ինչպես նշված է վերը նշված, օգտագործվում է բացառություններ թույլ չտալու համար (հակառակ դեպքում դա իմաստ չունի, քանի որ լռելյայն էջերը բաց են):

Օրինակ, արգելվում է էջը ցուցադրել արխիվային թղթապանակում, բայց կթողնի ինդեքսը: HPTML բաց էջը այս գրացուցակից.

Թույլ տալ. / Rchive/index.html թույլտվություն. / Արխիվ /

Նշեք հյուրընկալողի եւ կայքի քարտեզը

Հաղորդավարը կայքի հիմնական հայելին է (այսինքն, դոմենի անվանումը, գումարած www կամ դոմենի անունն առանց այս վահանակի): Հաղորդավարը նշվում է միայն Yandex Robot- ի համար (առնվազն մեկ թույլտվության թիմ պետք է լինի անհրաժեշտ:

Հյուրընկալող Robots.txt- ը պետք է պարունակի հետեւյալ գրառումը.

Օգտագործողի գործակալ. Yandex- ի թույլտվություն. Հոստ `www.vashsayt.ru

Ինչ վերաբերում է կայքի քարտեզին, ապա robots.txt Կայքի քարտեզը նշվում է, պարզապես խոսելով համապատասխան ֆայլի ամբողջական ուղին, նշելով դոմենի անունը.

Կայքի քարտեզ. Http: //vashsayt.ru/sitemap.xml

Այն մասին, թե ինչպես պատրաստել կայքի քարտեզ WordPress- ի համար, որը գրված է:

Օրինակ Robots.txt WordPress- ի համար

WordPress- ի հրահանգների համար դուք պետք է նշեք բոլոր տեխնիկական դիրեկտորիաները (WP-ադմինիստրատոր, WP- ներում եւ այլն) ինդեքսավորմանը, ինչպես նաեւ Tags, RSS ֆայլեր, որոնում:

Որպես WordPress- ի համար Robots.txt- ի օրինակ, կարող եք ֆայլ վերցնել մեր կայքից.

Օգտագործողի գործակալ. Yandex- ի թույլտվություն. / WP-ադմինիստրատորի թույլտվություն. / WP- ն պարունակում է թույլտվություն. / Wp-register.php Dislow. * / Feed / Dislow. * / Հետադարձություն. * / Մեկնաբանություն / թույլտվություն. /? Feed \u003d Dislowl. /? S \u003d Dislow. * / Մեկնաբանություն: * / Հավելված / * Թույլ տալ. / WP- բովանդակություն / վերբեռնումներ / հյուրընկալող: www..php Dislowl: / wwp-register.php Dislow. Հետադարձ կապ. * / Կարծիքներ / թույլտվություն. /? Feed \u003d Dislowly: /? S \u003d Dislowl. * / Էջ / * թույլտվություն. * / Tag / * Թույլ տալ / WP-Agent: * Հանգստություն. / WP-ադմինիստրատորի թույլտվություն. / WP- ն իր մեջ չի թույլ տվել: / wp-register.php Dislow: /xmlrpc.php Dislow. Արգելափակում. * / Կերակրել / թույլտվություն. * / Կերակրման թույլտվություն. * / Կարծիքներ. /? Feed \u003d Dislowly: /? S \u003d Dislow. * / Մեկնաբանություն / * Disa: * / Մեկնաբանություն: LLOW: / Հավելված / * Թույլ տվեք. / WP-բովանդակություն / վերբեռնումներ / Կայքի քարտեզ: HTTPS: //www..xml

Ներբեռնեք Robots.txt ֆայլը մեր կայքից կարող է լինել:

Եթե, այս հոդվածի ընթերցման արդյունքների համաձայն, մնացել եք հարցեր. Հարցրեք մեկնաբանություններում: