Robots.txt este un fișier text care conține parametrii de indexare a site-ului pentru roboții motorului de căutare.

Recomandări privind conținutul fișierului

Yandex suportă următoarele directive:

Directivă	Ce face.
Agent utilizator *
Interzice.
Sitemap.
Clean-Param.
Permite.
Crawl-întârzie	Vă recomandăm să utilizați setarea vitezei de crawlere

Directivă	Ce face.
Agent utilizator *	Indică robotul la care se aplică regulile enumerate în robots.txt.
Interzice.	Interzice secțiunile de indexare a site-ului sau a paginilor individuale.
Sitemap.	Specifică calea către fișierul Sitemap care este afișat pe site.
Clean-Param.	Indică robotului că pagina UTM etichete care s-au ignorat atunci când îl indexați.
Permite.	Permite indexarea secțiunilor site-ului sau a paginilor individuale.
Crawl-întârzie	Specifică intervalul minim (în secunde) pentru ca robotul de căutare să aștepte după încărcarea unei pagini, înainte de a începe să încărcați altul. Vă recomandăm să utilizați setarea vitezei de acces la Yandex.Webmaster în locul directivei.

* Directivă obligatorie.

Trebuie să aveți cel mai adesea nevoie de directivele de dezactivare, sitemap și curat. De exemplu:

Utilizator-Agent: * Directivele sunt setate pentru dezactivarea: / bin / # Dezactivează legăturile din coșul de cumpărături. Nu permiteți: / Căutare / # Dezactivează pagina Link-uri ale căutării încorporate pe site dezactivează: / admin / # Dezactivează linkurile de la site-ul panoului de administrare: http://example.com/sitemap # Specificați pentru robotul fișierului sitemap al site-ului Clean-Param: Ref /Some_dir/get_book.pl

Roboții de la alte motoare și servicii de căutare pot interpreta modalitatea. Servicii într-un mod diferit.

Notă. Robotul ia în considerare cazul substrings (numele fișierului sau calea, numele robotului) și ignoră cazul în numele directivelor.

Folosind caractere chirilice.

Utilizarea alfabetului chirilic nu este permisă în antetele de fișiere robots.txt și server http.

Pentru numele de domenii, utilizați codul Punycode. Adresele de pagini, utilizați aceeași codificare ca cea a structurii actuale a site-ului.

Bună ziua Dragi prieteni! Tot ce știți că optimizarea motorului de căutare este afacerea responsabilă și subtilă. Este necesar să luați în considerare absolut toate mințile pentru a obține un rezultat acceptabil.

Astăzi vom vorbi despre fișierul robots.txt care este familiar pentru fiecare webmaster. Este în el că toate instrucțiunile de bază pentru roboții de căutare sunt prescrise. De regulă, ei sunt fericiți să urmeze instrucțiunile prescrise și în cazul refuzului compilatie necorespunzătoare pentru a indexa resursele web. Apoi, vă voi spune despre cum să faceți versiunea corectă a robots.txt, precum și cum să o configurați.

În prefața am descris deja ceea ce este. Acum îți voi spune de ce este nevoie de el. Robots.txt este un fișier text mic care este stocat la rădăcina site-ului. Este folosit de motoarele de căutare. Este clar descoperită din regulile de indexare, adică, care secțiunile site-ului trebuie să fie indexate (adăugați la căutare) și care nu este.

De obicei, secțiunile industriale ale site-ului sunt închise de la indexare. Ocazional, lista neagră cade de pe paginile nedorite (Politica de confidențialitate copie a acestui exemplu). Aici, "roboții sunt explicați" principiile de a lucra cu secțiunile care trebuie indexate. Foarte adesea prescriu reguli pentru mai mulți roboți separat. Vom vorbi mai departe.

Când configurați roboți.txt site-ul dvs. va fi garantat în pozițiile motorului de căutare. Roboții vor lua în considerare numai conținutul util, manifestând secțiunile duplicate sau tehnice.

Crearea robots.txt.

Pentru a crea un fișier, este suficient să utilizați funcționalitatea standard a sistemului dvs. de operare, după care îl descărcați pe server prin FTP. Unde se află (pe server) pentru a ghici ușor - în rădăcină. În mod obișnuit, acest dosar se numește public_html.

Puteți intra cu ușurință în el cu orice client FTP (de exemplu,) sau un manager de fișiere încorporat. Firește, nu vom încărca un robot gol pentru server. Realizăm mai multe directive principale (reguli).

Agent utilizator: *
Permiteți: /

Folosind aceste rânduri în fișierul roboți, contactați toți roboții (directiva utilizator-agent), permițându-i să indice pe deplin site-ul dvs. complet și complet (inclusiv toate paginile permit: /)

Desigur, această opțiune nu este deosebit de potrivită pentru noi. Fișierul nu va fi util în special pentru optimizarea motorului de căutare. Are nevoie cu siguranță de configurație competentă. Dar, înainte de aceasta, luăm în considerare toate principalele directive și valori robots.txt.

Directivă

Agent utilizator	Unul dintre cele mai importante, deoarece indică ce roboți să urmeze regulile după el. Regulile sunt luate în considerare până la următorul agent de utilizator din fișier.
Permite.	Permite indexarea oricăror blocuri de resurse. De exemplu: "/" sau "/ etichetă /".
Interzice.	Dimpotrivă, interzice indexarea secțiunilor.
Sitemap.	Calea către harta site-ului (în format XML).
Gazdă.	Oglinda principală (cu www sau fără, sau dacă aveți mai multe domenii). Aici indică, de asemenea, protocolul HTTPS securizat (dacă este disponibil). Dacă aveți un HTTP standard, nu este necesar să o specificați.
Crawl-întârzie	Cu aceasta, puteți seta intervalul de vizită și descărcare a fișierelor site-ului dvs. pentru roboți. Ajută la reducerea încărcăturii pe gazdă.
Clean-Param.	Vă permite să dezactivați indexarea parametrilor pe anumite pagini (după tip www.site.com/cat/state?admin_id8883278). Spre deosebire de directivele anterioare, sunt specificate aici 2 valori (adresa și parametrul în sine).

Acestea sunt toate regulile care sunt susținute de motoarele de căutare emblematice. Este cu ajutorul lor, vom crea roboții noștri, care operează diferite variații pentru diferite tipuri de site-uri.

Setare

Pentru configurarea competentă a fișierului robot, trebuie să știm exact care dintre secțiunile site-ului trebuie indexate și care nu sunt. În cazul unei singure pagini simple pe HTML + CSS, înregistrează suficient mai multe directive majore, cum ar fi:

Agent utilizator: *
Permiteți: /
Sitemap: site.ru/sitemap.xml.
Gazdă: www.site.ru.

Aici am indicat reguli și valori pentru toate motoarele de căutare. Dar este mai bine să adăugați directive separate pentru Google și Yandex. Va arăta astfel:

Agent utilizator: *
Permiteți: /

Agent utilizator: Yandex
Permiteți: /
Nu permiteți: / Polika

Agent de utilizator: GoogleBot
Permiteți: /
Dezactivați: / etichete /

Sitemap: site.ru/sitemap.xml.
Gazdă: site.ru.

Acum, la site-ul nostru HTML va fi indexat absolut toate fișierele. Dacă vrem să excludem o pagină sau o imagine, atunci trebuie să specificăm o legătură relativă cu acest fragment în dezactivare.

Puteți utiliza serviciile de generare automată a roboților. Nu garantăm că, cu ajutorul lor, veți crea opțiunea perfect corectă, dar puteți încerca ca familiarizare.

Printre aceste servicii pot fi alocate:

Cu ajutorul lor, puteți crea robots.txt în modul automat. Personal, chiar nu recomand această opțiune, deoarece este mult mai ușor să o faci manual, trezirea sub platforma mea.

Vorbind despre platforme, vreau să spun tot felul de CMS, cadre, sisteme SaaS și multe altele. Apoi, vom vorbi despre modul de personalizare a fișierului de roboți WordPress și Joomla.

Dar, înainte de aceasta, selectați mai multe reguli universale care pot fi ghidate prin crearea și configurarea roboților aproape pentru orice site:

Închideți de la indexare (dezactivare):

• administrarea site-ului;
• pagini personale și pagini de înregistrare / autorizare;
• coș, date cu formulare comenzi (pentru magazin online);
• cGI Folder (situat pe gazdă);
• secțiuni de service;
• scripturi Ajax și JSON;
• UTM și OpenStat etichete;
• diverși parametri.

Deschideți (Permiteți):

• poze;
• Js și fișiere CSS;
• alte elemente care ar trebui luate în considerare de motoarele de căutare.

În plus, la sfârșit nu uitați să specificați datele site-ului (calea către harta site-ului) și gazda (oglinda principală).

Robots.txt pentru WordPress.

Pentru a crea un fișier, trebuie să aruncăm roboți.txt la rădăcina site-ului. Puteți schimba conținutul în acest caz utilizând toți aceiași manageri FTP și fișiere.

Există o opțiune mai convenabilă - Creați un fișier cu pluginuri. În special, această caracteristică este YOAST SEO. Editați roboții direct de la administrator este mult mai convenabil, așa că eu însumi folosesc acest mod de a lucra cu robots.txt.

Cum vă decideți să creați acest fișier - afacerea dvs., este mai important să înțelegem care directive ar trebui să fie acolo. Pe site-urile dvs. care rulează WordPress utilizând această opțiune:

Agent de utilizator: * Reguli pentru toți roboții, cu excepția Google și Yandex

Nu permiteți: / CGI-BIN # dosar cu scripturi
Nu permiteți: /? # Parametrii solicitărilor din pagina de pornire
Interzice: / wp- # Fișierele CSM în sine (cu WP-)
Nu permiteți: *? S \u003d # \
Nu permiteți: * & S \u003d # Toate legate de căutare
Disalow: / Căutare / # /
Nu permiteți: / autor / # Arhive Autori
Dezactivați: / Utilizatori / # și utilizatorii
Dezactivați: * / trackback # Notificări de la WP pe care cineva le se referă la dvs.
Nu permiteți: * / Feed # FID în XML
Dezactivați: * / RSS # și RSS.
Nu permiteți: * / Embed # Elemente încorporate
Nu permiteți: /xmlrpc.php. # Wordpress API.
Dezactivați: * utm \u003d # UTM etichete
Nu permiteți: * OpenStat \u003d # Etichete OpenStat.
Nu permiteți: / Tag / # Etichete (dacă există)
Permiteți: * / Încărcări # descărcări deschise (imagini etc.)

Agent de utilizator: GoogleBot # Pentru Google.
Nu permiteți: / CGI-BIN
Nu permiteți: /?
Interzice: / wp-
Nu permiteți: *? S \u003d
Nu permiteți: * & S \u003d
Disalow: / Căutare /
Nu permiteți: / autor /
Dezactivați: / Utilizatori /
Dezactivați: * / trackback
Nu permiteți: * / Feed
Dezactivați: * / RSS
Nu permiteți: * / Embed
Nu permiteți: /xmlrpc.php.
Dezactivați: * utm \u003d
Nu permiteți: * OpenStat \u003d
Nu permiteți: / Tag /
Permiteți: * / Încărcări
Permiteți: / *\u003e .js. # Deschis fișiere js
Permiteți: / *, / abs. # și css.
Permiteți: /wp-*.png. # și imagini în format PNG
Permiteți: /wp-*.jpg. # \
Permiteți: /wp-*.jpeg. # și în alte formate
Permiteți: /wp-*.gif. # /
# funcționează împreună cu pluginurile

Agent utilizator: Yandex # pentru yandex.
Nu permiteți: / CGI-BIN
Nu permiteți: /?
Interzice: / wp-
Nu permiteți: *? S \u003d
Nu permiteți: * & S \u003d
Disalow: / Căutare /
Nu permiteți: / autor /
Dezactivați: / Utilizatori /
Dezactivați: * / trackback
Nu permiteți: * / Feed
Dezactivați: * / RSS
Nu permiteți: * / Embed
Nu permiteți: /xmlrpc.php.
Nu permiteți: / Tag /
Permiteți: * / Încărcări
Permiteți: / *\u003e .js.
Permiteți: / *, / abss.
Permiteți: /wp-*.png.
Permiteți: /wp-*.jpg.
Permiteți: /wp-*.jpeg.
Permiteți: /wp-*.gif.
Permiteți: /wp-admin/admin-ajax.php.
# Clean UTM etichete
Clean-Param: OpenStat # și despre OpenStat nu uitați

Sitemap: # Prescriem calea spre harta site-ului
Gazdă: https://siite.ru. # Oglinda principală.

Atenţie! Când copiați șiruri de caractere într-un fișier - nu uitați să ștergeți toate comentariile (text după #).

Această opțiune robots.txt este cea mai populară printre webmasterii care utilizează WP. Este perfect? Nu. Puteți încerca să adăugați ceva sau, dimpotrivă, eliminați. Dar rețineți că atunci când optimizați textele roboților, eroarea nu este mai puțin frecventă. Vom vorbi despre ei în continuare.

Robots.txt pentru Joomla.

Și, deși în 2018, Joomla rar, care folosește, cred că este imposibil să se determine acest CMS minunat. La promovarea proiectelor pe Joomla, cu siguranță va trebui să creați un fișier de roboți și altfel cum doriți să închideți elementele inutile din indexare?

Ca și în cazul precedent, puteți crea un fișier manual, aruncându-l doar pe gazdă sau utilizați modulul în aceste scopuri. În ambele cazuri, va trebui să o configurați competent. Acest lucru va arăta ca opțiunea corectă pentru Joomla:

Agent utilizator: *
Permiteți: /*.css?
Permiteți: /*.js?
Permiteți: /*.jpg?c.
Permiteți: /*.png?c.ova.
Nu permiteți: / Cache /
Nu permiteți: /*.pdf.
Nu permiteți: / Administrator /
Dezactivați: / Instalare /
Nu permiteți: / CLI /
Nu permiteți: / Biblioteci /
Dezactivați: / Limba /
Nu permiteți: / Componente /
Nu permiteți: / Module /
Nu permiteți: / Include /
Interzice: / bin /
Nu permiteți: / Component /
Nu permiteți: / TMP /
Nu permiteți: /index.php.
Nu permiteți: / Plugin-uri /
Nu permiteți: / * Mailto /

Nu permiteți: / Busteni /
Nu permiteți: / Component / Tags *
Nu permiteți: / *%
Dezactivați: / Layouts /

Agent utilizator: Yandex
Nu permiteți: / Cache /
Nu permiteți: /*.pdf.
Nu permiteți: / Administrator /
Dezactivați: / Instalare /
Nu permiteți: / CLI /
Nu permiteți: / Biblioteci /
Dezactivați: / Limba /
Nu permiteți: / Componente /
Nu permiteți: / Module /
Nu permiteți: / Include /
Interzice: / bin /
Nu permiteți: / Component /
Nu permiteți: / TMP /
Nu permiteți: /index.php.
Nu permiteți: / Plugin-uri /
Nu permiteți: / * Mailto /

Nu permiteți: / Busteni /
Nu permiteți: / Component / Tags *
Nu permiteți: / *%
Dezactivați: / Layouts /

Agent de utilizator: GoogleBot
Nu permiteți: / Cache /
Nu permiteți: /*.pdf.
Nu permiteți: / Administrator /
Dezactivați: / Instalare /
Nu permiteți: / CLI /
Nu permiteți: / Biblioteci /
Dezactivați: / Limba /
Nu permiteți: / Componente /
Nu permiteți: / Module /
Nu permiteți: / Include /
Interzice: / bin /
Nu permiteți: / Component /
Nu permiteți: / TMP /
Nu permiteți: /index.php.
Nu permiteți: / Plugin-uri /
Nu permiteți: / * Mailto /

Nu permiteți: / Busteni /
Nu permiteți: / Component / Tags *
Nu permiteți: / *%
Dezactivați: / Layouts /

Gazdă: site.ru. # Nu uitați să schimbați adresa la dvs.
Sitemap: site.ru/sitemap.xml. # si aici

De regulă, acest lucru este suficient, astfel încât fișierele inutile să nu cadă în index.

Erori la înființare

Foarte des, oamenii permit erorile atunci când creează și configura un fișier de roboți. Iată cele mai frecvente dintre ele:

• Regulile sunt indicate numai pentru agentul de utilizator.
• Nu există gazdă și sitemap.
• Prezența unui protocol HTTP în directiva gazdă (trebuie doar să specificați HTTPS).
• Nerespectarea regulilor de cuibărit la deschiderea / închiderea imaginilor.
• Nu este închis UTM și OpenStat etichete.
• Apăsând directivele gazdă și sitemap pentru fiecare robot.
• Studiu de fișiere superficiale.

Este foarte important să configurați corect acest fișier mic. Când sunt aprobate de erori grosiere, puteți pierde o parte semnificativă a traficului, deci fiți extrem de atenți la înființare.

Cum să verificați fișierul?

În aceste scopuri, este mai bine să se utilizeze servicii speciale de la Yandex și Google, deoarece aceste motoare de căutare sunt cele mai populare și mai solicitate (cel mai adesea unice), astfel de motoare de căutare precum Bing, Yahoo sau Rambler nu consideră niciun sens.

Pentru a începe cu, luați în considerare opțiunea cu Yandex. Mergem la webmaster. După aceea, instrumentele de analiză Robots.txt.

Aici puteți verifica fișierul pentru erori, precum și verificați în timp real, care paginile sunt deschise spre indexare și care nu sunt. Foarte convenabil.

Google are exact același serviciu. Mergem B. Consola de căutare. . Găsim fila Scanare, selectați - Instrumentul de verificare a fișierelor robots.txt.

Iată exact aceleași funcții ca și în serviciul intern.

Vă rugăm să rețineți că îmi arată 2 erori. Acest lucru se datorează faptului că Google nu recunoaște directivele de curățare a parametrilor pe care le-am specificat pentru Yandex:

Clean-Param: UTM_SOURCE & UTM_MEDIUM & UTM_CAMPAIGN
Clean-Param: OpenStat

Nu merită acordarea atenției la acest lucru, deoarece roboții Google utilizează numai reguli pentru GoogleBOT.

Concluzie

Fișierul Robots.txt este foarte important pentru optimizarea SEO a site-ului dvs. Haideți la configurația cu toată responsabilitatea, deoarece cu implementarea incorectă totul poate merge ca șoc.

Luați în considerare toate instrucțiunile pe care le-am împărtășit în acest articol și nu uităm că nu vă copiați neapărat opțiunile mele de roboți. Este posibil ca să trebuie să înțelegeți suplimentar fiecare dintre directive, ajustând fișierul în cazul dvs. specific.

Și dacă doriți să vă numiți mai profund în robots.txt și creați site-uri pe WordPress, atunci vă invit. Pe acesta veți afla cum puteți crea cu ușurință un site, fără a uita să o optimizați pentru motoarele de căutare.

Robots.txt. - Acesta este un fișier text care se află la rădăcina site-ului - http://site.ru/robots.txt.. Scopul său principal este de a solicita anumite directive motoarelor de căutare - ce și când să faceți pe site.

Cel mai ușor robots.txt.

Cel mai simplu robots.txt, pe care toate motoarele de căutare permite totul de indicat, arată astfel:

Agent utilizator: *
Nu permiteți:

În cazul în care Directiva privind interzicerea nu are o slash înclinată la sfârșit, atunci toate paginile de indexare sunt permise.

O astfel de directivă interzice complet site-ul de indexare:

Agent utilizator: *
Nu permiteți:

Agentul de utilizator - indică pentru care sunt destinate directivele, stelele indică faptul că pentru toate PS, agentul utilizator este indicat pentru Yandex: Yandex.

Ajutorul Yandex este scris că roboții săi de căutare manipulează agentul de utilizator: *, dar dacă sunteți agent de utilizator: Yandex, agent de utilizator: * ignorat.

Interzice și permite directivele

Există două directive principale:

Nu permiteți - să interziceți

Permiteți - permiteți

Exemplu: Pe blogul nostru este interzisă indexarea conținutului / WP-Content / unde sunt amplasate plug-in-uri, șablon i.t.p. Dar există și imagini pe care PS-ul sunt indexate pentru a participa la căutarea imaginilor. Pentru a face acest lucru, utilizați o astfel de schemă:

Agent utilizator: *
Permiteți: / WP-Content / Încărcări / # Permiteți indexarea imaginilor în dosarul Încărcături
Dezactivați: / WP-Content /

Procedura de utilizare a directivelor este importantă pentru Yandex dacă se aplică unei pagini sau foldere. Dacă specificați astfel:

Agent utilizator: *
Dezactivați: / WP-Content /
Permiteți: / WP-Content / Încărcări /

Imaginile nu vor încărca robotul Yandex din / încărcări /, deoarece se execută prima directivă, ceea ce interzice accesul la dosarul WP-Content.

Google aparține mai ușor și efectuează toate directivele fișierului robots.txt, indiferent de locația lor.

De asemenea, nu uitați că directivele cu o slash și fără, efectuează roluri diferite:

Disalow: / Despre Accesul interzis pe întregul site.ru/about/ Directory, nu va fi, de asemenea, pagini indexate care conțin despre - site.ru/about.html, site.ru/aboutlive.html i.t.p.

Nu permiteți: / Despre / Dezactivați indexarea roboților de pagini din site.ru/about/ Director și pagină de către Type.ru/about.html i.t.p. vor fi disponibile pentru indexare.

Expresii regulate în robots.txt

Sunt acceptate două caractere, aceasta este:

* - implică orice ordine de caractere.

Exemplu:

Nu permiteți: / Despre * Dezactivați accesul la toate paginile care conțin, în principiu, această directivă va funcționa, de asemenea, fără stele. Dar, în unele cazuri, această expresie nu este înlocuită. De exemplu, într-o singură categorie există pagini de c.html la sfârșit și fără a închide de la indexarea tuturor paginilor care conțin HTML, prescriem prezenta directivă:

Distingeți: / Despre /*.html.

Acum, paginile site-ului.ru/abert/live.html sunt închise de la indexare, iar site.ru/about/live pagina este deschisă.

Un alt exemplu de analogie:

Agent utilizator: Yandex
Permiteți: / Despre /*.html. # Permiteți-mi să indice
Nu permiteți: / Despre /

Toate paginile vor fi închise, cu excepția paginilor care se termină cu .html

$ - Tăiați partea rămasă și denotă capătul șirului.

Exemplu:

Disalow: / Despre - Această directivă Robots.txt interzice indexarea tuturor paginilor care încep cu aproximativ, de asemenea, o interdicție pe paginile din / DESPRE /

Adăugarea unui simbol al dolarului la sfârșit - dezactivați: / aproximativ $ Vom informa roboții pe care nu le puteți indexa numai pagina / pagina / pagina / paginile / paginile / Despre I.t.p. pot fi indexate.

Directiva Sitemap.

Prezenta directivă indică calea către harta site-ului, în acest formular:

Sitemap: http: //site.ru/sitemap.xml

Directivă.

Indicat în acest formular:

Gazdă: site.ru.

Fără http: //, scene înclinate și lucrurile asemănătoare. Dacă aveți oglinda principală a site-ului www, atunci scrieți:

Exemplu robots.txt pentru Bitrix

Agent utilizator: *
Dezactivați: /*index.php$.
Nu permiteți: / Bitrix /
Nu permiteți: /
Nu permiteți: /
Nu permiteți: / Încărcați /
Disalow: / Căutare /
Nu permiteți: / * / Căutare /
Nu permiteți: / * / slide_show /
Nu permiteți: / * / Galerie / * Comandă \u003d *
Nu permiteți: / *? *
Nu permiteți: / * & Print \u003d
Nu permiteți: / * Înregistrare \u003d
Dezactivați: / * uitat_password \u003d
Dezactivați: / * schimbare_password \u003d
Dezactivați: / * Login \u003d
Dezactivați: / * logout \u003d
Nu permiteți: / * Auth \u003d
Nu permiteți: / * acțiune \u003d *
Nu permiteți: / * Bitrix _ * \u003d
Nu permiteți: / * backurl \u003d *
Nu permiteți: / * backurl \u003d *
Nu permiteți: / * back_url \u003d *
Nu permiteți: / * back_url \u003d *
Nu permiteți: / * back_url_admin \u003d *
Dezactivați: / * imprimare_course \u003d y
Dezactivați: / * curse_id \u003d
Nu permiteți: / * Pagen_ *
Dezactivați: / * pagina_ *
Nu permiteți: / * Afișați
Dezactivați: / * show_all \u003d
Gazdă: sittename.ru.
Sitemap: https://www.sitame.ru/sitemap.xml.

Exemplu robots.txt pentru wordpress

După adăugarea tuturor directivelor necesare, care sunt descrise mai sus. Trebuie să obțineți ceva de genul acestor roboți de fișiere:

Este așa să spunem versiunea de bază a robots.txt pentru WordPress. Aici sunt doi agenți-A - unul pentru toți și al doilea pentru Yandex, unde este indicată directiva gazdă.

Meta Tags roboți

Este posibil să închideți de la pagina de indexare sau de site-ul nu numai de fișierul robots.txt, se poate face cu o etichetă meta.

<meta Name \u003d "Roboții" Conținut \u003d "NoIndex, Nofollow"\u003e

Este necesar să îl prescrieți în etichetă și această etichetă Meta va interzice indicele site-ului. În WordPress există pluginuri care vă permit să setați astfel de etichete meta, cum ar fi Platinum SEO Pack. Cu aceasta, puteți închide de la indexarea oricărei pagini, utilizează etichete Meta.

TRANSMITEREA DE ÎNTREȚINERE

Folosind această directivă, puteți seta ora la care ar trebui întreruptă botul de căutare, între descărcarea paginilor site-ului.

Agent utilizator: *
Întârzierea cu crawlere: 5

Timpul de timp între încărcarea a două pagini va fi egal cu 5 secunde. Pentru a reduce sarcina de pe server, prezintă de obicei 15-20 de secunde. Această directivă este necesară pentru site-uri mari, adesea actualizate, pe care boturile de căutare pur și simplu "trăiesc".

Pentru site-uri / bloguri obișnuite, această directivă nu este necesară, dar astfel poate limita comportamentul altor roboți de căutare non-reală (Rambler, Yahoo, Bing) i.t.p. La urma urmei, ele introduc, de asemenea, site-ul și indexați-l, creând astfel o sarcină pe server.

Corect, configurația competentă a fișierului root robots.txt este una dintre cele mai importante sarcini ale Web Wizard. În cazul erorilor de neiertare în căutarea extrădării, pot apărea multe pagini inutile ale site-ului. Sau, dimpotrivă, documentele importante ale site-ului dvs. vor fi închise pentru indexate, în cel mai rău caz, puteți închide pentru roboții de căutare tot directorul rădăcină al domeniului.

Configurarea corectă a fișierului robots.txt cu propriile mâini, de fapt, sarcina nu este foarte complicată. După ce ați citit acest articol, veți învăța cu înțelepciunea directivelor și veți scrie în mod independent regulile pentru fișierul robots.txt de pe site-ul dvs. web.

Pentru a crea fișierul robots.txt, se utilizează o sintaxă nesigură, dar nu complexă. Nu multe directive utilizate. Luați în considerare regulile, structura și sintaxa fișierului robots.txt pas cu pas și în detaliu.

Reguli generale robots.txt.

În primul rând, fișierul robots.txt în sine trebuie să aibă o codificare ANSI.

În al doilea rând, este imposibil să se folosească pentru scrierea regulilor alfabetelor naționale, numai latina este posibilă.

Fișierul structural robots.txt poate consta din una sau mai multe blocuri de instrucțiuni, separat pentru roboții diferitelor motoare de căutare. Fiecare bloc sau secțiune are un set de reguli (directive) pentru a indexa site-ul de către un motor de căutare.

În directive, blocurile regulilor și între ele nu sunt permise niciun titlu și simboluri inutile.

Directivele și blocurile regulilor sunt separate prin transferul șirului. Singura ipoteză este comentarii.

Comentând în robots.txt.

Pentru a comenta, utilizați simbolul "#". Dacă puneți simbolul "Grid" la începutul șirului, atunci până la sfârșitul liniei, tot conținutul este ignorat de către roboții de căutare.

Agent utilizator: *
Dezactivați: / css # scrie un comentariu
# Scriem un alt comentariu
Nu permiteți: / img

Secțiuni în fișierul robots.txt

La citirea fișierului cu un robot, numai secțiunea adresată robotului acestui motor de căutare este utilizată, dacă în secțiune, utilizatorul-agent este numele motorului de căutare Yandex, atunci robotul său va citi numai secțiunea adresate lui, ignorând alții, în special și secțiunea cu directivă pentru toți roboții - Agentul utilizator: *.

Fiecare dintre secțiuni este de sine. Secțiunile pot fi oarecum, pentru roboții fiecărui motor de căutare și un universal, pentru toți roboții sau roboții unuia dintre sistemele lor. Dacă secțiunea este una, începe cu prima linie a fișierului și ia toate liniile. Dacă secțiunile sunt mai multe, atunci ele trebuie să fie separate printr-un șir gol, cel puțin unul.

Secțiunea începe întotdeauna cu Directiva utilizator-agent și conține numele motorului de căutare, pentru care roboții sunt destinate dacă aceasta nu este o secțiune universală pentru toți roboții. În practică, se pare că:

Agent utilizator: yandexbot
# agent de la Sistem de roboți yandex
Agent utilizator: *
# agentul oarser pentru toți roboții

Listează mai multe nume de roboți sunt interzise. Pentru boturile fiecărui motor de căutare, se creează propria sa secțiune, propriul bloc separat de reguli. Dacă, în cazul dvs., regulile pentru toți roboții sunt aceiași, utilizați o secțiune universală, comună.

Directivă, ce este?

Directiva este o comandă sau o regulă care spune un robot de căutare pentru anumite informații. Directiva raportează botul de căutare, cum să indexați site-ul dvs., care directoare nu vizualizați unde harta site-ului este în format XML, ce nume de domeniu este oglinda principală și alte detalii tehnice.

Secțiunea de fișiere robots.txt constă din comenzi separate,
directive. Directivele generale de sintaxă:

[_Name]: [spațiu opțional] [valoare] [spațiu opțional]

Directiva este scrisă într-o singură linie, fără transfer. Conform standardelor acceptate, liniile nu sunt permise între directivele dintr-o secțiune, adică toate directivele aceleiași secțiuni sunt scrise pe fiecare linie, fără linii suplimentare.

Să descriem valorile principalelor directive utilizate.

Directiva interzice

Cea mai folosită directivă din fișierul robots.txt este "dezactivarea" - interzicerea. Directiva privind interzicerea interzice indexarea calea specificată în acesta. Poate fi o pagină separată, pagini care conțin "masca" specificată în adresa URL (căile), parte a site-ului, directorul separat (dosarul) sau întregul site web.

"*" - Stelele înseamnă - "orice număr de caractere". Aceasta este, calea / dosarul * la fel în valoarea dvs. cu "/ foldere", "/ folder1", "/ folder11", / folderesss "sau" / folder ". Roboții, când citiți regulile, adăugați automat semnul "*". În exemplul prezentat mai jos, ambele directive sunt absolut la fel de echivalente:

Nu permiteți: / Știri
Nu permiteți: / Știri *

"$" - semnul dolarului interzice roboții la citirea directivelor adăugați automat simbolul "*" (STAR) la sfârșitul directivei. Cu alte cuvinte, simbolul "$" înseamnă sfârșitul șirului de comparație. Adică, în exemplul nostru, interzicem indexarea folderului "/ folder", dar nu interzic în folderele "/ folderul1", "/ folder111" sau "/ folderele":

Agent utilizator: *
Dezactivați: / dosar $

"#" - (Sharpe). Tot ceea ce este scris după această pictogramă, într-o linie IT, este ignorat de motoarele de căutare.

Permiteți directivei

Fișierul Robots.txt al dosarului Permite este opusul directivei de dezamăgire, directiva Permite este soluționată. În exemplul de mai jos, se arată că interzicem indexul întregului site, cu excepția folderului / dosarului:

Agent utilizator: *
Permiteți: / dosar
Nu permiteți:

Un exemplu de utilizare simultană a "permite", "dezlănțui" și prioritate

Nu uitați de înțelegerea priorității pentru interdicții și permisiuni, atunci când specificați directivele. Anterior, prioritatea a fost indicată de procedura de declarare a interdicțiilor și permiselor. Acum, prioritatea este definită prin specificarea calea maximă existentă într-un singur bloc pentru robotul motorului de căutare (agent de utilizator), pentru a crește lungimea căii și a locului de instrucțiuni din directivă decât cea mai lungă, cu atât mai multă prioritate :

Agent utilizator: *
Permiteți: / foldere
Dezactivați: / dosar

În exemplul de mai sus de mai sus, indexarea URL-ului este permisă să înceapă cu "/ foldere", dar este interzisă în căi care au în URL-urile încep "/ folder", "/ foldere" sau "/ folder2". În cazul aceleiași căi de a "permite" și "interzice" directivă, preferința este dată de directiva "Permiteți".

Valoarea goală a parametrului din directivele "Permite" și "Disalow"

Există erori de masterat web atunci când în fișierul robots.txt în directiva privind interzicerea
Uitați să specificați simbolul "/". Aceasta este o interpretare incorectă, eronată a valorilor directivelor și sintaxei acestora. Ca urmare, directiva de interzicere devine rezoluție: "Nu permiteți:" este absolut identic cu "permite: /". Interdicția corectă a indexării întregului site pare a fi:

Același lucru se poate spune despre "Permite:". "Permite:" directivă fără simbolul "/" interzice indexarea întregului site, precum și "nu permite: /".

Directiva Sitemap.

Pentru toate canoanele de optimizare SEO, trebuie să utilizați harta site-ului (sitemap) în format XML și să o furnizați motoarelor de căutare.

În ciuda funcționalității "dulapurilor pentru web-masterat" în motoarele de căutare, este necesar să se declare prezența sitemap.xml și în robots.txt folosind directiva " Sitemap." Căutați roboții când ați ocuit site-ul dvs. va vedea specimenul din fișierul Sitemap.xml și asigurați-vă că îl utilizați la următoarea by-pass. Un exemplu de utilizare a Directivei Sitemap în fișierul robots.txt:

Agent utilizator: *
Sitemap: https://www.domainname.zone/sitemap.xml.

Directivă.

O altă directivă importantă Robots.txt este o directivă Gazdă..

Se crede că nu toate motoarele de căutare o recunosc. Dar Yandex indică faptul că citește această directivă, iar Yandex în Rusia este principalul "alimentator de căutare", astfel încât nu vom ignora Directiva gazdă.

Prezenta directivă spune motoarelor de căutare, care domeniu este oglinda principală. Știm cu toții că site-ul poate avea mai multe adrese. URL-ul site-ului poate fi utilizat sau nu utilizat de prefixul www sau site-ul poate avea mai multe nume de domenii, de exemplu, domeniu.ru, domeniu.com, domen.ru, www.domen.ru. Acesta este exact în astfel de cazuri, informăm motorul de căutare în fișierul robots.txt folosind directiva gazdă, care dintre aceste nume este cea principală. Valoarea directivei este numele oglinzii principale. Dăm un exemplu. Avem mai multe nume de domenii (domeniu.ru, domeniu.com, dmen.ru, www.domen.ru) și toți redirecționează vizitatorii la site-ul www.domen.ru, intrarea în fișierul robots.txt va arăta astfel :

Agent utilizator: *
Gazdă: www.domen.ru.

Dacă doriți ca oglinda principală fără prefix (www), atunci, în consecință, trebuie să specificați numele site-ului fără prefixul din directivă.

Directiva gazdă rezolvă problema dublelor paginilor cu care se confruntă specialiștii Web și SEO. Prin urmare, directiva gazdă trebuie să fie utilizată în mod necesar dacă vizitați segmentul de limbă rusă și sunteți important pentru clasamentul site-ului dvs. în motorul de căutare Yandex. Repetați, pentru că astăzi despre citirea acestei directive, spune doar "Yandex". Pentru a specifica oglinda principală în alte motoare de căutare, trebuie să utilizați setările din dulapurile web-masterat. Nu uitați că numele oglinzii principale trebuie indicat corect (corectitudinea scrisului, respectarea codării și sintaxei fișierului robots.txt). În dosar, această directivă este permisă o singură dată. Dacă o specificați în mod greșit de mai multe ori, atunci roboții vor lua în considerare prima intrare.

TRANSMITEREA DE ÎNTREȚINERE

Prezenta directivă este o comandă tehnică, a roboților de căutare, cât de des trebuie să vizitați site-ul dvs. Mai precis, directiva privind întârzierea cu crawlere indică pauza minimă între vizitele la roboții site-ului dvs. (cralierele motorului de căutare). De ce să indicați această regulă? Dacă roboții vin foarte des la dvs. și noile informații de pe site apar mult mai puțin frecvent, apoi în timp, motoarele de căutare vor fi obișnuite cu o schimbare rară de informații pe site-ul dvs. și vă va vizita mult mai puțin frecvent decât vă place. Acesta este un argument de căutare în favoarea utilizării Directivei privind întârzierea cu crawlere. Acum argumentul tehnic. Vizita prea frecventă la roboții site-ului dvs. creează o sarcină suplimentară pe serverul pe care nu aveți nevoie deloc. Valoarea directivei este mai bună pentru a indica un număr întreg, dar acum unii roboți au învățat să citească și numere fracționate. Specifică timpul în câteva secunde, de exemplu:

Agent utilizator: Yandex
Întârzierea cu crawlere: 5.5

Clean-param Directiva

Directiva opțională "Clean-Param" indică faptul că roboții de căutare a setărilor adresei site-ului care nu trebuie să indice și trebuie luate ca o altă adresă URL. De exemplu, aveți aceleași pagini sunt afișate la diferite adrese, caracterizate într-unul sau mai mulți parametri:

www.domain.zone/folder/page/
www.domain.zone/index.php?folder\u003dfolder&page\u003dpage1/
www.domain.zone/ index.php? Folder \u003d 1 și pagina \u003d 1

Roboții de căutare vor scana toate aceste pagini și vor observa că paginile sunt aceleași, conțin același conținut. În primul rând, va crea confuzie în structura site-ului sub indexare. În al doilea rând, sarcina suplimentară pe server va crește. În al treilea rând, viteza de scanare va cădea considerabil. Pentru a evita aceste probleme și a utiliza Directiva privind curatarea paramului. Sintaxa este după cum urmează:

Clean-Param: PARAM1 [& PARAM2 & PARAM3 & PARAM4 & ... & PARAM * N] [PATH]

Directiva "Clean-Param", cum ar fi "gazdă", nu citește toate motoarele de căutare. Dar Yandex înțelege-o.

Erori care sunt adesea găsite în robots.txt

Fișierul robots.txt nu este la rădăcina site-ului.

Fișier de roboți. tXT ar trebui să fie plasat în rădăcina site-ului, numai în directorul rădăcină. Toate celelalte fișiere cu același nume, dar cele din alte foldere (directoare) sunt ignorate de motoarele de căutare.

Eroare în numele fișierului robots.txt

Numele fișierului este scris de scrisori mici (registru inferior) și ar trebui să fie numit roboți.tXT.. Toate celelalte opțiuni sunt considerate eronate și căutarea de stres vor fi raportate absenței unui fișier. Erori frecvente arată astfel:

Robots.txt.
Robots.txt.
robot.txt.

Utilizați caractere nevalide în robot.txt

Fișierul Robots.txt trebuie să fie în codarea ANSI și să conțină numai latină. Directivele de scriere și valorile acestora prin orice alte simboluri naționale sunt inacceptabile, cu excepția conținutului comentariilor.

Erori de sintaxă robots.txt

Încercați să urmați cu strictețe regulile de sintaxă din fișierul robots.txt. Erorile de sintaxă pot duce la ignorarea conținutului întregului fișier al motoarelor de căutare.

Listarea mai multor roboți într-o singură linie în directiva privind agentul utilizator

O eroare, adesea permisă de către webmasterii novici, mai degrabă datorită propriei lor lenea, să nu rupă fișierul robots.txt la secțiune și să combine comenzi pentru mai multe motoare de căutare într-o singură secțiune, de exemplu:

Agent de utilizator: Yandex, GoogleBot, Bing

Pentru fiecare motor de căutare, trebuie să vă creați o secțiune separată, luând în considerare acele directive că acest motor de căutare citește. În plus, în acest caz, este secțiunea unificată pentru toate motoarele de căutare:

Agent de utilizator cu valoare goală

Directiva privind agentul utilizator nu poate avea o valoare goală. În mod alternativ, poate fi "permit" și "dezactivați" și apoi luând în considerare faptul că își schimbă valoarea. Specificarea directivei privind agentul utilizatorului cu o valoare goală este o eroare brută.

Mai multe valori în directiva privind interzicerea

Mai des o greșeală, dar, totuși, periodic, ea poate fi văzută pe site-uri, aceasta este indicarea mai multor valori în permis și dezactivează directivele, de exemplu:

Nu permiteți: / Folder1 / Folder2 / Folder3

Nu permiteți: / Folder1
Nu permiteți: / Folder2
Nu permiteți: / Folder3

Nerespectarea priorităților directivelor în robots.txt

Această eroare a fost deja descrisă mai sus, dar pentru a consolida materialul se va repeta. Anterior, prioritatea a fost determinată de procedura de directive direcționate. Până în prezent, regulile s-au schimbat, prioritatea este specificată de durata liniei. Dacă există două directive exclusive, permit și dezactivați cu același conținut în fișier, atunci prioritatea va permite.

Motoarele de căutare și roboți.txt

Directivele din fișierul robots.txt sunt un caracter recomandat pentru motoarele de căutare. Aceasta înseamnă că regulile de citire pot schimba sau suplimenta periodic. De asemenea, amintiți-vă că fiecare motor de căutare procesează directivele de fișiere în felul său. Și nu toate directivele pe care fiecare motoare de căutare le citește. De exemplu, directiva gazdă astăzi citește numai Yandex. În același timp, Yandex garantează că numele de domeniu este specificat ca oglinda principală în directiva gazdă va fi atribuită principalei lucruri, dar solicită prioritatea denumirii specificate în directivă.

Dacă aveți un set mic de reguli, puteți crea o singură secțiune pentru toți roboții. În caz contrar, nu fi leneși, creați secțiuni separate pentru fiecare motor de căutare care vă interesează. În special, acest lucru se referă la interdicții, dacă nu doriți ca unele pagini să intre în căutare.

Navigare rapidă pe această pagină:

Realitatea modernă este că în Runet nu se poate face nici un loc de respect de sine fără un fișier numit robots.tht - chiar dacă nu aveți nimic de interzic de indexare (deși există pagini tehnice și conținut duplicat care necesită închidere de la indexare), apoi la o Minim, pentru a înregistra directiva cu www și fără www pentru yandex este cu siguranță merită - pentru acest lucru și regulile de scriere Robots.txt, care vor fi discutate mai jos.

Ce este robots.txt?

Fișierul cu un astfel de nume are propria poveste din 1994, când consorțiul W3C a decis să introducă un astfel de standard, astfel încât site-urile să poată oferi motoare de căutare în instrucțiunile de indexare.

Un fișier cu un astfel de nume trebuie salvat în directorul rădăcină al site-ului, puneți-l în orice alte foldere nu este permis.

Fișierul efectuează următoarele funcții:

1. interzice orice pagini sau pagini de indexare
2. permite oricăror pagini sau grupuri de pagini la indexare
3. specifică robotul Yandex, ce oglindă a site-ului este principala (cu www sau fără www)
4. afișează locația fișierului cu harta site-ului

Toate cele patru elemente sunt extrem de importante pentru optimizarea site-ului. Interzicerea indexării vă permite să închideți de la indexarea unei pagini care conțin conținut duplicat - de exemplu, pagini de etichete, arhive, rezultate de căutare, pagini cu versiuni de imprimare și așa mai departe. Prezența conținutului duplicat (când același text, deși în cantitatea de mai multe oferte, este prezent pe două sau mai multe pagini) este un minus pentru site-ul în clasamentul motoarelor de căutare, deoarece dublele ar trebui să fie cât mai mici posibil.

Directiva Permite nu are valoare auto-valoare, deoarece implicit toate paginile și sunt disponibile pentru indexare. Funcționează într-un pachet cu dezactivare - când, de exemplu, un fel de poziție este complet închisă de la motoarele de căutare, dar doriți să deschideți pagina în ea sau o pagină separată.

Specificarea pe oglinda principală a site-ului este, de asemenea, unul dintre cele mai importante elemente din optimizare: motoarele de căutare ia în considerare site-urile www.vashsite.ru și vashtsyt.ru ca două resurse diferite, dacă specificați în mod direct altfel. Ca rezultat, conținutul este îndoit - apariția unui dublu, o scădere a forței de legături externe (legăturile externe pot fi plasate atât de la www, cât și fără www) și ca rezultat poate duce la un rang mai mic în rezultatele căutării .

Pentru Google, oglinda principală este prescrisă în instrumentele Webmaster (http://www.google.com/webmasters/), dar pentru yandex, aceste instrucțiuni pot fi prescrise numai în acel roboți. TCT.

Specificarea fișierului XML cu un card de site (de exemplu - sitemap.xml) permite motoarelor de căutare să detecteze acest fișier.

Instrucțiuni de utilizator-agent

Agentul de utilizator În acest caz, acesta este un motor de căutare. La scrierea instrucțiunilor, trebuie să specificați dacă acestea vor acționa pe toate motoarele de căutare (apoi semnul Star este atașat - *) sau sunt proiectate pentru un motor de căutare separat - de exemplu, Yandex sau Google.

Pentru a seta agentul de utilizator cu indicarea tuturor roboților, scrieți în fișierul după următoarea linie:

Agent utilizator: *

Pentru Yandex:

Agent utilizator: Yandex

Pentru Google:

Agent de utilizator: GoogleBot

Reguli pentru dezamăgire și permit

În primul rând, trebuie remarcat faptul că fișierul Robots.txt pentru validitatea sa trebuie să conțină în mod necesar cel puțin o directivă de respingere. Având în vedere acum aplicarea acestor directive pe exemple specifice.

Prin acest cod, permiteți indexarea tuturor paginilor site-ului:

Agent utilizator: * Nu permiteți:

Și printr-un astfel de cod, dimpotrivă, toate paginile vor fi închise:

Agent de utilizator: * Nu permiteți:

Pentru a interzice indexarea unui anumit director numit dosar, specificați:

Agent de utilizator: * Nu permiteți: / dosar

De asemenea, puteți utiliza asteriscuri pentru a înlocui un nume arbitrar:

Agent de utilizator: * Nu permiteți: * .php

Important: Asteriscul înlocuiește în întregime numele fișierului, adică nu puteți specifica fișierul * .php, puteți doar * .php (dar toate paginile cu extensie vor fi interzise să evite - puteți specifica o adresă specifică a paginii) .

Directiva Permite, după cum sa menționat mai sus, este utilizată pentru a crea excepții în dezactivare (altfel nu are sens, deoarece paginile implicite sunt deschise).

De exemplu, este interzisă indexarea paginii în folderul de arhivă, dar va părăsi pagina index.html Open din acest director:

Lăsați: /rchive/index.html Nu permiteți: / Arhiva /

Indicați gazda și harta site-ului

Gazda este oglinda principală a site-ului (adică numele domeniului plus www sau numele de domeniu fără această consolă). Gazda este indicată numai pentru robotul Yandex (cel puțin o echipă de respingere trebuie să fie necesară.

Pentru a specifica roboturile gazdă .Txt trebuie să conțină următoarea intrare:

Agent de utilizator: Yandex dezactivează: gazdă: www.vashsayt.ru

În ceea ce privește harta site-ului, site-ul robots.txt este specificat pur și simplu vorbind calea completă către fișierul corespunzător, indicând numele domeniului:

Sitemap: http: //vashsayt.ru/sitemap.xml

Despre cum să faci o hartă a site-ului pentru WordPress, scrisă.

Exemplu robots.txt pentru wordpress

Pentru instrucțiunile WordPress, trebuie să specificați toate directoarele tehnice (WP-Admin, WP-include etc.) la indexarea, precum și paginile duplicate create de etichete, fișiere RSS, comentarii, căutare.

Ca exemplu de roboți.txt pentru WordPress puteți face un fișier de pe site-ul nostru:

Agent de utilizator: Yandex interzice: / WP-admin interzice: / wp-include dezvăluie: /wp-login.php dezactivează: /wp-register.php dezactivați: /xmlrpc.php dezactivați: / Căutare dezactivează: * / trackback dezactivează: * / Feed / Respoluare: * / Feed Distint: * / Comentarii / Distinge: /? Feed \u003d dezactiva: /? S \u003d dezactiva: * / pagina / * dezactiva: * / comentariu dezactiveaza: * / tag / * dezactiva: * / Anexă / * Permiteți: / WP-Conținut / Încărcări / Host: www..php dezvăluie: /wp-register.php dezvăluie: /xmlrpc.php dezactivați: / Căutare dezactivează: * / trackback dezactivați: * / feed / dezactivare: * Furaje interzice: * / comentarii / dezactivare: /? Feed \u003d dezactivați: /? S \u003d dezactivați: * / pagina / * dezactivați: * / comentariu dezactivați: * / tag / * dezactivați: / atașament / * permite: / wp -conalow : / WP-Agent: * Disalow: / WP-admin interzice: / WP-include dezactivarea: /wp-login.php dezactivează: /wp-register.php dezactivează: /xmlrpc.php dezactivează: / Căutare dezactivează: * / trackback Nu permiteți: * / Furaje / dezactivați: * / Feed Distingeți: * / Comentarii / dezactivați: /? Feed \u003d dezactivați: /? S \u003d dezactivați: * / pagina / * dezactivați: * / comentariu dezactivați: * / tag / * Disa. Llow: / Atachment / * Permiteți: / WP-Conținut / Încărcări / Harta site-ului: https: //www..xml

Descărcați fișierul robots.txt de pe site-ul nostru poate fi.

Dacă, conform rezultatelor citirii acestui articol, aveți întrebări la stânga - întrebați în comentarii!