Robots.txt je tekstualna datoteka koja sadrži parametre indeksiranja web mjesta za robote pretraživača.

Preporuke o sadržaju datoteke

Yandex podržava sljedeće direktive:

Direktiva	Šta to radi.
Korisnički agent *
Onemogućiti.
Sitemap
Clean-Param
Dopustiti.
Puzanje	Preporučujemo upotrebu postavke brzine puzanja

Direktiva	Šta to radi.
Korisnički agent *	Označava robota na koji se pravila navedena u robots.txt primjenjuju.
Onemogućiti.	Zabranjuje odjeljke za indeksiranje ili pojedinačne stranice.
Sitemap	Određuje put do datoteke Sitemap koji se objavljuje na web mjestu.
Clean-Param	Označava robotu da se stranica utm oznake koje se prestane zanemaruju prilikom indeksiranja.
Dopustiti.	Omogućuje indeksiranje odjeljaka ili pojedinačnih stranica.
Puzanje	Određuje minimalni interval (u sekundama) za pretraživanje robota da čeka nakon učitavanja jedne stranice, prije nego što se počne učitavati drugi. Preporučujemo korištenje postavke brzine puzanja u Yandex.Webmasteru umjesto direktive.

* Obavezna direktiva.

Najčešće trebate direktive za onemogućavanje, sitemap i čiste parame. Na primjer:

Korisnički agent: * Direktive su postavljene za onemogućavanje: / bin / # onemogućuje veze iz košarice. Onemogućavanje: / Pretraživanje / # Onemogućuje stranice stranice ugrađene na web lokaciju Osigurajte: / admin / # Onemogućuje veze sa administrativne ploče Sitemap: http://example.com/sitemap # Navedite za robota Sitemap datoteku stranice Clean-Param: ref /some_dir/get_book.pl

Roboti iz drugih pretraživača i usluga mogu tumačiti način. Usluge na različit način.

Bilješka. Robot uzima u obzir slučaj podloge (naziv datoteke ili staza, imeno ime) i zanemaruje slučaj u imenima direktiva.

Koristeći ćirilicu.

Upotreba ćirilice nije dopuštena u zaglavlju robots.txt datoteke i servera HTTP.

Za imena domena koristite Punycode. Adrese za stranicu, koristite isto kodiranje kao i trenutne strukture web mjesta.

Dobar dan Dragi prijatelji! Sve što znate da je optimizacija pretraživača odgovorna i suptilna posla. Potrebno je uzeti u obzir apsolutno svaku sitnicu da biste dobili prihvatljiv rezultat.

Danas ćemo razgovarati o datoteci robots.txt koji je poznato svakom webmasteru. U njemu su u njemu propisane sva osnovna uputstva za pretraživanje robota. U pravilu su sretni slijede propisane upute i u slučaju nepravilne kompilacije odbiju za indeksiranje web resursa. Dalje ću vam reći o tome kako napraviti pravu verziju robots.txt, kao i kako konfigurirati.

U predgovoru sam već opisao šta je to. Sad ću vam reći zašto je potreban. Robots.txt je mala tekstualna datoteka koja se pohranjuje u korijenu web stranice. Koristi ga pretraživači. Jasno je napisano iz pravila indeksiranja, I.E., koji dijelovi stranice moraju biti indeksirani (dodaj u pretragu), a koja nije.

Obično su industrijski dijelovi web mjesta zatvoreni od indeksacije. Povremeno, crni lista pada sa nerešenih stranica (kopija politike privatnosti ovog primjera). Ovdje "" Roboti su objašnjeni "principi rada sa odjeljcima koji treba indeksirati. Vrlo često propisuje pravila za nekoliko robota odvojeno. O tome ćemo razgovarati dalje.

Prilikom postavljanja robota.txt vaše mjesto će biti zagarantovano u položajima pretraživača. Roboti će uzeti u obzir samo korisni sadržaj, manifestiraju dvostruke ili tehničke dijelove.

Kreiranje robots.txt

Da biste kreirali datoteku, dovoljno je koristiti standardnu \u200b\u200bfunkcionalnost vašeg operativnog sistema, nakon čega ga istovarite na server putem FTP-a. Gde leži (na serveru) da bi lako pogodio - u korijenu. Obično se ova mapa naziva public_html.

Možete lako ući s bilo kojim FTP klijentom (na primjer,) ili ugrađenom upravitelju datoteka. Naravno, nećemo prenijeti prazan robot za server. Izvodimo nekoliko glavnih direktiva (pravila).

Korisnikovac: *
Dopustiti: /

Koristeći ove redove u datoteci vaših robota, obratite se svim robotima (direktiva korisnika), omogućujući im da indeksiraju vašu web lokaciju u potpunosti i potpuno (uključujući sve. Stranice Dopuštaju: /)

Naravno, ova opcija nije naročito pogodna za nas. Datoteka neće biti posebno korisna za optimizaciju pretraživača. Definitivno je potrebna kompetentna konfiguracija. Ali prije toga razmatramo sve glavne direktive i robots.txt vrijednosti.

Direktiva

Korisnički agent	Jedan od najvažnijih, jer ukazuje na koji roboti za praćenje pravila nakon toga. Pravila se uzimaju u obzir do sljedećeg agenta korisnika u datoteci.
Dopustiti.	Omogućuje indeksaciju bilo kakvih blokova resursa. Na primjer: "/" ili "/ oznaka /".
Onemogućiti.	Naprotiv, zabranjuje indeksiranje odjeljaka.
Sitemap	Put do mape stranice (u XML formatu).
Domaćin.	Glavno ogledalo (sa www ili bez ili ako imate nekoliko domena). Ovdje također ukazuje na siguran HTTPS protokol (ako je dostupan). Ako imate standardni http, ne trebate ga odrediti.
Puzanje	S njom možete postaviti interval posjeta i preuzimanja datoteka vaše web lokacije za robote. Pomaže u smanjenju opterećenja na domaćinu.
Clean-Param	Omogućuje vam da onemogućite indeksiranje parametara na određenim stranicama (prema tipu www.site.com/cat/state?admin_ID8883278). Za razliku od prethodnih direktiva, ovdje su navedene 2 vrijednosti (adresa i parametar).

Ovo su sva pravila koja su podržana od strane vodećih pretraživača. Uz njihovu pomoć ćemo stvoriti naše robote, poslovanje različitim varijacijama za različite vrste web lokacija.

Postavka

Za kompetentnu konfiguraciju datoteke robota moramo tačno znati koji od dijelova web mjesta treba indeksirati, a koji nisu. U slučaju jednostavne jedine stranice na HTML + CSS-u, mi smo dovoljno registrirali nekoliko glavnih direktiva, kao što su:

Korisnikovac: *
Dopustiti: /
Sitemap: site.ru/sitemap.xml
Domaćin: www.site.ru.

Ovdje smo naznačili pravila i vrijednosti za sve pretraživače. Ali bolje je dodati zasebne direktive za Google i Yandex. Izgledaće ovako:

Korisnikovac: *
Dopustiti: /

Korisnikovanje: Yandex
Dopustiti: /
Onemogući: / Politika

Korisnic Agent: GoogleBot
Dopustiti: /
Onemogući: / oznake /

Sitemap: site.ru/sitemap.xml
Domaćin: stranica.ru.

Sada će na našoj web lokaciji HTML indeksirati apsolutno sve datoteke. Ako želimo isključiti neku stranicu ili sliku, tada moramo odrediti relativnu vezu s ovim fragmentom u onemogućavanju.

Možete koristiti robote automatske usluge generacije datoteka. Ne garantujemo da ćete uz pomoć stvoriti savršeno ispravnu opciju, ali možete pokušati kao upoznavanje.

Među takvim se uslugama može dodijeliti:

Uz njihovu pomoć možete kreirati robots.txt u automatskom režimu. Lično, stvarno ne preporučujem ovu opciju, jer je mnogo lakše učiniti ručno, tuung pod mojom platformom.

Govoreći o platformama, mislim na sve vrste CMS, okvira, SAAS sistema i još mnogo toga. Zatim ćemo razgovarati o tome kako prilagoditi datoteku WordPress i Joomla Robots.

Ali prije toga odaberite nekoliko univerzalnih pravila koja se mogu voditi stvaranjem i konfiguriranjem robota gotovo za bilo koju web lokaciju:

Blizina od indeksiranja (onemogućavanje):

• administracija web mjesta;
• lični račun i stranice za registraciju / autorizaciju;
• košarica, podaci sa obrascima naloga (za internetsku trgovinu);
• cGI mapa (koja se nalazi na hostu);
• servisni odjeljci;
• skripte Ajax i Json;
• Etikete UTM i Openstat;
• različiti parametri.

Otvoren (dopustiti):

• slike;
• JS i CSS datoteke;
• ostali elementi koji bi trebalo uzeti u obzir pretraživačima.

Pored toga, na kraju ne zaboravite odrediti podatke Sitemap (put do mape stranice) i domaćin (glavno ogledalo).

Robots.txt za wordpress

Da biste stvorili datoteku, moramo bacati robots.txt na korijen stranice. Sadržaj možete promijeniti u ovom slučaju koristeći sve iste rukovoditelje FTP-a i datoteka.

Postoji prikladnija opcija - Kreirajte datoteku sa dodacima. Posebno je ova značajka Yoast Seo. Uređivanje robota direktno od administratora mnogo je zgodnije, tako da i sam koristim ovaj način rada sa robots.txt.

Kako se odlučite za kreiranje ove datoteke - vaš posao, važnije je da bismo shvatili koje bi direktive trebale biti tamo. Na vašim web lokacijama koje pokreću WordPress koristeći ovu opciju:

Korisnikovanje: * # pravila za sve robote, osim Google-a i Yandex-a

Onemogući: / CGI-bin # mapa sa skriptama
OBAVIJESTI: /? # Parametri zahtjeva sa početne stranice
Onemogućiti: / wp- # Datoteke same CSM-a (sa WP-om)
Onemogući: *? S \u003d # \
Onemogući: * & s \u003d # Sve povezano za pretragu
Raslaganje: / pretraga / # /
Onemogući: / Autor / # Arhivi autori
Onemogući: / korisnici / # i korisnici
Onemogući: * / Trackback # Obavijesti iz WP-a da se neko odnosi na vas
Onemogući: * / feed # FID u XML-u
Onemogući: * / rss # i RSS.
Onemogućiti: * / ugraditi # Ugrađeni elementi
Onemogući: /xmlrpc.php. # Wordpress API.
Onemogući: * UTM \u003d # Utm etikete
Onemogući: * OpenStat \u003d # Openstat etikete
Onemogući: / oznaku / # Oznake (ako ima bilo koji)
Dozvoli: * / uploads # Otvori preuzimanja (slike itd.)

Korisnic Agent: GoogleBot # Za Google
Onemogući: / CGI-bin
OBAVIJESTI: /?
Onemogućiti: / wp-
Onemogući: *? S \u003d
Onemogući: * & s \u003d
Raslaganje: / pretraga /
Onemogući: / Autor /
Onemogući: / korisnici /
Onemogući: * / Trackback
Onemogući: * / feed
Onemogući: * / rss
Onemogućiti: * / ugraditi
Onemogući: /xmlrpc.php.
Onemogući: * UTM \u003d
Onemogući: * OpenStat \u003d
Onemogući: / oznaku /
Dozvoli: * / uploads
Dozvoli: / *\u003e .js. # Otvorite JS datoteke
Dozvoli: / *, / ABSS. # i CSS.
Dozvoli: /wp-*.png. # i slike u PNG formatu
Dozvoli: /wp-*.jpg # \
Dopusti: /wp-*.jpeg # i u drugim formatima
Dozvoli: /wp-*.gif. # /
# radi zajedno sa dodacima

Korisnikovanje: Yandex # za yandex
Onemogući: / CGI-bin
OBAVIJESTI: /?
Onemogućiti: / wp-
Onemogući: *? S \u003d
Onemogući: * & s \u003d
Raslaganje: / pretraga /
Onemogući: / Autor /
Onemogući: / korisnici /
Onemogući: * / Trackback
Onemogući: * / feed
Onemogući: * / rss
Onemogućiti: * / ugraditi
Onemogući: /xmlrpc.php.
Onemogući: / oznaku /
Dozvoli: * / uploads
Dozvoli: / *\u003e .js.
Dozvoli: / *, / ABSS.
Dozvoli: /wp-*.png.
Dozvoli: /wp-*.jpg
Dozvoli: /wp-*.jpeg.
Dozvoli: /wp-*.gif.
Dozvoli: /wp-admin/admin-ajax.php.
# CLEAN UTM oznake
Clean-Param: OpenStat # i o OpenStatu ne zaboravite

Sitemap: # Propisujemo put do mape stranice
Domaćin: https://site.ru. # Glavno ogledalo

Pažnja! Prilikom kopiranja žica u datoteku - ne zaboravite izbrisati sve komentare (tekst nakon #).

Ovaj opcijski roboti.txt je najpopularniji među webmasterima koji koriste WP. Je li savršeno? Ne. Možete pokušati dodati nešto ili, naprotiv u uklanjanju. Ali imajte na umu da prilikom optimizacije tekstova robota, greška nije neuobičajena. O njima ćemo više razgovarati.

Robots.txt za joomla

I iako je 2018. Joomla rijetko ko koristi, vjerujem da je nemoguće odrediti ovaj divni CMS. Pri promociji projekata na Joomli, sigurno ćete morati stvoriti datoteku robota i inače kako želite zatvoriti nepotrebne elemente iz indeksacije?

Kao i u prethodnom slučaju, možete ručno kreirati datoteku, samo ga bacati na domaćin ili koristiti modul u te svrhe. U oba slučaja morat ćete ga kompetentno konfigurirati. Ovo će izgledati kao tačna opcija za Joomla:

Korisnikovac: *
Dozvoli: /*.css?
Dozvoli: /*.js?
Dozvoli: /*.jpg?c.
Dozvoli: /*.png?c.a.
Onemogući: / predmemoriju /
Onemogućiti: /*.pdf.
Onemogući: / administrator /
Onemogući: / instalacija /
Onemogućiti: / cli /
Onemogući: / biblioteke /
Onemogućiti: / jezik /
Onemogući: / komponente /
Onemogući: / moduli /
Onemogućiti: / uključuje /
Onemogući: / bin /
Onemogući: / komponenta /
Onemogući: / tmp /
Onemogući: /index.php.
Onemogući: / dodaci /
Onemogući: / * mailto /

Onemogući: / zapisnike /
Onemogući: / komponenta / oznake *
Onemogući: / *%
Onemogući: / Izgled /

Korisnikovanje: Yandex
Onemogući: / predmemoriju /
Onemogućiti: /*.pdf.
Onemogući: / administrator /
Onemogući: / instalacija /
Onemogućiti: / cli /
Onemogući: / biblioteke /
Onemogućiti: / jezik /
Onemogući: / komponente /
Onemogući: / moduli /
Onemogućiti: / uključuje /
Onemogući: / bin /
Onemogući: / komponenta /
Onemogući: / tmp /
Onemogući: /index.php.
Onemogući: / dodaci /
Onemogući: / * mailto /

Onemogući: / zapisnike /
Onemogući: / komponenta / oznake *
Onemogući: / *%
Onemogući: / Izgled /

Korisnic Agent: GoogleBot
Onemogući: / predmemoriju /
Onemogućiti: /*.pdf.
Onemogući: / administrator /
Onemogući: / instalacija /
Onemogućiti: / cli /
Onemogući: / biblioteke /
Onemogućiti: / jezik /
Onemogući: / komponente /
Onemogući: / moduli /
Onemogućiti: / uključuje /
Onemogući: / bin /
Onemogući: / komponenta /
Onemogući: / tmp /
Onemogući: /index.php.
Onemogući: / dodaci /
Onemogući: / * mailto /

Onemogući: / zapisnike /
Onemogući: / komponenta / oznake *
Onemogući: / *%
Onemogući: / Izgled /

Domaćin: stranica.ru. # Ne zaboravite da promijenite adresu na svoj
Sitemap: site.ru/sitemap.xml # i ovdje

U pravilu je to dovoljno tako da nepotrebne datoteke ne spadaju u indeks.

Pogreške prilikom postavljanja

Vrlo često ljudi omogućavaju greške prilikom kreiranja i konfiguriranja datoteke robota. Evo najčešće od njih:

• Pravila su označena samo za agent korisnika.
• Nema domaćina i sitemap.
• Prisutnost HTTP protokola u direktivi domaćin (samo trebate odrediti HTTPS).
• Neuspjeh u skladu sa pravilima gniježđenja prilikom otvaranja / zatvaranja slika.
• Nije zatvoreno utm i Openstat oznake.
• Pritiskom na direktive o hostu i sitemap za svaki robot.
• Površinsko istraživanje datoteka.

Vrlo je važno pravilno konfigurirati ovu malu datoteku. Kada se odobri grubim greškama, možete izgubiti značajan dio prometa, tako da budete izuzetno pažljivi prilikom postavljanja.

Kako provjeriti datoteku?

U ove je svrhe bolje koristiti posebne usluge iz Yandex-a i Googlea, jer su ove pretraživače najpopularnije i najpoželjnije (najčešće jedinstvene), takve pretraživače poput Bing-a, Yahoo ili Rambler-a, Yahoo ili Rambler.

Za početak s obzirom na opciju Yandex. Idemo na webmasteru. Nakon toga, alati za analizu robota.txt.

Ovdje možete provjeriti datoteku za pogreške, kao i ček u realnom vremenu, koje su stranice otvorene za indeksiranje, a koje nisu. Vrlo zgodno.

Google ima potpuno istu uslugu. Idemo B. Pretražite konzolu. . Pronađemo karticu skeniranja, odaberite - Alat za provjeru datoteka Robots.txt.

Evo potpuno iste funkcije kao i u domaćoj službi.

Imajte na umu da mi pokazuje 2 pogreške. To je zbog činjenice da Google ne prepoznaje direktive o čišćenju parametara koje sam odredio za Yandex:

CLEAN-PAM: UTM_Source & UTM_Medium & UTM_Campaign
Clean-Param: OpenStat

Ne vrijedi obraćati pažnju na to, jer Googleovi roboti koriste samo pravila za GoogleBot.

Zaključak

Robots.txt datoteka je vrlo važna za SEO optimizaciju vaše web lokacije. Dođite u svoju konfiguraciju sa svom odgovornošću, jer s pogrešnom implementacijom sve može ići kao šok.

Razmislite sa svim uputama koje sam podijelio u ovom članku i ne zaboravite da ne morate nužno kopirati moje mogućnosti robota. Moguće je da ćete morati dodatno razumjeti svaku direktivu, prilagođavajući datoteku pod vašim specifičnim slučajem.

A ako želite da se više duboko shvatite u robots.txt i kreirate web stranice na WordPress-u, a zatim vas pozva na. Na njemu ćete naučiti kako lako možete stvoriti web mjesto, bez zaboravljanja da ga optimizirate za pretraživače.

Robots.txt - Ovo je tekstualna datoteka koja se nalazi u korijenu stranice - http://site.ru/robots.txt.. Njegova glavna svrha je postavljanje određenih direktiva za pretraživanje motora - šta i kada treba učiniti na web mjestu.

Najlakši roboti.txt

Najlakši robots.txt, koji svi pretraživači sve dozvoljavaju na indeksu, izgleda ovako:

Korisnikovac: *
Onemogući:

Ako na kraju zabraniti Direktivu na kraju nema nagnutu kosa, tada su sve stranice za indeksiranje dopuštene.

Takva direktiva u potpunosti zabranjuje web mjesto za indeksiranje:

Korisnikovac: *
Onemogući: /

Korisnički agent - označava za koga su direktive namijenjene, zvijezde ukazuje da je za sve PS, korisnički agent naznačen za Yandex: Yandex.

Yandex pomoć je napisana da njegovi pretraživački roboti rukuju korisnički agent: *, ali ako budete prisutni korisnički agent: Yandex, korisnički agent: * ignoriran.

Onemogućiti i dopustiti direktive

Postoje dvije glavne direktive:

Onemogućiti - zabraniti

Dozvoli - Dopusti

Primjer: Na blogu zabranjeni smo indeksirati mapu / WP-sadržaj / gdje se nalaze dodaci, template i.t.p. Ali postoje i slike koje su PS indeksirani za sudjelovanje u potrazi za slikama. Da biste to učinili, koristite takvu shemu:

Korisnikovac: *
Dozvoli: / wp-sadržaj / prijenos / # Omogućite indeksiranje slika u mapi za upload
Onemogući: / WP-sadržaj /

Postupak korištenja direktiva važan je za Yandex ako se prijave na jednu stranicu ili mape. Ako navedite ovako:

Korisnikovac: *
Onemogući: / WP-sadržaj /
Dozvoli: / wp-sadržaj / prijenos /

Slike neće učitati Yandex robot iz / uploads /, jer se izvršava prva direktiva, koja zabranjuje sav pristup mapi WP sadržaj.

Google pripada lakše i vrši sve direktive robots.txt datoteke, bez obzira na njihovu lokaciju.

Takođe, ne zaboravite da su direktive sa smanjenjem i bez, vrše različite uloge:

Raslaganje: / o Zabranjeni pristup cijeloj web lokaciji.Ru/about/ imenik, neće biti indeksirane stranice koje sadrže oko - web lokacija.ru/about.html, web lokacija.ru/aboutlive.html i.t.p.

Onemogućiti: / oko / Onemogućite indeksaciju stranica robota na adresu web lokacije.ru/about/ i stranicama putem tipa.ru/about.html i.t.p. biće dostupan indeksiranju.

Redovni izrazi u robots.txt

Podržani su dva znaka, ovo je:

* - podrazumijeva bilo koji redoslijed znakova.

Primjer:

Onemogući: / O * Onemogućite pristup svim stranicama koje sadrže, u principu, ova Direktiva također će raditi bez zvijezda. Ali u nekim slučajevima ovaj izraz nije zamjenjiv. Na primjer, u jednoj kategoriji postoje stranice C.HTML-a na kraju i bez zatvaranja od indeksiranja svih stranica koje sadrže HTML, propisujemo ovu direktivu:

Onemogući: /about/*.html.

Sada web stranica.ru/about/live.html Stranice su zatvorene od indeksiranja, a stranica.ru/about/live stranica je otvorena.

Drugi primer analogijom:

Korisnikovanje: Yandex
Dozvoli: /about/*.html. # Dozvolite mi da indeksiram
Onemogućiti: / oko /

Sve stranice bit će zatvorene, osim stranica koje završavaju sa .html

$ - Preseče preostali dio i označava kraj niza.

Primjer:

Raslaganje: / o - Ovaj robots.txt Direktiva zabranjuje indeksiranje svih stranica koje počinju s tim, također ide zabrana na stranicama u / o / direktorijumu.

Dodavanje dolarskog simbola na kraju - OBAVIJESTI: / Otprilike $ Mi ćemo obavijestiti robote koji ne možete indeksirati samo stranicu / o stranici, a / o / o / a, stranicama / za aboutlive i.t.p. može se indeksirati.

Sitemap Direktiva

Ova direktiva ukazuje na put do mape stranice, u ovom obliku:

Sitemap: http: //site.ru/sitemap.xml

Direktiva domaćin.

Naznačeno u ovom obliku:

Domaćin: stranica.ru.

Bez http: //, nagnute scene i slične stvari. Ako imate glavno retrovizor sa www, onda napišite:

Primjeri robots.txt za Bitrix

Korisnikovac: *
Onemogući: /*index.phppp
Onemogući: / bitrix /
Onemogućiti: / auth /
Onemogući: / lično /
Onemogući: / upload /
Raslaganje: / pretraga /
Onemogući: / * / pretragu /
Onemogući: / * / slajd_show /
Onemogući: / * / galerija / * narudžba \u003d *
OBAVIJESTI: / *? *
Onemogući: / * & print \u003d
Onemogući: / * Registriraj \u003d
Onemogući: / * zaboravljena_password \u003d
Onemogući: / * meni_password \u003d
Onemogući: / * Prijava \u003d
Onemogući: / * odjava \u003d
Onemogući: / * auth \u003d
Onemogući: / * action \u003d *
Onemogući: / * bitrix _ * \u003d
Onemogući: / * backurl \u003d *
Onemogući: / * backurl \u003d *
Onemogući: / * back_url \u003d *
Onemogući: / * back_url \u003d *
Osigurajte: / * back_url_admin \u003d *
Onemogući: / * print_course \u003d y
Onemogući: / * kurs_id \u003d
Onemogući: / * pagen_ *
Onemogući: / * stranica_ *
Onemogući: / * showalll
Onemogući: / * show_all \u003d
Domaćin: SiteName.ru.
Sitemap: https://www.sitename.ru/sitemap.xml

Primjer robots.txt za WordPress

Nakon dodavanja svih potrebnih direktiva, koje su gore opisane. Morate dobiti nešto poput ovih robota datoteke:

To je tako reći osnovnu verziju robots.txt za WordPress. Evo dva agent korisnika - a - jedan za sve, a drugi za Yandex, gdje je naznačena direktiva domaćina.

Meta Tags Roboti

Moguće je zatvoriti sa stranice indeksiranja ili web lokacije ne samo Robots.txt datoteka, može se učiniti sa meta oznakom.

<meta Name \u003d "Roboti" Sadržaj \u003d "Noindex, Nofollow"\u003e

Potrebno je propisati ga u oznaci, a ova meta oznaka će zabraniti web mjesto. U WordPress-u postoje dodaci koji vam omogućavaju postavljanje takvih meta oznaka, poput platine SEO paketa. S njom možete zatvoriti iz indeksacije bilo koja stranica, koristi meta oznake.

Direktiva o odgodu

Pomoću ove direktive možete postaviti vrijeme na koje treba prekinuti bot za pretraživanje između preuzimanja stranica stranica web mjesta.

Korisnikovac: *
Kašnjenje - odlaganje: 5

Istek vremena između punjenja dvije stranice bit će jednak 5 sekundi. Da biste smanjili opterećenje na poslužitelju, obično izložite 15-20 sekundi. Ova direktiva potrebna je za velike, često ažurirane stranice, na kojima se botovi pretražuju jednostavno "uživo".

Za obične stranice / blogove, ova direktiva nije potrebna, ali na taj način može ograničiti ponašanje drugih ne-stvarnih pretraga robota (Rambler, Yahoo, Bing) I.T.P. Uostalom, oni takođe uđu u web mjesto i indeksiraju ga i na taj način stvara opterećenje na poslužitelju.

Tačno, kompetentna konfiguracija root datoteke robots.txt jedan je od najvažnijih zadataka web čarobnjaka. U slučaju neoprostivih grešaka u potrazi za izručenjem mogu se pojaviti mnoge nepotrebne stranice web stranice. Ili, naprotiv, važni dokumenti vaše web lokacije bit će zatvoreni za indeksiranje, u najgorem slučaju, možete zatvoriti za pretraživanje robota sav korijenski direktorij domene.

Pravilna konfiguracija robots.txt datoteke sa vlastitim rukama, zapravo zadatak nije baš komplikovan. Nakon čitanja ovog članka, naučit ćete mudrost direktiva i samostalno pisati pravila za datoteku robots.txt na vašoj web stranici.

Da biste stvorili datoteku robots.txt, koristi se, ali ne i složena sintaksa. Ne koriste se mnogo direktiva. Razmislite o pravilima, strukturi i sintaksi robots.txt datoteke korak po korak i detaljno.

Opći pravila Robots.txt

Prvo, sama datoteka Robots.txt mora imati ANSI kodiranje.

Drugo, nemoguće je koristiti za pisanje pravila bilo koje nacionalne abecede, mogući je samo latino.

Strukturno datotečni roboti.txt može se sastojati od jednog ili više blokova uputa, odvojeno za robote različitih pretraživača. Svaki blok ili odjeljak ima skup pravila (direktiva) za indeksiranje stranice pretraživačkom motorom.

U direktivama, blokovi pravila i između njih nisu dozvoljeni nepotrebni naslovi i simboli.

Direktive i blokovi pravila odvojeni su prenosom niza. Jedina pretpostavka su komentari.

Komentirajući robots.txt

Za komentar, koristite simbol '#'. Ako stavite simbol "rešetke" na početak niza, a zatim do kraja retka, svi sadržaji zanemaruju pretraživanje robota.

Korisnikovac: *
Onemogući: / CSS # Napišite komentar
# Pišemo drugi komentar
Onemogući: / img

Odjeljci u datoteci robots.txt

Prilikom čitanja datoteke s robotom koristi se samo odjeljak koji se upućuje na robot ovog pretraživača koji je, koji je, ako je u odjeljku, korisnički agent je naziv Yandex pretraživača, a zatim će njegov robot čitati samo odjeljak upućen na njega, zanemarujući druge, posebno i odjeljak s direktivom za sve robote - korisnički agent: *.

Svaki od dijelova je ja. Odjeljci mogu biti donekle, za robote svakog ili nekih pretraživača, te jednu univerzalnu, za sve robote ili robote jednog od njihovih sistema. Ako je odjeljak jedan, započinje s prvim redom datoteke i uzima sve redove. Ako su odjeljci nekoliko, tada moraju biti odvojeni praznim nizom, barem jedan.

Odjeljak uvijek započinje s Direktivom o korisničkom agentu i sadrži naziv pretraživača za koji su roboti namijenjeni ako to nije univerzalni dio za sve robote. U praksi izgleda ovako:

Korisnic Agent: Yandexbot
# OUSER AGENT ZA ROBOTE YANDEX SYSTEM
Korisnikovac: *
# OUSER agent za sve robote

Navedi nekoliko imena botova zabranjena je. Za botove svakog pretraživača stvara se vlastiti odjel, vlastiti poseban blok pravila. Ako su, u vašem slučaju, pravila za sve robote iste, koristite jedan univerzalni, zajednički odjeljak.

Direktiva, šta je to?

Direktiva je naredba ili pravilo koje govore robotu za pretragu za određene informacije. Direktiva prijavljuje botu za pretraživanje, kako indeksirati vašu web lokaciju, koje imenike ne pregledavaju gdje je karta web stranice u XML formatu, što je ime domene glavno ogledalo i neki drugi tehnički detalji.

Dijeljenje datoteka robots.txt sastoji se od zasebnih naredbi,
Direktive. Opće sintakse direktive poput:

[_Name]: [Neobvezni prostor] [vrijednost] [Opcionalni prostor]

Direktiva je napisana u jednoj liniji, bez transfera. Prema prihvaćenim standardima, linije nisu dopuštene između direktiva u jednom odjeljku, odnosno sve direktive istog dijela napisane su na svakom retku, bez dodatnih linija.

Opišimo vrijednosti korištenih glavnih direktiva.

Direktiva onemogućiti

Najčešće korištena direktiva u datoteci robots.txt je "onemogućavanje" - zabranjivanje. Direktiva za onemogućavanje zabranjuje indeksaciju staze navedene u njemu. Može biti zasebna stranica, stranice koje sadrže navedenu "masku" u vašem URL-u (staze), dio web mjesta, zasebni direktorij (mapa) ili cijelu web stranicu.

"*" - Zvezde znači - "bilo koji broj likova". To je, put / mapa * isti u vašoj vrijednosti sa "/ mape", "/ mape1", "/ mape11", "/ mape" ili "/ mapa". Roboti, prilikom čitanja pravila, automatski dodajte znak "*". U primjeru navedenim u nastavku, obje direktive su apsolutno jednako jednako jednako:

Onemogući: / Novosti
OBAVIJESTI: / VIJESTI *

"$" - znak dolara zabranjuje robote prilikom čitanja direktiva automatski dodaju simbol "*" (Star) na kraju Direktive. Drugim riječima, simbol "$" znači kraj usporednog niza. To je, u našem primjeru zabranimo indeksiranje mape "/ mape", ali ne zabranjujemo u mapama "/ mape1", "/ mape111" ili "/ mape":

Korisnikovac: *
Onemogući: / mapu $

"#" - (Sharpe) znak za komentar. Sve što je napisano nakon ove ikone, u jednom sa IT linijom, zanemaruje pretraživači.

Dopusti Direktivu

Datoteka Robots.txt datoteke Dopuštanja je suprotna od direktive protiv direktive, direktiva dopuštanja rješava. U donjem primjeru, prikazan je da zabranjujemo indeksiranje cijele web stranice osim mape / mape:

Korisnikovac: *
Dopusti: / mapu
Onemogući: /

Primjer istodobnog korištenja "Dozvoli", "onemogući" i prioritet

Ne zaboravite na razumijevanje prioriteta za zabrane i dozvole, prilikom određivanja direktiva. Prije toga, prioritet je označen postupkom za proglašavanje zabrana i dozvola. Sada je prioritet određeno specificiranjem maksimalnog postojećeg puta unutar jednog bloka za robot pretraživača (korisnički agent), kako bi se povećala dužina staze i mjesta uputstava direktive nego što je duži put, što je duže prioritet :

Korisnikovac: *
Dozvoli: / mape
Onemogući: / mapu

U gornjem gornjem primjeru, URL indeksiranje dopušteno je započeti "/ mape", ali zabranjeno je u stazama koje imaju u svojim URL-ovima Start "/ mape", "/ mape2" ili "/ mape2". U slučaju istog puta do direktive "Dozvoli" i "onemogući", sklonost se daje direktivom "Dopuštanja".

Prazna vrijednost parametra u direktivama "Dopušta" i "rastavljanja"

Postoje greške na web master-u kada su u datoteci Robots.txt u Direktivi zabrani
Zaboravite navesti simbol "/". Ovo je netačno, pogrešno tumačenje vrijednosti direktiva i njihovu sintaksu. Kao rezultat toga, direktiva zabrane postaje rezolucija: "Osiguravanje:" apsolutno je identično "Dopusti: /". Ispravna zabrana indeksacije cijele stranice izgleda ovako:

Isto se može reći o "Dopusti:". Direktiva "Dopušta:" bez simbola "/" zabranjuje indeksaciju cijele stranice, kao i "onemogućavanje: /".

Sitemap Direktiva

Za sve kanonte za SEO-optimizaciju morate koristiti mapu stranice (Sitemap) u XML formatu i pružiti ga za pretraživanje motora.

Uprkos funkcionalnosti "ormara za web-majstore" u pretraživačima potrebno je proglasiti prisustvo sitemap.xml i u robots.txt pomoću Direktive " Sitemap" Pretražite robote kada ćete zaobići web lokaciju vidjeti uzorak na datoteci Sitemap.xml i budite sigurni da ga koristite na sljedećem zaobilaznicom. Primjer upotrebe direktive Sitemap u datoteci robots.txt:

Korisnikovac: *
Sitemap: https://www.domainname.zone/sitemap.xml

Direktiva domaćin.

Drugi važni roboti.txt direktiva je direktiva Domaćin..

Vjeruje se da to ne prepoznaju svi pretraživači. Ali Yandex ukazuje na to da čita ovu direktivu, a Yandex u Rusiji je glavni "uvlakač za pretraživanje", tako da nećemo zanemariti direktivu o hostu.

Ova direktiva kaže pretraživačima, koji je domen glavni ogledalo. Svi znamo da web mjesto može imati nekoliko adresa. URL stranice može se koristiti ili ne koristiti prefiks www ili web mjesto može imati nekoliko imena domena, na primjer, domein.ru, domein.com, domen.ru, www.domen.ru. To je upravo u takvim slučajevima, informiramo pretraživač u datoteci robots.txt koristeći Direktivu domaćina, koja je od tih imena glavna. Vrijednost direktive je naziv glavnog ogledala. Dajemo primjer. Imamo nekoliko imena domena, domen.com, domen.ru, www.domen.ru) i svi preusmjeravaju posjetitelje na web mjestu www.domen.ru, ulazak u datoteku robots.txt izgledat će ovako :

Korisnikovac: *
Domaćin: www.domen.ru.

Ako želite svoje glavno ogledalo bez prefiksa (www), tada, u skladu s tim, trebali biste odrediti naziv web mjesta bez prefiksa u Direktivi.

Direktiva domaćina rješava problem parova na stranicama sa kojima se često suočavaju web čarobnjaci i SEO stručnjaci. Stoga se Direktiva domaćina mora upotrijebiti nužno ako ste usmjereni na segment koji govori ruski i važni ste za rangiranje svoje web stranice u Yandex pretraživaču. Ponovite, za danas o čitanju ove Direktive, kaže samo "Yandex". Da biste odredili glavno ogledalo u drugim pretraživačima, morate koristiti postavke u ormarima za veb magistar. Ne zaboravite da se ime glavnog ogledala mora pravilno naznačiti (ispravnost pisanja, poštivanje kodiranja i sintaksa robots.txt datoteke). U datoteci je ova Direktiva dozvoljena samo jednom. Ako ga pogrešno navedite nekoliko puta, onda će roboti uzeti u obzir prvi unos.

Direktiva o odgodu

Ova direktiva je tehnička, zapovjednika pretraživanja robota, koliko često trebate posjetiti vašu web lokaciju. Preciznije, direktiva za odlaganje puza ukazuje na minimalnu pauzu između posjeta robotima vašeg web lokacije (pretrage CralIers). Zašto ukazati na ovo pravilo? Ako se roboti često dođu do vas, a nove informacije na web mjestu pojavljuju se mnogo rjeđe, tada će se pretražiti motori na rijetkoj promjeni informacija na vašoj web lokaciji i posjećit će vas mnogo rjeđe nego što vam se sviđa. Ovo je argument pretraživanja u korist upotrebe direktive za odlaganje puzanja. Sada tehnički argument. Previše česta posjeta robotama vašeg web mjesta stvara dodatno opterećenje na poslužitelju koji vam uopće ne trebaju. Vrijednost Direktive je bolja za naznačiti cijeli broj, ali sada su neki roboti naučili čitati i frakcionalne brojeve. Određuje vrijeme u sekundi, na primjer:

Korisnikovanje: Yandex
Kašnjenje - odlaganje: 5.5

Direktiva o čistim paragrama

Opcionalna direktiva "CLEAN-PAMM" označava pretragu postavki adrese web lokacije koje ne trebaju indeksirati i treba ih poduzeti kao isti URL. Na primjer, imate iste stranice prikazane na različitim adresama, karakteriziranim u jednom ili više parametara:

www.domain.zone/folder/page/
www.domain.zone/index.php?folder\u003dfolder&page\u003dpage1/
www.domain.zone/ index.php? Folder \u003d 1 & stranica \u003d 1

ROBOTI pretraživanja skenirat će sve takve stranice i primijetiti da su stranice iste, sadrže isti sadržaj. Prvo će stvoriti zbrku u strukturi web mjesta u indeksaciji. Drugo, dodatno opterećenje na poslužitelju će se povećati. Treće, brzina skeniranja primjetno će pasti. Da biste izbjegli ove nevolje i upotrijebite direktivu o čistoj paragraciji. Sintaksa je sljedeća:

CLEAN-PAM: Param1 [& param2 & param3 & param4 & ... & param * n] [staza]

Direktiva "Clean-Param", poput "domaćina" čitati nisu sve pretraživače. Ali Yandex to razumije.

Greške koje se često nalaze u robots.txt

Datoteka robots.txt nije u korijenu stranice.

Datoteka robota. txt treba staviti u korijen stranice, samo u korijenskom direktoriju. Sve ostale datoteke s istim nazivom, ali oni u ostalim mapama (direktorija) zanemaruju pretraživači.

Pogreška u nazivu datoteke robots.txt

Naziv datoteke napisan je malim slovima (donji registar) i treba ih nazvati roboti.pORUKA.. Sve ostale opcije smatraju se pogrešno i potraga za stresom bit će prijavljeno na odsustvo datoteke. Česte pogreške izgledaju ovako:

Robots.txt
Robots.txt
robot.txt

Koristite nevažeće znakove u robot.txt

Datoteka Robots.txt mora biti u ANSI kodiranju i sadrže samo latinski. Pisanje direktiva i njihove vrijednosti bilo kojim drugim nacionalnim simbolima su neprihvatljivi, osim sadržaja komentara.

Robots.txt sintaksa grešaka

Pokušajte strogo slijediti pravila sintakse u datoteci robots.txt. Pogreške sintaksa mogu rezultirati zanemarivanjem sadržaja cijele datoteke pretraživača.

Navodeći više robota u jednoj liniji u Direktivi o korisničkom agentu

Greška, često dopuštene od strane novice webmastera, radije zbog vlastite lijenosti, a ne da razbije robots.txt datoteku u odjeljak, a kombiniraju naredbe za nekoliko pretraživača u jednom odjeljku, na primjer:

Korisnički agent: Yandex, GoogleBot, Bing

Za svaki pretraživač trebate stvoriti vlastiti poseban odjeljak, uzimajući u obzir one direktive koje ovaj pretraživač glasi. Pored toga, u ovom slučaju je jedinstveni odjeljak za sve pretraživače:

Korisnikovanje sa praznom vrijednošću

Direktiva o korisničkom agentu ne može imati praznu vrijednost. Alternativno mogu biti samo "dopustiti" i "onemogućiti", a zatim uzeti u obzir činjenicu da mijenjaju svoju vrijednost. Specificiranjem direktive o korisničkom agentu sa praznom vrijednošću je bruto greška.

Nekoliko vrijednosti u Direktivu zabrani

Češće zabluda, ali, ipak, periodično se može vidjeti na web lokacijama, to je naznaka nekoliko vrijednosti u dopuštanju i odbacuvanju direktiva, na primjer:

Onemogući: / Folder1 / Folder2 / Folder3

Onemogući: / Folder1
Onemogući: / Folder2
Onemogući: / Folder3

Nepoštivanje prioriteta direktiva u robots.txt

Ova je greška već opisana gore, ali za konsolidaciju materijala će se ponoviti. Prije toga, prioritet je određen postupkom za usmjerene direktive. Do danas su se pravila promijenila, prioritet je naveden dužinom linije. Ako postoje dvije međusobno ekskluzivne direktive, dopuštaju i onemogućite istim sadržajem u datoteci, tada će prioritet omogućiti.

Tražilice i robots.txt

Direktive u datoteci robots.txt su preporučni znak za pretraživače. To znači da se pravila čitanja može povremeno promijeniti ili dopuniti. Zapamtite i da svaki pretraživač obrađuje direktive za datoteke na svoj način. A ne čita sve direktive koje svako od pretraživača glasi. Na primjer, direktiva domaćina danas čita samo Yandex. Istovremeno, Yandex garantira da će se ime domene precizirati kao glavno ogledalo u direktivi domaćina bit će dodijeljeno glavnoj stvari, ali tvrdi da će biti prioritet navedenog imena u Direktivi.

Ako imate mali skup pravila, možete kreirati jedan odjeljak za sve robote. U suprotnom, nemojte biti lijeni, stvorite zasebne odjeljke za svaki pretraživač koji vas zanimaju. Posebno se to odnosi na zabrane, ako ne želite da neke određene stranice unose u potragu.

Brza navigacija na ovoj stranici:

Moderna stvarnost je da u Runetu ne može učiniti samopoštovati stranicu bez datoteke koja se zove roboti. Čak - čak i ako nemate šta zabraniti indeksiranjem (iako postoje tehničke stranice i duplikat sadržaja koji zahtijevaju zatvaranje od indeksiranja), zatim na a Minimum, za registraciju Direktive sa WWW-om i bez www za Yandex definitivno vrijedi - za to, a pravila za pisanje robots.txt, o čemu će biti diskutovan u nastavku.

Šta je robots.txt?

Datoteka s takvim imenom uzima svoju priču od 1994. godine, kada je Konzorcijum W3C odlučio unijeti tako standard tako da web lokacije mogu pružiti pretraživače u uputama za indeksiranje.

Datoteka s takvim imenom mora biti spremljena u korijenskom direktoriju web lokacije, stavite je u bilo koje druge mape nije dopušteno.

Datoteka vrši sljedeće funkcije:

1. zabranjuje bilo koje stranice ili stranice na indeksiranje
2. omogućuje bilo kojim stranicama ili grupama stranica za indeksiranje
3. određuje Yandex robot, koje je retrovizor sajt glavno (sa www ili bez www-a)
4. prikazuje lokaciju datoteke sa mapom web mjesta

Sve četiri stavke su izuzetno važne za optimizaciju web lokacije. Zabrana indeksiranja omogućava vam zatvaranje stranice koja sadrži duplikat sadržaj - na primjer, stranice oznake, arhive, rezultate pretraživanja, stranice s tiskanim verzijama i tako dalje. Prisutnost duplikata sadržaja (kada je isti tekst, iako u iznosu od više ponuda prisutan na dvije ili više stranica) je minus za mjesto u rangiranju pretraživača, jer parovi bi trebali biti što manji.

Direktiva o dopuštanju nema samo-vrijednosti, jer su prema zadanim postavkama sve stranice i tako su dostupne za indeksiranje. Djeluje u snopu s onemogućavanjem - kada se, na primjer, neka vrsta naslova potpuno zatvori od pretraživača, ali želite otvoriti stranicu u njemu ili zasebnu stranicu.

Navođenjem na glavnom ogledalu web stranice također je jedan od najvažnijih elemenata u optimizaciji: pretraživači razmatraju web stranice www.vashsite.ru i vasshtsyt.ru kao dva različita resursa, ako direktno odredite drugačije. Kao rezultat toga, sadržaj se sumnja - izgled dvostrukog, smanjenje sile vanjskih veza (vanjskim vezama može se postaviti i sa www-a i bez www) i kao rezultat toga može dovesti do nižeg ranga u rezultatima pretraživanja .

Za Google se glavno ogledalo propisuje u webmasterskim alatima (http://www.google.com/webmasters/), ali za Yandex, ove upute mogu se propisati samo u tim robotima. TCT.

Navedite XML datoteku s karticom web stranice (na primjer - sitemap.xml) omogućava pretraživačkim motorima da otkriju ovu datoteku.

Upute za agent korisnika

Korisnikovanje u ovom slučaju, ovo je pretraživač. Prilikom pisanja uputstava morate navesti da li će se djelovati na svim pretraživačima (tada je zvjezdani znak pričvršćen - *) ili su dizajnirani za neki zasebni pretraživač - na primjer, Yandex ili Google.

Da biste postavili korisničko sredstvo indikacije svih robota, napišite u svojoj datoteci nakon sljedeće retke:

Korisnikovac: *

Za Yandex:

Korisnikovanje: Yandex

Za Google:

Korisnic Agent: GoogleBot

Pravila za onemogućavanje i dopuštanje

Prvo, treba napomenuti da robots.txt datoteka za njegovu valjanost mora nužno sadržavati barem jednu direktivu za onemogućavanje. Sada s obzirom na primjenu ovih direktiva na konkretne primjere.

Kroz ovaj kod omogućujete indeksaciju svih stranica web stranice:

Korisnikovanje: * Onemogući:

I kroz takvu kodu, naprotiv, sve stranice će biti zatvorene:

Korisnički agent: * onemogući: /

Zabraniti indeksiranje određenog direktorija nazvan mapu, navedite:

Korisnikovanje: * Onemogući: / Folder

Takođe možete koristiti zvjezdice za zamjenu proizvoljnog imena:

Korisnički agent: * onemogući: * .php

Važno: U potpunosti zamjenjuje ime datoteke, odnosno ne možete navesti datoteku * .php, možete samo * .php (ali sve stranice sa proširenjem bit će zabranjeno - možete odrediti određenu adresu stranice) .

Dozvoli Direktivu, kao što je već spomenuto, koristi se za stvaranje izuzetaka u onemogućavanju (u suprotnom nema smisla jer su zadane stranice otvorene).

Na primjer, zabranjeno je indeksiranje stranice u mapi arhiviranja, ali će napustiti index.html Open Stranicu iz ovog direktorija:

Dopusti :/rchive/index.html onemogući: / arhiva /

Navedite domaćinu i mapu stranice

Domaćin je glavno ogledalo stranice (to jest, naziv domene plus www ili naziv domene bez ove konzole). Domaćin je označen samo za Yandex robot (barem jedan zabrani tim mora biti potreban.

Da biste odredili host robots.txt mora sadržavati sljedeći unos:

Korisnički agent: Yandex onemogući: domaćin: www.vashsayt.ru

Što se tiče mape stranice, robots.txt sitemap specificiran je jednostavnim govorom punim putem do odgovarajuće datoteke, što označava ime domene:

Sitemap: http: //vashsayt.ru/sitemap.xml

O tome kako napraviti mapu stranice za WordPress, napisano.

Primjer robots.txt za WordPress

Za upute za WordPress, morate navesti sve tehničke direktorije (WP-administrator, WP-obuhvata itd.) Za indeksiranje, kao i duplikatne stranice koje su stvorene oznakama, RSS datotekama, komentari, pretraživanja.

Kao primjer robots.txt za WordPress možete uzeti datoteku s naše web stranice:

Korisnikovanje: Yandex onemogućavanje: / WP-admin onemogućavanje: / wp-login.php onemogućavanje: /wp-register.php onemogući: /xmlrpc.php onemogući: / Traži Osiguravanje: * / Trackback onemogući: * / Feed / onemogućavanje: * / Komentari / onemogući: /? Feed \u003d onemogući: /? S \u003d onemogući: * / stranicu / * onemogućavanje: * / comment / * onemogući: * / Prilog / * Dozvoli: / WP-sadržaj / upload / host: www..php onemogući: /xmlrpc.php onemogući: / pretragu Osiguranje: * / feed / onemogućavanje: * Osiguranje hrane: * / Komentari / Osiguranje: Onemogući: /? S \u003d Osiguranje: * / stranica / * Osiguranje: * / Komentar Osiguranje: * / oznaka / * Osiguranje: / WP-agent: / WP-agent: / wp-agent: * OSALIW: / WP-admin Osiguravanje: / wp -Login.php Onemogući: /wp-register.php Onemogući: /xmlrpc.php Onemogući: / Traži Onemogući: * / feed / OBAWLOW: * / feed onemogući: * / komentari / onemogući: /? Feed \u003d onemogući: /? S \u003d onemogući: * / stranicu / * onemogući: * / komentirati onemogućiti: * / oznaku / * disa. Llow: / Prilog / * Dozvoli: / WP-sadržaj / prijenos / sitemap: https: //www..xml

Preuzmite datoteku Robots.txt s naše web stranice može biti.

Ako, prema rezultatima čitanja ovog članka, ostavite bilo kakva pitanja - pitajte u komentarima!