Robots.txt je textový súbor, ktorý obsahuje parametre indexovania stránok pre roboty vyhľadávačov.

Odporúčania týkajúce sa obsahu súboru

YANDEX podporuje nasledujúce smernice:

Smernica	Čo to robí.
Užívateľsky agenta *
Zakázať.
Mapa
Čistý parameter
Povoliť.
Vytekanie	Odporúčame používať nastavenie rýchlosti prehľadávania

Smernica	Čo to robí.
Užívateľsky agenta *	Ukazuje robot, ktorým platia pravidlá uvedené v Robots.txt.
Zakázať.	Zakazuje indexovať sekcie alebo jednotlivé stránky.
Mapa	Určuje cestu k súboru SiteMap, ktorý je odoslaný na stránke.
Čistý parameter	Označuje robota, že pri indexovaní je ignorované stránky UTM tagy, ktoré Shold ignorujú.
Povoliť.	Umožňuje indexovaniu stránok alebo jednotlivých stránok.
Vytekanie	Určuje minimálny interval (v sekundách) pre vyhľadávací robot čakať po načítaní jednej stránky, pred začatím načítania. Namiesto smernice odporúčame používať nastavenie rýchlosti prehľadávania v Yandex.webmaster.

* Povinná smernica.

"LL najčastejšie potrebujete Disallow, Sitemap a Smernice Clean-Param. Napríklad:

User-Agent: * Smernice sú nastavené pre zakázanie: / bin / # zakáže odkazy z nákupného košíka. DOSTALLOW: / Hľadať / # Display Page Odkazy vyhľadávania Zapnuté na stránke: / admin / # zakáže odkazy z administrátora Panel SiteMap: http://example.com/sitemap # Určite pre robota Súbor SiteMap stránky Clean-Param: ref /some_dir/get_book.pl

Roboty z iných vyhľadávačov a služieb môžu interpretovať cestu. Služby rôznym spôsobom.

Poznámka. Robot berie do úvahy prípad podkladov (názov súboru alebo cesta, názov robota) a ignoruje prípad v menách smerníc.

Pomocou cyrilických znakov.

Použitie cyrilickej abecedy nie je povolené v súboroch Robots.txt a hlavičiek Servera HTTP.

Pre názvy domén použite Punycode. Obrázky stránky, použite rovnaké kódovanie ako štruktúru aktuálnej lokality.

Dobré popoludnie Vážení priatelia! Všetko, čo viete, že optimalizácia pre vyhľadávače je zodpovedný a jemný podnik. Je potrebné vziať do úvahy absolútne každú maličkosť získať prijateľný výsledok.

Dnes budeme hovoriť o súboroch Robots.txt, ktorý je známy každému webmasterovi. Je v ňom, že sú predpísané všetky základné pokyny pre vyhľadávacie roboty. Rovnako ako pravidlo, radi sledujú predpísané pokyny av prípade nesprávneho kompilácie odmietajú indexovať webový zdroj. Ďalej vám poviem o tom, ako urobiť správnu verziu Robots.txt, ako aj konfiguráciu.

V predslovem som už opísal, čo to je. Teraz vám poviem, prečo je potrebný. Robots.txt je malý textový súbor, ktorý je uložený v koreňoch stránok. Používajú sa vyhľadávače. Je jasne vysvetlené z pravidiel indexovania, t.j. Ktoré časti miesta je potrebné indexovať (pridať k vyhľadávaniu) a ktorý nie je.

Zvyčajne sú priemyselné úseky lokality zatvorené od indexácie. Príležitostne, Blacklist vypadne z neopodstatnených strán (Kopírovanie vložení ochrany osobných údajov tohto príkladu). Tu "roboti sú vysvetlené" princípy práce s sekciami, ktoré je potrebné indexovať. Veľmi často predpisujú pravidlá pre niekoľko robotov samostatne. Budeme o tom ďalej hovoriť.

Pri nastavení Robots.txt Vaša stránka bude zaručená v pozíciách vyhľadávačov. Roboty budú brať do úvahy len užitočný obsah, ktorý prejavuje duplicitné alebo technické úseky.

Vytvorenie robots.txt

Ak chcete vytvoriť súbor, stačí použiť štandardnú funkčnosť vášho operačného systému, po ktorom ho vyložíte na server cez FTP. Kde leží (na serveri) uhádnuť ľahko - v koreni. Typicky sa tento priečinok nazýva Public_html.

Môžete sa do nej ľahko dostať s akýmkoľvek klientom FTP (napríklad) alebo vstavaným správcom súborov. Samozrejme, nebudeme nahrať prázdny robot pre server. Vykonávame niekoľko hlavných smerníc (pravidiel).

Používateľský agent: *
Povoliť: /

Pomocou týchto riadkov v súbore robotov sa obráťte na všetkých robotov (smernica o používateľských agentoch), čo im umožňuje indexovať vaše stránky úplne a úplne (vrátane všetkých. Stránky umožňujú: /)

Samozrejme, táto možnosť nie je pre nás obzvlášť vhodná. Súbor nebude obzvlášť užitočný na optimalizáciu vyhľadávača. Určite potrebuje kompetentnú konfiguráciu. Ale predtým, považujeme všetky hlavné smernice a Robots.txt hodnoty.

Smernica

Užívateľský agenta	Jedným z najdôležitejších, pretože naznačuje, ktoré roboti nasledujú pravidlá po ňom. Pravidlá sa berú do úvahy až do nasledujúceho užívateľa v súbore.
Povoliť.	Umožňuje indexáciu akýchkoľvek blokov zdrojov. Napríklad: "/" alebo "/ tag /".
Zakázať.	Naopak, zakazuje indexovanie sekcií.
Mapa	Cesta na mapu stránok (vo formáte XML).
Hostiteľ.	Hlavné zrkadlo (www alebo bez, alebo ak máte niekoľko domén). Tu tiež označuje bezpečný protokol HTTPS (ak je k dispozícii). Ak máte štandardný http, nemusíte ho špecifikovať.
Vytekanie	S ním môžete nastaviť interval návštev a sťahovania súborov vašej stránky pre roboty. Pomáha znížiť zaťaženie hostiteľa.
Čistý parameter	Umožňuje vypnúť indexovanie parametrov na určitých stránkach (podľa typu www.site.com/cat/state?admin_id8883278). Na rozdiel od predchádzajúcich smerníc sú tu uvedené 2 hodnoty (adresa a parameter).

Toto sú všetky pravidlá, ktoré sú podporované vlajkových vyhľadávačov. Je to s ich pomoc, vytvoríme naše roboty, prevádzkujeme rôzne variácie pre rôzne typy stránok.

Nastavenie

Pre kompetentnú konfiguráciu súboru robota, musíme presne vedieť, ktorá z úsekov na mieste by mali byť indexované, a ktoré nie sú. V prípade jednoduchej jednej stránky na HTML + CSS sme dostatočne zaregistrovali niekoľko hlavných smerníc, ako napríklad:

Používateľský agent: *
Povoliť: /
Sitemap: Site.ru/sitemap.xml.
Hostiteľ: www.site.ru.

Tu sme poukázali na pravidlá a hodnoty pre všetky vyhľadávače. Je však lepšie pridať samostatné smernice pre Google a Yandex. Bude to vyzerať takto:

Používateľský agent: *
Povoliť: /

User-Agent: Yandex
Povoliť: /
Zakázať: / Politika

User-Agent: GoogleBot
Povoliť: /
Zakázať: / Tagy /

Sitemap: Site.ru/sitemap.xml.
Hostiteľ: Site.ru.

Teraz na našej stránke HTML bude indexované absolútne všetky súbory. Ak chceme vylúčiť určitú stránku alebo obrázku, potom musíme špecifikovať relatívny odkaz na tento fragment v zakázaní.

Služby Automatické služby súborov roboty môžete použiť. Nezaručujeme, že s ich pomocou vytvoríme dokonale správnu možnosť, ale môžete sa pokúsiť ako oboznámenie.

Medzi takéto služby možno prideliť:

Pomocou ich pomoci môžete vytvoriť Robots.txt v automatickom režime. Osobne, naozaj neodporúčam túto možnosť, pretože je oveľa ľahšie to urobiť manuálne, u mojou platformou.

Hovoriť o platformách, myslím všetky druhy CMS, rámcov, SAAS systémov a mnoho ďalšieho. Ďalej budeme hovoriť o tom, ako prispôsobiť súbor WordPress a Joomla Roboty.

Ale predtým, vyberte niekoľko univerzálnych pravidiel, ktoré sa môžu riadiť vytvorením a konfiguráciou robotov takmer pre všetky stránky:

V blízkosti indexovania (zakázané):

• administrácia stránky;
• osobné účty a registrácie / autorizačné stránky;
• košík, údaje s formulármi objednávok (pre internetový obchod);
• cGI zložky (umiestnený na hostiteľovi);
• servisných sekcií;
• skripty AJAX a JSON;
• Etikety UTM a OpenStat;
• rôzne parametre.

Otvorené (Povoliť):

• obrázky;
• Súbory JS a CSS;
• Ďalšie prvky, ktoré by sa mali zohľadniť vyhľadávače.

Okrem toho, na konci nezabudnite zadať údaje Sitemap (cesta na mapu stránok) a hostiteľa (hlavné zrkadlo).

Robots.txt pre WordPress

Ak chcete vytvoriť súbor, musíme hodiť robots.txt do koreňa stránok. Tento obsah môžete zmeniť v tomto prípade pomocou všetkých rovnakých správcov FTP a súborov.

K dispozícii je pohodlnejšia možnosť - vytvoriť súbor s pluginmi. Najmä táto funkcia je YOAST SEO. Upraviť roboty priamo z administrátora je oveľa pohodlnejšie, takže som si tento spôsob práce s robots.txt.

Ako sa rozhodnete vytvoriť tento súbor - vaše podnikanie, je to dôležitejšie, aby sme pochopili, ktoré smernice by tam mali byť. Na vašich stránkach spustených WordPress pomocou tejto možnosti:

Užívateľ-agent: * # pravidlá pre všetkých robotov, s výnimkou spoločnosti Google a Yandex

Zakázať: / CGI-bin # priečinok s skriptmi
Zakázať: /? # Parametre požiadavok z domovskej stránky
Zakázať: / WP- # Súbory samotnej CSM (s WP-)
Zakázať: *? S \u003d # \
Zakázať: * & S \u003d # Všetky súvisiace s vyhľadávaním
DISTALOW: / Hľadať / # /
Zakázať: / Autor / # Archív Autori
Zakázať: / Užívatelia / # a užívatelia
Zakázať: * / Trackback # Upozornenia z WP, že vás niekto odkazuje
Zakázať: * / Krmivo # Fid v xml
Zakázať: * / RSS # a RSS.
Zakázať: * / Vložiť # Vstavané prvky
Zakázať: /xmlrpc.php. # WordPress API.
Zakázať: * UTM \u003d # UTM etikety
Zakázať: * OpenStat \u003d # Openstat etikety
Zakázať: / Tag / # Tagy (ak existuje)
Povoliť: * / Uploads # Otvorené na stiahnutie (obrázky atď.)

User-Agent: GoogleBot # Pre Google
Zakázať: / CGI-bin
Zakázať: /?
Zakázať: / WP-
Zakázať: *? S \u003d
Zakázať: * & S \u003d
DISTALOW: / Hľadať /
Zakázať: / Autor /
Zakázať: / Užívatelia /
Zakázať: * / Trackback
Zakázať: * / Krmivo
Zakázať: * / RSS
Zakázať: * / Vložiť
Zakázať: /xmlrpc.php.
Zakázať: * UTM \u003d
Zakázať: * OpenStat \u003d
Zakázať: / Tag /
Povoliť: * / Uploads
Povoliť: / *\u003e .js. # Otvoriť súbory JS
Povoliť: / *, / ABS. # a CSS.
Povoliť: /wp-s.png. # a obrázky vo formáte PNG
Povoliť: /wp-*.jpg. # \
Povoliť: /wp-s.jpeg. # av iných formátoch
Povoliť: /wp-*.gif. # /
# spolupracuje s pluginmi

User-Agent: Yandex # pre yandex
Zakázať: / CGI-bin
Zakázať: /?
Zakázať: / WP-
Zakázať: *? S \u003d
Zakázať: * & S \u003d
DISTALOW: / Hľadať /
Zakázať: / Autor /
Zakázať: / Užívatelia /
Zakázať: * / Trackback
Zakázať: * / Krmivo
Zakázať: * / RSS
Zakázať: * / Vložiť
Zakázať: /xmlrpc.php.
Zakázať: / Tag /
Povoliť: * / Uploads
Povoliť: / *\u003e .js.
Povoliť: / *, / ABS.
Povoliť: /wp-*.png.
Povoliť: /wp-*.jpg.
Povoliť: /wp-s.jpeg.
Povoliť: /wp-*.gif.
Povoliť: /wp-admin/admin-ajax.php.
# Clean UTM tagy
Clean-Param: OpenStat # A o Openstat Nezabudnite

Sitemap: # Predpíšeme cestu na mapu stránok
Hostiteľ: https://site.ru. # Hlavné zrkadlo

Pozor! Pri kopírovaní reťazcov do súboru - nezabudnite odstrániť všetky komentáre (text po #).

Táto možnosť Robots.txt je najobľúbenejší medzi webmastermi, ktoré používajú WP. Je to perfektné? Nie. Môžete sa pokúsiť niečo pridať alebo naopak odstrániť. Ale všimnite si, že pri optimalizácii textov robotov, chyba nie je nezvyčajná. Budeme o nich ďalej hovoriť.

Robots.txt pre joomla

A hoci v roku 2018 Joomla zriedka, kto používa, domnievam sa, že je nemožné určiť túto nádhernú CMS. Pri podpore projektov na Joomla, budete určite musieť vytvoriť súbor robotov a inak, ako chcete zatvoriť zbytočné prvky z indexácie?

Rovnako ako v predchádzajúcom prípade, môžete vytvoriť súbor manuálne, len ho hádzať na hostiteľa, alebo použiť modul na tieto účely. V oboch prípadoch ho budete musieť konfigurovať. To bude vyzerať ako správna možnosť pre JOOMLA:

Používateľský agent: *
Povoliť: /*.css?
Povoliť: /*.js?
Povoliť: /*.jpg?c.
Povoliť: /*.png?c.a.
Zakázať: / cache /
Zakázať: /*.pdf.
Zakázať: / Administrator /
Zakázať: / Inštalácia /
Zakázať: / CLI /
Zakázať: / Knižnice /
Zakázať: / Jazyk /
Zakázať: / Komponenty /
Zakázať: / Moduly /
Zakázať: / zahŕňa /
Zakázať: / bin /
Zakázať: / Komponent /
Zakázať: / TMP /
Zakázať: /index.php.
Zakázať: / plugins /
Zakázať: / * mailto /

Zakázať: / Logs /
Zakázať: / Komponent / Tagy *
Zakázať: / *%
Zakázať: / Layouts /

User-Agent: Yandex
Zakázať: / cache /
Zakázať: /*.pdf.
Zakázať: / Administrator /
Zakázať: / Inštalácia /
Zakázať: / CLI /
Zakázať: / Knižnice /
Zakázať: / Jazyk /
Zakázať: / Komponenty /
Zakázať: / Moduly /
Zakázať: / zahŕňa /
Zakázať: / bin /
Zakázať: / Komponent /
Zakázať: / TMP /
Zakázať: /index.php.
Zakázať: / plugins /
Zakázať: / * mailto /

Zakázať: / Logs /
Zakázať: / Komponent / Tagy *
Zakázať: / *%
Zakázať: / Layouts /

User-Agent: GoogleBot
Zakázať: / cache /
Zakázať: /*.pdf.
Zakázať: / Administrator /
Zakázať: / Inštalácia /
Zakázať: / CLI /
Zakázať: / Knižnice /
Zakázať: / Jazyk /
Zakázať: / Komponenty /
Zakázať: / Moduly /
Zakázať: / zahŕňa /
Zakázať: / bin /
Zakázať: / Komponent /
Zakázať: / TMP /
Zakázať: /index.php.
Zakázať: / plugins /
Zakázať: / * mailto /

Zakázať: / Logs /
Zakázať: / Komponent / Tagy *
Zakázať: / *%
Zakázať: / Layouts /

Hostiteľ: Site.ru. # Nezabudnite zmeniť adresu na vašu adresu
Sitemap: Site.ru/sitemap.xml. # a tu

Toto pravidlo je to dosť, takže zbytočné súbory nespadajú do indexu.

Chyby pri nastavení

Veľmi často ľudia umožňujú chyby pri vytváraní a konfigurácii súborov robotov. Tu sú najčastejšie z nich:

• Pravidlá sú uvedené len pre užívateľov.
• Neexistujú žiadny hostiteľ a sitemap.
• Prítomnosť protokolu HTTP v smernici o hostiteľovi (musíte určiť HTTPS).
• Nedodržanie pravidiel o vnorení pri otváraní / zatváraní obrázkov.
• Nie je zatvorené UTM a OpenStat Tagy.
• Pre každý robot stlačíte smerovanie hostiteľa a Sitemap.
• Povrchová štúdia súborov.

Je veľmi dôležité správne nakonfigurovať tento malý súbor. Keď sú schválené hrubými chybami, môžete stratiť významnú časť dopravy, takže pri zriaďovaní je veľmi pozorný.

Ako skontrolovať súbor?

Na tieto účely je lepšie použiť špeciálne služby od spoločnosti Yandex a Google, pretože tieto vyhľadávače sú najobľúbenejšie a dopytom (najčastejšie jedinečné), také vyhľadávače, ako je bing, yahoo alebo rambler považujú žiadny zmysel.

Ak chcete začať, zvážte možnosť s Yandexom. Ideme na webmaster. Nástroje analýzy Robots.txt.

Tu môžete skontrolovať súbor pre chyby, rovnako ako šek v reálnom čase, ktoré strany sú otvorené indexovaním a ktoré nie sú. Veľmi pohodlné.

Spoločnosť Google má presne rovnakú službu. Ideme B. Hľadať konzolu. . Na karte Scan nájdeme, vyberte nástroj Robots.txt Súbor Kontrola.

Tu sú presne rovnaké funkcie ako v domácom servise.

Upozorňujeme, že mi ukazuje 2 chyby. Je to spôsobené tým, že spoločnosť Google nerozpoznáva smernice čistenia parametrov, ktoré som zadal pre YANDEX:

Clean-Param: UTM_SOURCE & UTM_MEDIUM & UTM_CAMPAIGN
Clean-Param: OpenStat

Nestojí za to zaplatiť pozornosť, pretože roboti spoločnosti Google používajú len pravidlá pre GoogleBot.

Záver

Súbor Robots.txt je veľmi dôležitý pre SEO optimalizáciu vašich stránok. Poďte do svojej konfigurácie so všetkou zodpovednosťou, pretože s nesprávnou implementáciou môže všetko ísť ako šok.

Zvážte všetky pokyny, ktoré som zdieľal v tomto článku, a nezabudnite, že nemusíte presne presne skopírovať možnosti roboty. Je možné, že budete musieť navyše pochopiť každú zo smerníc, nastavte súbor podľa vášho konkrétneho prípadu.

A ak chcete viac výraznejšie postaviť v Robots.txt a vytvárať webové stránky na WordPress, potom vás pozývam. Na to sa dozviete, ako môžete ľahko vytvoriť stránku, bez toho, aby ste zabudli optimalizovať pre vyhľadávače.

Robots.txt - Toto je textový súbor, ktorý sa nachádza v koreňoch stránok - http://site.ru/robots.txt.. Jej hlavným účelom je klásť určité smernice na vyhľadávanie motorov - čo a kedy robiť na mieste.

Najjednoduchšie robots.txt

Najjednoduchšie robots.txt, ktoré všetky vyhľadávače umožňujú všetko indexovať, vyzerá to takto:

Používateľský agent: *
Zakázať:

Ak zakázaná smernica nemá na konci šikmá lomka, potom sú povolené všetky stránky pre indexovanie.

Takáto smernica úplne zakazuje stránku na indexovanie:

Používateľský agent: *
Zakázať: /

Užívateľsky agenta - označuje, pre ktorých sú smernice určené, hviezdy označujú, že pre všetky PS, užívateľsky agent je indikovaný pre Yandex: Yandex.

Pomoc Yandex je napísaná, že jeho vyhľadávacie robotov zvládajú užívateľsky agent: *, ale ak ste prítomný užívateľom: Yandex, užívateľom agenta: * Ignorované.

Zakázať a povoliť smernice

Existujú dva hlavné smernice:

Zakázať - zákaz

Povoliť - povoliť

Príklad: Na blogu sme zakázané indexovať priečinok / WP-Content / kde plug-ins sú umiestnené, šablóny i.t.p. Existujú však aj obrázky, ktoré sú PS indexované, aby sa zúčastnili na vyhľadávaní obrázkov. Na to použite takúto schému:

Používateľský agent: *
Povoliť: / WP-Content / Uploads / # Povoliť indexovanie obrázkov v priečinku Uploads
Zakázať: / obsah WP /

Postup používania smerníc je dôležitý pre YANDEX, ak sa vzťahujú na jednu stranu alebo priečinky. Ak takto zadáte:

Používateľský agent: *
Zakázať: / obsah WP /
Povoliť: / WP-Content / Uploads /

Obrázky nebudú vložiť Robot Yandex z / Uploads /, pretože sa vykoná prvá smernica, ktorá zakazuje všetok prístup do priečinka WP-Content.

Spoločnosť Google patrí ľahšie a vykonáva všetky smernice súborov Robots.txt, bez ohľadu na ich umiestnenie.

Tiež nezabudnite, že smernice s lomkou a bez, vykonávajú rôzne roly:

DISTALOW: / O Zakázaný prístup k celej stránke.ru/about/ adresár, nebude tiež indexovanými stránkami, ktoré obsahujú približne - Site.ru/about.html, Site.ru/aboutlive.html I.t.p.

Zakázať: / O Zakázať indexáciu stránok robotov na stránkach.ru/about/ Directory and Page by type.ru/about.html i.t.p. bude k dispozícii na indexovanie.

Regulárne výrazy v robots.txt

Podporované sú dva znaky, toto je:

* - znamená ľubovoľný poradie znakov.

Príklad:

Zakázať: / O * Zakázať prístup ku všetkým stránkam, ktoré v zásade obsahujú o tom, že táto smernica bude fungovať aj bez hviezd. V niektorých prípadoch však tento výraz nevymeniteľný. Napríklad v jednej kategórii sú stránky C.html na konci a bez toho, aby sa uzavreli od indexovania všetkých stránok, ktoré obsahujú HTML, predpíšeme túto smernicu:

Zakázať: /about/3.html.

Teraz sú stránky stránok.ru/about/live.html stránky sú zatvorené z indexovania a stránka.ru/about/live stránka je otvorená.

Ďalší príklad analógiou:

User-Agent: Yandex
Povoliť: /about/3.html. # Dovoľte mi index
Zakázať: / O

Všetky stránky budú zatvorené, okrem stránok, ktoré sa končia s .html

$ - Zostávajúcu časť a označuje koniec reťazca.

Príklad:

DISTALOW: / O - TENTO ROBOTS.TXT Smernica zakazuje indexovanie všetkých stránok, ktoré sa začínajú s približne, tiež platí zákaz stránok v / o adresári.

Pridanie symbolu dolára na konci - zakázať: / O cca $ Budeme informovať roboty, že nemôžete indexovať len stránku / o stránke a / o / stránke, stránky / abistlive i.t.p. môže byť indexovaný.

Smernica Sitemap

Táto smernica označuje cestu k mape stránku, v tomto formulári:

Sitemap: http: //site.ru/sitemap.xml

Smernica.

Uvedené v tomto formulári:

Hostiteľ: Site.ru.

Bez http: //, šikmé scény a podobné veci. Ak máte hlavnú stránku zrkadlo www, potom napíšte:

Príklad Robots.txt pre Bitrix

Používateľský agent: *
Zakázať: /*index.phpر
Zakázať: / Bitrix /
Zakázať: / Auth
Zakázať: / Osobné /
Zakázať: / Upload /
DISTALOW: / Hľadať /
Zakázať: / * / Hľadať /
Zakázať: / * / Slide_show /
Zakázať: / * / galéria / * objednávka \u003d *
Zakázať: / *? *
Zakázať: / * & Print \u003d
Zakázať: / * Register \u003d
Zakázať: / * Zabudli ste heslo \u003d
Zakázať: / * Zmeniť_password \u003d
Zakázať: / * Prihlásenie \u003d
Zakázať: / * Odhlásiť \u003d
Zakázať: / * Auth \u003d
Zakázať: / * Akcia \u003d *
Zakázať: / * Bitrix _ * \u003d
Zakázať: / * BackRl \u003d *
Zakázať: / * BackRl \u003d *
Zakázať: / * Back_url \u003d *
Zakázať: / * Back_url \u003d *
Zakázať: / * Back_url_admin \u003d *
Zakázať: / * Print_course \u003d y
Zakázať: / * kurz_id \u003d
Zakázať: / * Pagen_ *
Zakázať: / * Page_ *
Zakázať: / * Showall
Zakázať: / * Show_all \u003d
Hostiteľ: Sitename.ru.
Sitemap: https://www.sitename.ru/sitemap.xml

Príklad Robots.txt pre WordPress

Po pridaní všetkých potrebných smerníc, ktoré sú opísané vyššie. Musíte dostať niečo takéto súbory roboty:

Je to tak povedať základnú verziu Robots.txt for WordPress. Tu sú dvaja užívateľ-agenta-A - jeden pre všetkých a druhý pre YANDEX, kde je uvedená smernica o hostiteľovi.

META TAGE ROBOTY

Je možné zatvoriť stránku indexovacej stránky alebo stránky nielen súborom Robots.txt, môže sa vykonať s meta značkou.

<meta Meno \u003d "Robots" Content \u003d "Noindex, NOFOOLD"\u003e

Je potrebné ho predpísať v značke a táto meta tag bude zakázať index stránky. V programe WordPress Tam sú plugins, ktoré vám umožňujú nastaviť takéto meta tagy, ako je napríklad Platinum SEO Pack. S ním sa môžete zavrieť z indexácie akúkoľvek stránku, používa meta tagy.

Smernica o oddialení prehľadávania

Pomocou tejto smernice môžete nastaviť čas, na ktorý by mal byť vyhľadávací bot prerušený, medzi sťahovaním stránok stránky.

Používateľský agent: *
Prechádzanie-oneskorenie: 5

Časový limit medzi načítaním dvoch strán bude rovný 5 sekúnd. Ak chcete znížiť zaťaženie servera, zvyčajne vystavte 15-20 sekúnd. Táto smernica je potrebná pre veľké, často aktualizované stránky, na ktorých vyhľadávania robotov jednoducho "žiť".

Pre bežné stránky / blogy, táto smernica nie je potrebná, ale tak môže obmedziť správanie iných ne-skutočných vyhľadávacích robotov (Rambler, Yahoo, Bing) i.t.p. Koniec koncov, tiež vstupujú na stránku a index, čím sa vytvorí zaťaženie na serveri.

Správna, kompetentná konfigurácia koreňového súboru robots.txt je jedným z najdôležitejších úloh Webového sprievodcu. V prípade neodpustiteľných chýb pri hľadaní vydávania sa môže objaviť mnoho zbytočných stránok stránky. Alebo, naopak, dôležité dokumenty vašej stránky budú zatvorené indexované, v najhoršom prípade sa môžete zavrieť pre vyhľadávanie robotov všetkých koreňových adresárov domény.

Správna konfigurácia súboru Robots.txt s vlastnými rukami, v skutočnosti, úloha nie je veľmi komplikovaná. Po prečítaní tohto článku sa naučíte múdrosť smerníc a nezávisle písanie pravidiel pre súbor Robots.txt na vašich webových stránkach.

Ak chcete vytvoriť súbor Robots.txt, použije sa určitá, ale nie komplexná syntax. Niekoľko použitých smerníc. Zvážte pravidlá, štruktúru a syntax Robots.txt Súbor krok za krokom a podrobne.

Všeobecné pravidlá Robots.txt

Po prvé, samotný súbor robots.txt musí mať kódovanie ANSI.

Po druhé, nie je možné použiť na písanie pravidiel akýchkoľvek národných abeced, je možné len latinčina.

Štruktúrne súbor Robots.txt môže pozostávať z jedného alebo viacerých blokov pokynov, samostatne pre roboty rôznych vyhľadávačov. Každý blok alebo sekcia má súbor pravidiel (smernice) na index stránku vyhľadávačom.

V smerniciach nie sú bloky pravidiel a medzi nimi povolené žiadne zbytočné titulky a symboly.

Smernice a bloky pravidiel sú oddelené prenosom reťazca. Jediný predpoklad je komentáre.

Komentovanie v robots.txt

Ak chcete komentovať, použite symbol "#". Ak ste vložili symbol "mriežky" na začiatku reťazca, potom až do konca riadku je všetok obsah ignorovaný vyhľadávacími robotmi.

Používateľský agent: *
Zakázať: / CSS # Napíšte komentár
# Píšeme ďalší komentár
Zakázať: / img

Časti v súbore Robots.txt

Pri čítaní súboru s robotom sa používa iba sekcia adresovaná do robota tohto vyhľadávacieho nástroja, to znamená, že ak je v sekcii, užívateľom agenta je názov vyhľadávacieho nástroja Yandex, potom jeho robot bude čítať iba sekciu adresovaný mu, ignorovať ostatných, najmä a sekciu so smernicou pre všetkých robotov - užívateľsky agenta: *.

Každá z častí je ja. Oddiely môžu byť trochu, pre roboty z každého alebo niektorých vyhľadávačov a jedného univerzálneho, pre všetky roboty alebo roboty jedného z ich systémov. Ak je časť jedna, začína prvým riadkom súboru a berie všetky riadky. Ak sú časti niekoľko, potom musia byť oddelené prázdnym reťazcom, aspoň jeden.

Sekcia vždy začína s smernicou o užívateľsky a obsahuje názov vyhľadávača, pre ktorý sú roboty určené, ak to nie je univerzálna časť pre všetky roboty. V praxi to vyzerá takto:

Užívateľsky agent: YANDEXBOT
# Orser Agent pre roboty Yandex System
Používateľský agent: *
# Ious Agent pre všetky roboty

Zoznam Niekoľko mien robotníkov je zakázané. Pre roboty každého vyhľadávača sa vytvorí vlastná časť, vlastný samostatný blok pravidiel. Ak sú vo vašom prípade pravidlá pre všetkých robotov rovnaké, použite jednu univerzálnu, spoločnú sekciu.

Čo je to?

Smernica je príkaz alebo pravidlo rozprávanie vyhľadávacieho robota pre určité informácie. Smernica uvádza vyhľadávanie topánok, ako indexovať vaše stránky, ktoré adresáre nevidu, kde je mapa stránok v XML formáte, akú doménové meno je hlavným zrkadlom a niektoré ďalšie technické detaily.

Sekcia súborov Robots.txt sa skladá zo samostatných príkazov,
Smernice. Všeobecné smernice syntaxe takto:

[_Name]: [Voliteľné miesto] [Voliteľné] [Voliteľné miesto]

Smernica je napísaná v jednom riadku bez prevodu. Podľa akceptovaných noriem nie sú línie povolené medzi smernicami v jednej časti, to znamená, že všetky smernice tej istej časti sú napísané na každom riadku bez ďalších tratí.

Popíšte hodnoty použitých hlavných smerníc.

Smernica zakáže

Najpoužívanejšia smernica v súbore Robots.txt je "zakázaná" - zakazuje. Zakázaná smernica zakazuje indexáciu cesty uvedenej v ňom. Môže to byť samostatná stránka, stránky obsahujúce zadanú "masku" vo vašej URL (cesty), časť stránky, samostatný adresár (priečinok) alebo celú webovú stránku.

"*" - Hviezdy znamená - "ľubovoľný počet znakov". To znamená, že cesta / priečinok * rovnaké vo vašej hodnote s "/ priečinkami", "/ folder1", "/ folder11", "/ priečinky" alebo "/ priečinok". Roboty, pri čítaní pravidiel automaticky pridať znak "*". V nižšie uvedenom príklade sú obe smernice absolútne rovnako rovnocenné: \\ t

Zakázať: / News
Zakázať: / Novinky *

"$" - znamenie dolára zakazuje robotom pri čítaní smerníc automaticky pridá symbol "*" (Hviezda) na konci smernice. Inými slovami, "$" symbol znamená koniec porovnávacieho reťazca. To znamená, že v našom príklade zakazujeme indexovanie priečinka "/ priečinok", ale nezakazujte v priečinkoch "/ folder1", "/ folder111" alebo "/ priečinky":

Používateľský agent: *
Zakázať: / Folder $

"#" - (Sharpe) Komentár Znamenie. Všetko, čo je napísané po tejto ikony, v jednom s IT line, je ignorovaný vyhľadávačmi.

Umožniť smernicu

Súbor Robots.txt systému Povoliť súbor je opakom smernice o nesprávnom priestore, ktorá umožňuje smernica umožňujúca. V nasledujúcom príklade sa ukázalo, že zakazujeme index celú webovú stránku okrem priečinka / priečinka:

Používateľský agent: *
Povoliť: / priečinok
Zakázať: /

Príklad súčasného používania "Povoliť", "zakázať" a prioritu

Nezabudnite na pochopenie priority pre zákazy a povolenia, pri špecifikácii smerníc. Prednosť bola indikovaná postupom vyhlásenia zákazov a povolení. Teraz je priorita definovaná špecifikovaním maximálnej existujúcej cesty v rámci jedného bloku pre vyhľadávač robota (užívateľsky agenta), aby sa zvýšila dĺžka cesty a miesto pokynov smernice, ako je dlhšia cesta, tým väčšia priorita :

Používateľský agent: *
Povoliť: / priečinky
Zakázať: / priečinok

Vo vyššie uvedenom príklade je indexovanie URL začať s "/ priečinkami", ale je zakázané v cestách, ktoré majú v ich URL štarte "/ priečinok", "/ priečinky" alebo "/ folder2". V prípade tej istej cesty k "dovoliť" a "zakázať" smernicu, uprednostňuje smernicu "Povoliť".

Prázdna hodnota parametra v smeroch "Povoliť" a "Disanow"

V súbore Robots.txt sa nachádzajú webové masterne chyby
Zabudnite zadať symbol "/". Toto je nesprávna, chybná interpretácia hodnôt smerníc a ich syntaxe. V dôsledku toho sa zakazujúca smernica stane uznesením: "Zakázať:" je absolútne identické s "Povoliť: /". Správny zákaz indexácie celého lokality vyzerá takto:

To isté možno povedať o "Povoliť:". Smernica "Povoliť:" bez symbolu "/" zakazuje indexáciu celej stránky, ako aj "zakázať: /".

Smernica Sitemap

Pre všetky SEO-optimalizačné kanóny musíte použiť mapu stránok (sitemap) v XML formáte a poskytnúť ho vyhľadávačom.

Napriek funkčnosti "skriniek pre web-majstrov" vo vyhľadávačoch je potrebné vyhlásiť prítomnosť simap.xml a v Robots.txt pomocou smernice " Mapa" Hľadať roboty Keď obcháte vaše stránky uvidíte vzor na súbor Sitemap.xml a uistite sa, že ho používate na nasledujúcom oblúku. Príklad použitia smernice SiteMap v súbore Robots.txt:

Používateľský agent: *
Sitemap: https://www.domainname.zone/sitemap.xml.

Smernica.

Ďalšou dôležitou smernicou Robots.txt je smernica Hostiteľ..

Predpokladá sa, že to nie všetky vyhľadávače rozpoznajú. Ale YANDEX označuje, že číta túto smernicu a Yandex v Rusku je hlavným "vyhľadávacím podávačom", takže nebudeme ignorovať hostiteľskú smernicu.

Táto smernica hovorí, že vyhľadávače, ktorého doména je hlavným zrkadlom. Všetci vieme, že stránka môže mať niekoľko adries. Adresa URL stránky možno použiť alebo nepoužívať prefix www alebo webu môže mať niekoľko doménových mien, napríklad domény.ru, domény.com, domen.ru, www.domen.ru. To je práve v takýchto prípadoch, informujú sa vyhľadávač v súbore Robots.txt pomocou smernice o hostiteľovi, ktorý z týchto mien je hlavným. Hodnota smernice je názov hlavného zrkadla. Uvedeme príklad. Máme niekoľko doménových mien (Domain.ru, Domain.com, Domen.ru, www.doman.ru) a všetky z nich presmerujú návštevníkov na stránke www.domen.ru, vstup do súboru Robots.txt bude vyzerať takto :

Používateľský agent: *
Hostiteľ: www.domen.ru.

Ak chcete, aby vaše hlavné zrkadlo bez predvoľby (www), podľa toho by ste mali zadať názov stránky bez predpony v smernici.

Smernica hostiteľa rieši problém zdvojnásobení stránok, s ktorými sú webové ruky a SEO špecialisti často čelia. Preto sa musí smernica o hostiteľskejšom použitá nevyhnutne použiť, ak ste zameraný na ruský hovoriaci segment a ste dôležitý pre hodnotenie vašej stránky v vyhľadávači Yandex. Opakujte, pre čítanie tejto smernice, len "Yandex" hovorí. Ak chcete zadať hlavné zrkadlo v iných vyhľadávačoch, musíte použiť nastavenia v skrinkách webových majstrov. Nezabudnite, že názov hlavného zrkadla musí byť indikovaný správne (správnosť písania, súlad s kódovaním a syntaxom súboru Robots.txt). V súbore je táto smernica povolená len raz. Ak ste sa mýli, niekoľkokrát to určíte, roboti budú brať do úvahy prvý záznam.

Smernica o oddialení prehľadávania

Táto smernica je technickým, príkazom vyhľadávacích robotov, ako často potrebujete navštíviť vaše stránky. Presnejšie povedané, smernica o oneskorení omeškanie označuje minimálnu prestávku medzi návštevami vašich robotov stránok (vyhľadávače Cralliers). Prečo naznačovať toto pravidlo? Ak sa k vám robia prichádzajú veľmi často, a nové informácie na stránke sa javí ako časom menej často, potom budú vyhľadávače zvyknutí na vzácnu zmenu informácií na vašich stránkach a navštívite vás oveľa menej často, než sa vám páči. Toto je argument vyhľadávania v prospech používania smernice o oddialení prehľadávania. Teraz technický argument. Príliš častá návšteva vašich robotov stránok vytvára ďalšie zaťaženie na serveri, ktorý nepotrebujete vôbec. Hodnota smernice je lepšie označiť celé číslo, ale teraz niektoré roboty sa naučili čítať a frakčné čísla. Určuje čas v priebehu niekoľkých sekúnd, napríklad:

User-Agent: Yandex
Oneskorenie prehľadávania: 5.5

Čistá smernica

Voliteľná smernica "Clean-Param" označuje vyhľadávacie roboty nastavení adresy stránok, ktoré nemusia indexovať a mali by sa brať ako rovnaká adresa URL. Napríklad máte rovnaké stránky sa zobrazujú na rôznych adries, charakterizovaných v jednom alebo viacerých parametroch:

www.domain.zone/folder/page/
www.domain.zone/index.php?folder\u003dFOLDER&page\u003dpage1/
www.domain.zone/ index.php? priečinok \u003d 1 a strana \u003d 1

Hľadať roboty skenujú všetky takéto stránky a všimnite si, že stránky sú rovnaké, obsahujú rovnaký obsah. Po prvé, vytvorí zmätok v štruktúre lokality v rámci indexácie. Po druhé, zvýši sa dodatočné zaťaženie servera. Po tretie, rýchlosť skenovania bude výrazne klesať. Aby ste sa vyhli týmto problémom a použite smernicu o čistiacom čísle. Syntax je nasledovná:

CLEAR-Param: Param1 [& Param2 & Param3 & Param4 & Param * n] [cesta]

Smernica "Clean-Param", ako "HOST" Čítajte všetky vyhľadávače. Ale Yandex to chápe.

Chyby, ktoré sa často nachádzajú v Robots.txt

Súbor Robots.txt nie je v koreňoch stránok.

Súbor robotov. tXT by mal byť umiestnený v koreňovom jazyku, iba v koreňovom adresári. Všetky ostatné súbory s rovnakým názvom, ale tie v iných priečinkoch (adresároch) sú ignorované vyhľadávačmi.

Chyba v názve súboru Robots.txt

Názov súboru je napísaný malými písmenami (nižší register) a mal by sa volať roboty.tXT.. Všetky ostatné možnosti sú považované za chybné a vyhľadávanie namáhaní budú vykazované absencii súboru. Časté chyby vyzerajú takto:

Robots.txt
Robots.txt
robot.txt

Použite neplatné znaky v Robot.txt

Súbor Robots.txt musí byť v kódovaní ANSI a obsahuje iba latinčinu. Smernice o písaní a ich hodnoty akýchkoľvek iných národných symbolov sú neprijateľné, s výnimkou obsahu pripomienok.

Robots.txt Syntax Chyby

Pokúste sa striktne postupovať podľa pravidiel syntaxe v súbore Robots.txt. Chyby syntaxe môžu viesť k ignorovaniu obsahu celého súboru vyhľadávačov.

Zoznam viacerých robotov v jednom riadku v smernici o používateľských agentoch

Chyba, často povolená nováčikovou webmastermi, skôr kvôli svojej vlastnej lenivosti, nie rozbiť súbor Robots.txt do časti, a kombinovať príkazy pre niekoľko vyhľadávačov v jednej časti, napríklad:

User-Agent: Yandex, GoogleBot, Bing

Pre každý vyhľadávač musíte vytvoriť vlastnú samostatnú časť, s prihliadnutím na tieto smernice, ktoré tento vyhľadávač číta. Okrem toho, v tomto prípade je jednotná časť pre všetky vyhľadávače:

Užívateľom s prázdnou hodnotou

Smernica o užívateľskom agente nemôže mať prázdnu hodnotu. Alternatívne môže byť "povoliť" a "zakázať" a potom brať do úvahy skutočnosť, že zmenia svoju hodnotu. Špecifikácia smernice používateľa s prázdnou hodnotou je hrubá chyba.

Niekoľko hodnôt v smernici o zakázaní

Častejšie nešťastie, ale pravidelne sa môže vnímať na stránkach, to je indikácia niekoľkých hodnôt v povolení a zakázaní smerníc, napríklad:

Zakázať: / Folder1 / Folder2 / Folder3

Zakázať: / Folder1
Zakázať: / Folder2
Zakázať: / Folder3

Nedodržiavanie priorít smerníc v Robots.txt

Táto chyba už bola opísaná vyššie, ale na konsolidáciu materiálu sa opakuje. Prednosť bola stanovená postupom riadených smerníc. K dnešnému dňu sa pravidlá zmenili, priorita je špecifikovaná dĺžkou riadku. Ak existujú dve vzájomne sa exkluzívne smernice, umožňujú a zakázať s rovnakým obsahom v súbore, potom bude mať prioritu.

Vyhľadávačov a robots.txt

Smernice v súbore Robots.txt sú odporúčaním pre vyhľadávače. To znamená, že pravidlá čítania sa môžu pravidelne meniť alebo doplniť. Pamätajte tiež, že každý vyhľadávací nástroj spracuje smernice súborov vlastným spôsobom. A nie všetky smernice Každý z vyhľadávačov znie. Napríklad smernica o hostiteľovi dnes číta iba YANDEX. Zároveň YANDEX zaručuje, že názov domény je špecifikovaný ako hlavné zrkadlo v hostiteľskej smernici bude pridelená hlavným veci, ale tvrdí, že bude udelená priorita zadaného mena v smernici.

Ak máte malý súbor pravidiel, môžete vytvoriť jednu sekciu pre všetky roboty. V opačnom prípade nie sú leniví, vytvorte samostatné časti pre každý vyhľadávač, o ktorý máte záujem. Týka sa to najmä zákazov, ak nechcete, aby sa niektoré určité stránky vstúpili do vyhľadávania.

Rýchla navigácia na tejto stránke:

Moderná realitou je, že v Ruteet No Self-Rešpektovanie stránky môže robiť bez súboru s názvom Robots.Tht - Aj keď nemáte čo zakázať indexovanie (aj keď existujú technické stránky a duplicitný obsah, ktorý vyžadujú uzavretie z indexovania), potom na a Minimálne, na registráciu smernice s www a bez www pre Yandex je určite hodnotu - za to, a pravidlá pre písanie robots.txt, ktoré budú diskutované nižšie.

Čo je robots.txt?

Súbor s takýmto názvom má svoj vlastný príbeh od roku 1994, keď sa konzorcium W3C rozhodol vstúpiť do takejto normy, aby stránky mohli poskytnúť vyhľadávače v indexovaní pokynov.

Súbor s takýmto menom musí byť uložený v koreňovom adresári lokality, umiestnite ho do akýchkoľvek iných priečinkov nie je povolené.

Súbor vykonáva nasledujúce funkcie:

1. zakazuje akékoľvek stránky alebo stránky na indexovanie
2. umožňuje indexovať všetky stránky alebo skupiny stránok
3. určuje Robot Yandex, aké miesto zrkadlo je hlavné (s www alebo bez www)
4. zobrazí umiestnenie súboru s mapa stránok

Všetky štyri položky sú mimoriadne dôležité pre optimalizáciu stránok. Zákaz indexovania vám umožňuje zatvoriť od indexovania stránky, ktorá obsahuje duplicitný obsah - napríklad stránky značky, archívy, výsledky vyhľadávania, stránky s tlačovými verziami a tak ďalej. Prítomnosť duplicitného obsahu (keď je rovnaký text, aj keď vo výške niekoľkých ponúk je prítomný na dvoch alebo viacerých stránkach) je mínus pre stránku v rebríčku vyhľadávačov, pretože zdvojnásobí by mali byť čo najmenšie.

Povoliť smernica nemá žiadnu sebahodnotenie, pretože štandardne pre všetky strany a sú k dispozícii pre indexovanie. Funguje v zväzku s zakázaním - keď napríklad nejaký druh položky je úplne uzavretý z vyhľadávačov, ale chcete otvoriť stránku v ňom alebo samostatnej stránke.

Zadanie hlavného zrkadla miesta je tiež jedným z najdôležitejších prvkov v optimalizácii: Vyhľadávače zvažujú webové stránky www.vashsite.ru a Vashtsyt.ru ako dva rôzne zdroje, ak priamo špecifikujete inak. V dôsledku toho je obsah pochybovať - \u200b\u200bvzhľad dvojitého, zníženie sily externých odkazov (externé odkazy môžu byť umiestnené z www a bez www) a v dôsledku toho môže viesť k nižšej hodnotení vo výsledkoch vyhľadávania .

Pre google je hlavné zrkadlo predpísané v nástrojoch webmasterov (http://www.google.com/webmasters/), ale pre YANDEX, tieto pokyny môžu byť predpísané len v tom robotoch. TCT.

Zadanie súboru XML s kartou lokality (napríklad - Sitemap.xml) Umožňuje vyhľadávače na rozpoznanie tohto súboru.

Pokyny používateľa

Užívateľsky agenta V tomto prípade je to vyhľadávací nástroj. Pri písaní pokynov, musíte zadať, či budú konať vo všetkých vyhľadávačoch (potom sa pripevní znak hviezd - *) alebo sú určené pre určitý samostatný vyhľadávač - napríklad Yandex alebo Google.

Ak chcete nastaviť užívateľsky agenta s indikáciou všetkých robotov, napíšte vo svojom súbore podľa nasledujúceho riadku:

Používateľský agent: *

Pre Yandex:

User-Agent: Yandex

Pre Google:

User-Agent: GoogleBot

Pravidlá pre zakázanie a dovoliť

Po prvé, treba poznamenať, že súbor robots.txt pre jeho platnosť musí nevyhnutne obsahovať aspoň jednu zakázanú smernicu. Teraz zvažuje uplatňovanie týchto smerníc na konkrétnych príkladoch.

Prostredníctvom tohto kódu umožníte indexáciu všetkých stránok stránky:

Užívateľ-agenta: * Zakázať:

A cez taký kód, naopak, všetky strany budú zatvorené:

User-Agent: * Zakázať: /

Zakázať indexovanie konkrétneho adresára zvaného priečinka, zadajte:

User-Agent: * DISPOWLOW: / FOLDER

Môžete tiež použiť hviezdičky na náhradu ľubovoľného názvu:

Používateľský agenta: * DOPLOW: * .php

DÔLEŽITÉ: Asterisk nahrádza názov súboru úplne, to znamená, že nemôžete zadať súbor * .php, môžete len * .php (ale všetky stránky s rozšírením bude zakázané - môžete zadať konkrétnu stránku stránky) .

Povoliť smernica, ako je uvedené vyššie, sa používa na vytvorenie výnimiek v zakázaní (inak nemá zmysel, pretože predvolené stránky sú otvorené).

Napríklad je zakázané indexovať stránku v archívnom priečinku, ale zanechá index.html Otvoriť stránku z tohto adresára:

Povoliť: /rchive/index.html zakázať: / Archív /

Uveďte hostiteľa a mapu stránok

Hostiteľ je hlavným zrkadlom stránky (to znamená názov domény plus www alebo názov domény bez tejto konzoly). Hostiteľ je označený len pre Robot Yandex (aspoň jeden zakázaný tím musí byť potrebný.

Zadať hostiteľské robots.txt musí obsahovať nasledujúcu položku:

User-Agent: Yandex Disallow: Hostiteľ: www.vashsayt.ru

Pokiaľ ide o mapu lokality, Robots.txt Sitemap je špecifikovaný jednoduchým rozprávaním celú cestu k príslušnému súboru, ktorý označuje názov domény:

Sitemap: http: //vashsayt.ru/sitemap.xml

O tom, ako urobiť mapu stránok pre WordPress, napísané.

Príklad Robots.txt pre WordPress

Pre pokyny na WordPress, musíte zadať všetky technické adresáre (WP-admin, WP-zahŕňa, atď.) Na indexovanie, rovnako ako duplicitné stránky vytvorené značkami, RSS súbormi, komentáre, vyhľadávanie.

Ako príklad Robots.txt for WordPress Môžete si vziať súbor z našej stránky:

User-Agent: YANDEX DOPALLOW: / WP-admin Disallow: / WP-Zahŕňa Disalow: /wp-Login.php Disalow: /wp-register.php Disalow: /xmlrpc.php Disalow: / Hľadať zakázať: * / Trackback Disallows: * * / Feed / Disallow: * / FEED DISCEALLOW: * / Komentáre / DOPLOW: /? SEVERE \u003d DOSTALLOW: /? S \u003d DISPALLOW: * / Stránka / * Disallow: * / Komentár Disalow: * / TAG / * DOSTALLOW: * Príloha / * Povoliť: / WP-Content / Uploads / Host: www..php zakázanie: /wp-register.php Disalow: /xmlrpc.php Disalow: / Hľadať zakázané: * / Trackback Disallow: * / Feed / Disallow: * Krmivo zakázané: * / Komentáre / Disallow: /? SEVERY \u003d DOSTALLOW: /? S \u003d DISPALLOW: * / Stránka / * DISPALLOW: * / Komentár Disallow: * / Tag / * Disallow: / prílohy / * Povoliť: / WP -Conalow : / WP-AGENT: * DISTALOW: / WP-admin Disallow: / WP-Zapnuté: / WP-LOGIN.php Disalow: /wp-register.php Disalow: /xmlrpc.php Disalow: / Hľadať zakázať: * / Trackback Zakázať: * / Feed / Disallow: * / FEED DOPALLOW: * / Komentáre / Disallow: /? Feed \u003d Disallow: /? S \u003d DISPOWLOW: * / Stránka / * Disallow: * / Komentár Disalow: * / TAG / * DISA. LLOW: / Príloha / * Povoliť: / WP-Content / Uploads / Sitemap: https: //www..xml

Stiahnite si súbor robots.txt z našej stránky môže byť.

Ak podľa výsledkov čítania tohto článku máte nejaké otázky - opýtajte sa v komentároch!