A robots.txt egy olyan szövegfájl, amely tartalmazza a webhely indexelési paramétereit a keresőmotor robotjaihoz.

Ajánlások a fájl tartalmáról

A Yandex támogatja a következő irányelveket:

Irányelv	Mit csinál.
Felhasználói ügynök *
Tiltsa le.
Webhelytérkép
Tiszta-param
Lehetővé teszi.
Késleltetés	Javasoljuk, hogy a feltérképezési sebesség beállítását használja

Irányelv	Mit csinál.
Felhasználói ügynök *	Jelzi a robotok.txt-ban felsorolt \u200b\u200bszabályokat.
Tiltsa le.	Tiltja az oldalak vagy az egyes oldalak indexelését.
Webhelytérkép	Megadja a webhelyen feltüntetett webhelytérkép-fájl elérési útját.
Tiszta-param	Azt jelzi, hogy a robot, hogy az oldal UTM-címkék, amelyek az indexeléskor figyelmen kívül hagyják.
Lehetővé teszi.	Lehetővé teszi az indexelési helyszíneket vagy az egyes oldalakat.
Késleltetés	Megadja a keresési robot minimális időtartamát (másodpercben), hogy várjon egy oldal betöltése után, mielőtt elkezdené betölteni egy másikat. Javasoljuk, hogy a feltérképezési sebesség beállítása a Yandex.Webmaster helyett az irányelv helyett.

* Kötelező irányelv.

A leggyakrabban szüksége van a letiltásra, a webhelytérképre és a tiszta parami irányelvekre. Például:

Felhasználói ügynök: * Az irányelvek letiltásra kerülnek: / bin / # letiltva linkeket a bevásárlókosárból. Tiltsa le: / Search / # letiltja a webhelyen beágyazott keresés összes oldalláncát: / admin / # letiltja az adminisztrátorpanel webhelytérképét: http://example.com/sitemap # Adja meg a webhely webhelytérképfájlját Tiszta param: ref /some_dir/get_book.pl

A többi keresőmotorokból és szolgáltatásokból származó robotok interprette-e. Szolgáltatások diffret módon.

Jegyzet. A robot figyelembe veszi a szubsztrák esetét (fájlnév vagy útvonal, robotnév), és figyelmen kívül hagyja az ügyet az irányelvek nevében.

Cirill karakterek használata.

A cirill ábécé használata nem engedélyezett a robots.txt fájlban és a HTTP http fejlécekben.

Domainnevekhez használja a Punycode-t. Oldal címek, használd ugyanazt a kódolást, mint az aktuális webhely struktúrájának.

Jó napot kedves barátaim! Tudod, hogy a keresőoptimalizálás a felelős és finom üzlet. Figyelembe kell venni, hogy mindenképpen figyelembe vegye az elfogadható eredményt.

Ma beszélünk a robots.txt fájlról, amely ismeri az egyes webmestereket. Benne van, hogy a keresési robotok alapvető utasításait előírják. Szabályként örömmel követik az előírt utasításokat, és a helytelen fordítás esetén megtagadják a webes erőforrás indexelését. Ezután elmondom, hogyan lehet a robots.txt helyes verzióját, valamint hogyan kell konfigurálni.

Az előszóban már leírtam, hogy mi az. Most elmondom, miért van szükség. A robots.txt egy kis szövegfájl, amely a webhely gyökerében tárolódik. A keresőmotorok használják. Az indexelési szabályokból egyértelműen meg van írva, azaz a webhely melyik részét meg kell indexelni (add hozzá a kereséshez), és ami nem.

Általában a webhely ipari részei indexálásból zárva vannak. Alkalmanként a feketelista leesik a leolvasztott oldalakról (a példa másolási adatvédelmi irányelvei). Itt a "robotok magyarázzák" az indexelendő szakaszokkal való együttműködés elveit. Nagyon gyakran előírja a több robot számára külön szabályokat. Továbbra is beszélünk róla.

A robotok beállításakor.txt webhelye garantálja a keresőmotorok helyzetét. A robotok csak hasznos tartalmat vesznek figyelembe, amelyek megnyilvánulnak a duplikált vagy technikai szakaszokat.

Robots.txt létrehozása

Fájl létrehozásához elegendő az operációs rendszer szabványos funkcionalitásának használatához, majd az FTP-en keresztül kirakodott a kiszolgálóra. Hol fekszik (a szerveren), hogy könnyen megjelenjen - a gyökérben. Jellemzően ez a mappa nyilvános_html.

Könnyedén bejuthat bármilyen FTP kliens (például) vagy beépített fájlkezelővel. Természetesen nem fogunk feltölteni egy üres robotot a kiszolgálóhoz. Számos fő irányelvünket végezzünk (szabály).

Felhasználói ügynök: *
Lehetővé teszi: /

Ezen sorok használata a robotok fájljában, kapcsolatba lép a robotok (felhasználói ágens irányelv), amely lehetővé teszi számukra, hogy teljes mértékben és teljesen indexelje webhelyét (beleértve az összeset. Az oldalak lehetővé teszik: /)

Természetesen ez az opció nem különösebben alkalmas számunkra. A fájl nem lesz különösen hasznos a keresőmotor optimalizálásához. Ez egyértelműen kompetens konfigurációra van szüksége. De korábban az összes fő irányelv és robots.txt értékek.

Irányelv

Felhasználói ügynök	Az egyik legfontosabb, mivel azt jelzi, hogy mely robotok követik a szabályokat. A szabályokat a fájl következő felhasználói ügynökéig figyelembe veszik.
Lehetővé teszi.	Lehetővé teszi az erőforrásblokkok indexálását. Például: "/" vagy "/ tag /".
Tiltsa le.	Éppen ellenkezőleg, tiltja az indexelést.
Webhelytérkép	Útvonal elérése a webhely térképhez (XML formátumban).
Házigazda.	A fő tükör (www vagy anélkül, vagy ha van több domainje). Itt is jelzi a biztonságos HTTPS protokollt (ha rendelkezésre áll). Ha van egy szabványos http, akkor nem kell megadnia.
Késleltetés	Ezzel beállíthatja a webhelyének látogatásának és letöltésének intervallumát a robotok számára. Segít csökkenteni a terhelést a gazdagépen.
Tiszta-param	Lehetővé teszi, hogy tiltsa le a paraméterek indexelését bizonyos oldalakon (a www.site.com/cat/state?admin_id8883278 típus szerint). A korábbi irányelvekkel ellentétben a 2 érték (cím és paraméter maga) van megadva.

Ezek mind a szabályok, amelyeket a kiemelt keresőmotorok támogatnak. Segítségük van, hogy létrehozzuk robotjainkat, különböző típusú különböző típusú változatok működését.

Beállítás

A robotfájl kompetens konfigurációjához pontosan tudnunk kell, hogy melyik helyszíneket kell indexelni, és amelyek nem. A HTML + CSS-ek egyszerű egyoldala esetén több jelentős irányelvet is regisztrálunk, mint például:

Felhasználói ügynök: *
Lehetővé teszi: /
Sitemap: site.ru/sitemap.xml.
Host: www.site.ru.

Itt jeleztük az összes keresőmotor szabályait és értékeit. De jobb, ha külön irányelveket adhat a Google és a Yandex számára. Ez így fog kinézni:

Felhasználói ügynök: *
Lehetővé teszi: /

Felhasználói ügynök: Yandex
Lehetővé teszi: /
Tiltsa le: / Politika

Felhasználói ügynök: Googlebot
Lehetővé teszi: /
Tiltsa le: / címkéket /

Sitemap: site.ru/sitemap.xml.
Host: Site.ru.

Most a HTML oldalunkon abszolút fájlokat indexelnek. Ha ki akarunk zárni néhány oldalt vagy képet, akkor meg kell adnunk egy relatív kapcsolatot erre a fragmensre a letiltás.

Használhatja a robotok automatikus fájl-generációs szolgáltatásait. Nem garantáljuk, hogy a segítségükkel a tökéletesen helyes opciót hozza létre, de megpróbálhatod megismerkedni.

Az ilyen szolgáltatások közül kiosztható:

Segítségükkel létrehozhat robots.txt automata módban. Személy szerint, tényleg nem ajánlom ezt az opciót, mert sokkal könnyebben csinálni manuálisan, a platformom alatt.

A platformokról beszélve mindenféle CMS, keretrendszer, SaaS rendszerek és még sok más. Ezután beszélünk arról, hogyan kell testreszabni a WordPress és a Joomla Robots fájlt.

De mielőtt ezt válassza több egyetemes szabályok, amelyek vezérlik létrehozása és konfigurálása robotok szinte minden oldalon:

Az indexelés (tiltása):

• helyszíni adminisztráció;
• személyes fiók és regisztráció / engedélyezési oldalak;
• kosár, adatok megrendelésekkel (online áruházhoz);
• cGI mappa (a fogadóban található);
• szolgáltatási szakaszok;
• scripts Ajax és JSON;
• UTM és openstat címkék;
• különböző paraméterek.

Nyissa meg (engedélyezze):

• képek;
• JS és CSS fájlok;
• más elemeket, amelyeket a keresőmotorok figyelembe kell venni.

Ezenkívül, a végén ne felejtsd el megadni a webhelytérkép adatait (útvonalat az oldal térképhez) és a gazdagép (fő tükör).

Robots.txt a WordPress számára

Fájl létrehozásához meg kell dobnunk a robots.txt a webhely gyökeréhez. A tartalmát ebben az esetben megváltoztathatja ugyanazon FTP és fájlkezelők segítségével.

Van egy kényelmesebb lehetőség - Hozzon létre egy fájlt pluginokkal. Különösen ez a funkció Yoast SEO. A robotok szerkesztése egyenesen az adminisztrátorból sokkal kényelmesebb, ezért én magam használom ezt a munkát a robots.txt.

Hogyan döntesz úgy, hogy létrehozza ezt a fájlt - az Ön vállalkozásának, fontosabb számunkra, hogy megértsük, hogy melyik irányelvnek ott kell lennie. A WordPress futó webhelyein ezzel az opcióval:

Felhasználói ügynök: * # szabályok minden robot számára, a Google és a Yandex kivételével

Tiltsa le: / cgi-bin # mappa szkriptekkel
Tiltsa le: /? # A kezdőlap kérései paraméterei
Tiltsa le: / wp- # A CSM fájlok (a WP-vel)
Tiltsa le: *? S \u003d # \
Tiltsa le: * & s \u003d # Mind a kereséshez kapcsolódik
Letallás: / keresés / # /
Tiltsa le: / szerző / # Archívum szerzői
Tiltsa le: / felhasználók / # és a felhasználók
Tiltsa le: * / Trackback # Értesítések a WP-től, hogy valaki utal rád
Tiltsa le: * / Feed # FID az XML-ben
Tiltsa le: * / RSS # és RSS.
Tiltsa le: * / beágyaz # Beépített elemek
Tiltsa le: /xmlrpc.php. # WordPress API.
Tiltsa le: * UTM \u003d # UTM címkék
Tiltsa le: * OpenStat \u003d # OpenStat címkék
Tiltsa le: / tag / # Címkék (ha van ilyen)
Hagyja: * / Feltöltések # nyitott letöltések (képek stb.)

Felhasználói ügynök: Googlebot # A Google számára
Tiltsa le: / cgi-bin
Tiltsa le: /?
Tiltsa le: / wp-
Tiltsa le: *? S \u003d
Tiltsa le: * & s \u003d
Letallás: / keresés /
Tiltsa le: / szerző /
Tiltsa le: / felhasználók /
Tiltsa le: * / Trackback
Tiltsa le: * / Feed
Tiltsa le: * / RSS
Tiltsa le: * / beágyaz
Tiltsa le: /xmlrpc.php.
Tiltsa le: * UTM \u003d
Tiltsa le: * OpenStat \u003d
Tiltsa le: / tag /
Hagyja: * / Feltöltések
Hagyja: / *\u003e .js. # Open JS fájlok
Hagyja: / *, / ABSS. # és CSS.
Engedélyezés: /wp-*.png. # és képeket png formátumban
Engedélyezés: /wp-*.jpg # \
Engedélyezés: /wp-*.jpeg. # és más formátumokban
Hagyja: /wp-*.gif. # /
# működik együtt pluginokkal

Felhasználói ügynök: Yandex # a Yandex számára
Tiltsa le: / cgi-bin
Tiltsa le: /?
Tiltsa le: / wp-
Tiltsa le: *? S \u003d
Tiltsa le: * & s \u003d
Letallás: / keresés /
Tiltsa le: / szerző /
Tiltsa le: / felhasználók /
Tiltsa le: * / Trackback
Tiltsa le: * / Feed
Tiltsa le: * / RSS
Tiltsa le: * / beágyaz
Tiltsa le: /xmlrpc.php.
Tiltsa le: / tag /
Hagyja: * / Feltöltések
Hagyja: / *\u003e .js.
Hagyja: / *, / ABSS.
Engedélyezés: /wp-*.png.
Engedélyezés: /wp-*.jpg
Engedélyezés: /wp-*.jpeg.
Hagyja: /wp-*.gif.
Engedélyezés: /wp-admin/admin-ajax.php.
# tiszta UTM címkék
Tiszta-param: OpenStat # és az OpenStatról ne felejtsük el

Oldaltérkép: # A webhely térképének módját írjuk elő
Host: https://site.ru. # Fő tükör

Figyelem! Ha a húrokat egy fájlba másolja - Ne felejtse el törölni az összes megjegyzést (szöveg # után).

Ez az opció robots.txt a legnépszerűbb a WP-t használó webmesterek között. Tökéletes? Nem. Megpróbálhat hozzáadni valamit, vagy éppen ellenkezőleg az eltávolítással. De vegye figyelembe, hogy a robotok szövegeinek optimalizálásakor a hiba nem ritka. Továbbá beszélünk róluk.

Robots.txt a Joomla számára

És bár 2018-ban Joomla ritkán használ, úgy gondolom, hogy lehetetlen meghatározni ezt a csodálatos CMS-t. A Joomla projektek előmozdításakor minden bizonnyal létre kell hoznia egy robotfájlt, és egyébként hogyan szeretné bezárni a felesleges elemeket az indexálásból?

Mint az előző esetben, létrehozhat egy fájlt manuálisan, csak dobja be a gazdagépre, vagy használja a modult e célokra. Mindkét esetben kompetensen konfigurálnia kell. Ez úgy néz ki, mint a Joomla helyes opció:

Felhasználói ügynök: *
Hagyja: /*.css?
Hagyja: /*.js?
Engedélyezés: /*.jpg?c.
Hagyja: /*.png?c.a.
Tiltsa le: / gyorsítótár /
Tiltsa le: /*.pdf.
Tiltsa le: / adminisztrátor /
Tiltsa le: / Telepítés /
Tiltsa le: / CLI /
Tiltsa le: / Könyvtárak /
Tiltsa le: / nyelv /
Tiltsa le: / komponensek /
Tiltsa le: / modulok /
Tiltsa le: / magában foglalja /
Tiltsa le: / bin /
Tiltsa le: / komponens /
Tiltsa le: / tmp /
Tiltsa le: /index.php.
Tiltsa le: / plugins /
Tiltsa le: / * Mailto /

Tiltsa le: / naplókat /
Tiltsa le: / komponens / címkék *
Tiltsa le: / *%
Tiltsa le: / elrendezéseket /

Felhasználói ügynök: Yandex
Tiltsa le: / gyorsítótár /
Tiltsa le: /*.pdf.
Tiltsa le: / adminisztrátor /
Tiltsa le: / Telepítés /
Tiltsa le: / CLI /
Tiltsa le: / Könyvtárak /
Tiltsa le: / nyelv /
Tiltsa le: / komponensek /
Tiltsa le: / modulok /
Tiltsa le: / magában foglalja /
Tiltsa le: / bin /
Tiltsa le: / komponens /
Tiltsa le: / tmp /
Tiltsa le: /index.php.
Tiltsa le: / plugins /
Tiltsa le: / * Mailto /

Tiltsa le: / naplókat /
Tiltsa le: / komponens / címkék *
Tiltsa le: / *%
Tiltsa le: / elrendezéseket /

Felhasználói ügynök: Googlebot
Tiltsa le: / gyorsítótár /
Tiltsa le: /*.pdf.
Tiltsa le: / adminisztrátor /
Tiltsa le: / Telepítés /
Tiltsa le: / CLI /
Tiltsa le: / Könyvtárak /
Tiltsa le: / nyelv /
Tiltsa le: / komponensek /
Tiltsa le: / modulok /
Tiltsa le: / magában foglalja /
Tiltsa le: / bin /
Tiltsa le: / komponens /
Tiltsa le: / tmp /
Tiltsa le: /index.php.
Tiltsa le: / plugins /
Tiltsa le: / * Mailto /

Tiltsa le: / naplókat /
Tiltsa le: / komponens / címkék *
Tiltsa le: / *%
Tiltsa le: / elrendezéseket /

Host: Site.ru. # Ne felejtsd el megváltoztatni a címet
Sitemap: site.ru/sitemap.xml # és itt

Általános szabályként ez elég ahhoz, hogy a felesleges fájlok ne kerüljenek az indexbe.

Hibák a beállításkor

Nagyon gyakran az emberek hibákat hoznak létre, amikor létrehoznak és konfigurálnak egy robotfájl. Itt vannak a leggyakoribbak:

• A szabályok csak a felhasználói ügynök számára jelennek meg.
• Nincs gazda és webhelytérkép.
• A HTTP protokoll jelenléte a gazdaszervezetben (csak HTTPS-t kell megadnia).
• A fészkelési szabályok betartásának elmulasztása a képek megnyitásakor / záráskor.
• Nem zárt UTM és OpenStat címkék.
• Minden robot számára a gazdagép és webhelytérkép irányelvek megnyomásával.
• Felszínes fájlvizsgálat.

Nagyon fontos, hogy megfelelően konfiguráljuk ezt a kis fájlt. A durva hibák által jóváhagyott, akkor elveszítheti a forgalom jelentős részét, ezért rendkívül figyelmesek legyenek.

Hogyan ellenőrizheti a fájlt?

Ezekre a célokra, akkor jobb, ha különleges szolgáltatásokat Yandex és a Google, hiszen ezek a keresők a legnépszerűbb és a kereslet (leggyakrabban egyedi), mint a keresőprogramok, mint a Bing, a Yahoo vagy a Rambler úgy nincs értelme.

Kezdjük, fontolja meg a Yandex opciót. A webmesterbe megyünk. Ezt követően a robots.txt elemző eszközök.

Itt ellenőrizheti a fájlt a hibák, valamint a valós idejű ellenőrzés, mely oldalak nyitottak az indexelésre, és amelyek nem. Nagyon kényelmes.

A Google pontosan ugyanaz a szolgáltatás. B. Keresési konzol. . Megtaláljuk a Scan fület, válassza a - Robots.txt Fájlellenőrző eszközt.

Itt pontosan ugyanazok a funkciók, mint a hazai szolgáltatás.

Kérjük, vegye figyelembe, hogy 2 hibát mutat. Ez annak köszönhető, hogy a Google nem ismeri fel a Yandex számára megadott paraméter tisztítási irányelveket:

Tiszta-param: utm_source & utm_medium & utm_campaign
Tiszta-param: OpenStat

Nem érdemes figyelmet fordítani erre, mivel a Google robotjai csak a Googlebot szabályokat használnak.

Következtetés

A robots.txt fájl nagyon fontos a webhely SEO optimalizálásához. Gyerünk a konfigurációhoz az összes felelősséggel, mert helytelen kivitelezéssel mindent meghatolhat.

Tekintsük az ebben a cikkben megosztott utasításokat, és ne felejtsük el, hogy nem feltétlenül másolja a robotok beállításait. Lehetséges, hogy meg kell értenie az egyes irányelvek mindegyikét, a fájlt az adott esetben.

És ha mélyebben szeretné kitalálni a robots.txt-ben, és weboldalakat hoz létre a WordPressen, akkor meghívlak téged. Ezen megtudhatja, hogyan könnyen létrehozhat egy webhelyet, anélkül, hogy elfelejtené, hogy optimalizálja azt a keresőmotorokhoz.

Robots.txt - Ez egy szövegfájl, amely a webhely gyökerében található - http://site.ru/robots.txt.. Fő célja, hogy bizonyos irányelveket kérjen a keresőmotorokba - mi és mikor kell a webhelyen.

A legegyszerűbb robots.txt

A legegyszerűbb robots.txt, amelyet az összes keresőmotor lehetővé teszi, hogy mindent megindítsák, így néz ki:

Felhasználói ügynök: *
Tiltsa le:

Ha a letiltásról szóló irányelvnek nincs ferde slash a végén, akkor minden oldal indexelésre engedélyezett.

Az ilyen irányelv teljesen megtiltja a webhely indexelését:

Felhasználói ügynök: *
Tiltsa le: /

Felhasználói ügynök - Azt jelzi, hogy az irányelvek célja, a csillagok azt jelzik, hogy minden PS esetében a felhasználói ügynök a Yandex: Yandex.

A Yandex Segítség van írva, hogy a keresési robotok kezelni User-Agent: *, de ha jelen vannak User-Agent: Yandex, User-Agent: * figyelmen kívül hagyni.

Az irányelvek letiltása és engedélyezése

Két fő irányelv létezik:

Tiltsa le - tiltani

Engedélyezés - Engedélyezés

Példa: A blogon tilos indexelni a mappát / WP-tartalom / ahol plug-inek található, sablon i.t.p. De vannak olyan képek is, amelyeket a PS indexelnek, hogy részt vegyenek a képek keresésében. Ehhez használjon ilyen rendszert:

Felhasználói ügynök: *
Hagyja: / WP-tartalom / feltöltések / # Engedélyezze a képek indexelését a feltöltési mappában
Tiltsa le: / WP-tartalom /

Az irányelvek használatára vonatkozó eljárás fontos a Yandex számára, ha egy oldalra vagy mappára vonatkoznak. Ha ezt megadja:

Felhasználói ügynök: *
Tiltsa le: / WP-tartalom /
Hagyja: / WP-tartalom / feltöltések /

A képek nem töltik be a Yandex robotot a / feltöltésekről /, mert az első irányelv végrehajtásra kerül, amely megtiltja a WP-tartalom mappához való hozzáférést.

A Google könnyebbé válik, és elvégzi a robots.txt fájl összes irányelveit, függetlenül a helyüketől.

Ne felejtsük el, hogy a slash és anélküli irányelvek különböző szerepeket végeznek:

LEALLOW: / Körülbelül Tiltott hozzáférést biztosít a teljes site.ru/about/ könyvtár, szintén nem indexelt oldalak, amelyek tartalmazzák a következőket: - site.ru/about.html, site.ru/aboutlive.html I.T.P.

Tiltsa le: / körülbelül / Kikapcsolja az indexálás oldalak robotok site.ru/about/ könyvtárba, és az oldal által type.ru/about.html i.t.p. elérhető lesz az indexeléshez.

Rendszeres kifejezések a robots.txt-ban

Két karakter támogatott, ez:

* - A karakterek sorrendjét jelenti.

Példa:

Tiltsa le: / körülbelül * Letiltja a hozzáférést az összes olyan oldalhoz, amely elvben, elvben ez az irányelv csillag nélkül is működik. De egyes esetekben ez a kifejezés nem cserélhető. Például egy kategóriában vannak oldalak C.HTML végén anélkül, hogy szoros indexelni minden olyan oldalakat, amelyeken HTML, írunk elő ezt az irányelvet:

Tiltsa le: /about/*.html.

Most a site.ru/about/live.html oldalak zárva vannak az indexelésből, és a site.ru/about/live oldal nyitva van.

Egy másik példa analógiával:

Felhasználói ügynök: Yandex
Engedélyezés: /about/*.html. # Hadd indexem
Tiltsa le: / körülbelül /

Minden oldal zárva lesz, kivéve az alábbi oldalakat .html

$ - Vágja a fennmaradó részt, és a karakterlánc végét jelöli.

Példa:

LEALLOW: / Körülbelül - Ez a robots.txt irányelv tiltja az összes olyan oldal indexelését, amely a kb.

Egy dollár szimbólum hozzáadása a végén - Tiltsa le / kb. indexelhető.

Sitemap irányelv

Ez az irányelv jelzi a webhelytérkép útját, ebben a formában:

Oldaltérkép: http: //site.ru/sitemap.xml

Irányelv fogadó.

Ebben az űrlapon jelezve:

Host: Site.ru.

Http: // nélkül, ferde jelenetek és hasonlók. Ha a főképernyős tükör www, akkor írja:

Példa robots.txt for Bitrix

Felhasználói ügynök: *
Tiltsa le: /*index.php$
Tiltsa le: / Bitrix /
Tiltsa le: / auth /
Tiltsa le: / személyes /
Tiltsa le: / feltöltse /
Letallás: / keresés /
Tiltsa le: / * / keresés /
Tiltsa le: / * / slide_show /
Tiltsa le: / * / galéria / * megrendelés \u003d *
Tiltsa le: / *? *
Tiltsa le: / * és nyomtatás \u003d
Tiltsa le: / * regiszter \u003d
Tiltsa le: / * elfelejtett_password \u003d
Tiltsa le: / * CHAND_PASSWORD \u003d
Tiltsa le: / * login \u003d
Tiltsa le: / * logout \u003d
Tiltsa le: / * auth \u003d
Tiltsa le: / * cselekvés \u003d *
Tiltsa le: / * Bitrix _ * \u003d
Tiltsa le: / * backurl \u003d *
Tiltsa le: / * backurl \u003d *
Tiltsa le: / * Back_URL \u003d *
Tiltsa le: / * Back_URL \u003d *
Tiltsa le: / * Back_URL_ADMIN \u003d *
Tiltsa le: / * print_course \u003d y
Tiltsa le: / * tanfolyam_ID \u003d
Tiltsa le: / * pagen_ *
Tiltsa le: / * Page_ *
Tiltsa le: / * Showall
Tiltsa le: / * show_all \u003d
Host: Sitename.ru.
Sitemap: https://www.sitename.ru/sitemap.xml

Példa robots.txt a WordPress számára

Az összes szükséges irányelv hozzáadása után, amelyeket fent ismertetünk. Meg kell kapnia valamit, mint a fájl robotok:

Ez így szól, hogy a robots.txt alapvető változata a WordPress számára. Íme két felhasználói ügynök-A - egy mindenkinek és a második a Yandex számára, ahol a fogadó-irányelv jelzi.

Meta címkék robotok

Lehetőség van az indexelési oldalról vagy a webhelyről nemcsak a robots.txt fájlból, akkor meta címkével végezhető.

<mETA NAME \u003d "ROBOT" TARTALOM \u003d "NOInDEX, NOFOLLOW"\u003e

Szükség van a címkére, és ez a meta címke tiltja a webhely indexét. A WordPress-ben vannak olyan bővítmények, amelyek lehetővé teszik az ilyen meta címkék, például a Platinum SEO Pack beállítását. Ezzel az indexálás bármelyik oldalán zárható be, meta címkéket használ.

Feltérképezési irányelv

Ezen irányelv használatával beállíthatja azt az időt, amelyre a keresési botot meg kell szakítani, a webhely oldalainak letöltése között.

Felhasználói ügynök: *
Crawl-késleltetés: 5

A két oldal betöltése közötti időtúllépés 5 másodperccel egyenlő lesz. A szerver terhelésének csökkentése érdekében általában 15-20 másodpercet mutat. Ez az irányelv szükséges a nagy, gyakran frissített webhelyekhez, amelyeken a keresési botok egyszerűen "élnek".

A rendes webhelyek / blogok esetében ez az irányelv nem szükséges, de így korlátozhatja más nem tényleges keresési robotok viselkedését (Rambler, Yahoo, Bing) i.t.p. Végtére is beírják a webhelyet, és indexelnek, ezáltal terhelést hoznak létre a szerveren.

Helyes, a robots.txt root fájl megfelelő konfigurálása az internetes varázsló egyik legfontosabb feladata. A kiadatás keresésében bekövetkezett hibák esetén a webhely számos felesleges oldala megjelenhet. Vagy éppen ellenkezőleg, a webhely fontos dokumentumait a legrosszabb esetben indexelt, a legrosszabb esetben bezárhatja a tartomány összes gyökérkönyvtárát.

A robots.txt fájl megfelelő konfigurációja saját kezével, valójában a feladat nem nagyon bonyolult. Miután elolvasta ezt a cikket, megtudhatja az irányelvek bölcsességét, és önállóan írja meg a robots.txt fájlt a webhelyén.

A robots.txt fájl létrehozásához egy bizonyos, de nem komplex szintaxisot használnak. Nem sok irányelv. Tekintsük a robotok.txt fájl szabályait, szerkezetét és szintaxisát lépésről lépésre és részletesen.

Általános szabályok robots.txt

Először is, a robots.txt fájlnak van egy ANSI kódolása.

Másodszor, lehetetlen használni a nemzeti ábécé szabályainak írását, csak a latin lehetséges.

A robots.txt strukturális fájlja egy vagy több utasításból állhat, külön különböző keresőmotorok robotjaival. Minden blokk vagy szakasznak van egy sor szabálya (irányelvek), hogy indexelje a webhelyet egy keresőmotor.

Az irányelvekben a szabályok blokkjai és azok között nem engedélyezettek felesleges címsorok és szimbólumok.

Az irányelveket és a szabályok blokkját a karakterlánc átadása elválasztja. Az egyetlen feltételezés észrevétel.

Robots.txt

A megjegyzéshez használja a "#" szimbólumot. Ha a "rács" szimbólumot a karakterlánc elején helyezi el, akkor a vonal végéig minden tartalmat figyelmen kívül hagyja a keresési robotok.

Felhasználói ügynök: *
Tiltsa le: / CSS # Írj egy megjegyzést
# Egy másik megjegyzést írunk
Tiltsa le: / img

Szakaszok a robots.txt fájlban

Ha a fájl olvasása egy robot, csak részben foglalkozott a robot ennek kereső használják, azaz, ha a részben, User-Agent neve a Yandex kereső, akkor a robot csak olvasható szekció címzett neki, figyelmen kívül hagyva másokat, különösen, és a rész minden robot - felhasználói ügynök: *.

A szakaszok mindegyike önmagában van. A részek némileg lehetnek, mindegyik vagy egyes keresőmotorok robotjai, és egy univerzális, az egyik rendszer minden robotja vagy robotja. Ha a szakasz egy, akkor a fájl első sorával kezdődik, és elviszi az összes vonalat. Ha a szakaszok többek, akkor azokat egy üres karakterlánczal kell elválasztani, legalább egy.

A szakasz első lépése mindig a User-Agent irányelv és tartalmazza a nevét, a kereső, amelyek a robotok célja, hogy ez nem egy univerzális szakaszban minden robotot. A gyakorlatban így néz ki:

Felhasználói ügynök: YandExbot
# Ouser Agent for Robots Yandex rendszer
Felhasználói ügynök: *
# Ouser ügynök minden robot számára

Sorolja fel a botok több nevét. Az egyes keresőmotorok botáihoz saját szakasza jön létre, saját külön szabályzata. Ha az Ön esetében az összes robot szabályai ugyanazok, használj egy univerzális, közös részt.

Irányelv, mi ez?

Az irányelv egy parancs vagy szabály, amely bizonyos információkért kereső robotot mond. Az irányelv jelenti a keresőrobotja, hogyan index a webhely, amely a könyvtárakat nem megtekintéséhez, ahol a site map XML formátumú, milyen domain név a fő tükör és néhány egyéb technikai részleteket.

A robots.txt fájlrész külön parancsokból áll,
irányelvek. Általános szintaxis irányelvek:

[_Name]: [Opcionális hely] [Érték] [Opcionális hely]

Az irányelvet egy sorban írják át, továbbítás nélkül. Az elfogadott szabványok szerint a vonalak nem engedélyezettek az irányelvek egy szakaszában, vagyis az ugyanazon szakasz valamennyi irányelve minden egyes soron további sorok nélkül íródnak.

Ismertesse az alkalmazott fő irányelvek értékeit.

Az irányelv letiltja

A leginkább használt irányelv a robots.txt fájlban "letiltja" - tilos. A letiltásról szóló irányelv tiltja a benne meghatározott útvonal indexálását. Ez lehet egy külön lap, a megadott "maszk", az Ön URL-jében (útvonalak), a webhely része, külön könyvtár (mappa) vagy az egész webhely.

"*" - A csillagok - "bármilyen karakter számát". Ez az, hogy az útvonal / mappa * Ugyanaz az érték az "/ mappák", "/ mappák1", "/ folder11", "/ mappák" vagy "/ mappa". Robotok, a szabályok olvasása során automatikusan hozzáadja a "*" jelet. Az alábbi példában mindkét irányelv teljesen egyenértékű:

Tiltsa le: / híreket
Tiltsa le: / híreket *

"$" - A dollár jel tiltja a robotokat, amikor az irányelvek olvasása automatikusan hozzáadja a "*" szimbólumot (Csillag) az irányelv végén. Más szóval, a "$" szimbólum az összehasonlító karakterlánc végét jelenti. Azaz, a mi példánkban tiltják az indexelés a „/ Folder” mappa, de nem tiltják a mappák „/ mappa1”, „/ Folder111” vagy „/ Folderssss”:

Felhasználói ügynök: *
Tiltsa le: / mappát $

"#" - (Sharpe) megjegyzés jel. Minden, amit az ikon után írtak, az egyik, az IT vonalon, a keresőmotorok figyelmen kívül hagyják.

Az irányelv engedélyezése

A megengedett fájl robots.txt fájlja a DISALOWI irányelv ellentéte, az Engedélyezési irányelv megoldódik. Az alábbi példában azt mutatjuk, hogy megtiltjuk a teljes webhelyet a mappa / mappa kivételével:

Felhasználói ügynök: *
Hagyja: / mappát
Tiltsa le: /

Példa a "Engedélyezés", a "letiltás" és a prioritás egyidejű használatára

Ne felejtsük el a tilalmak és az engedélyek prioritásának megértését, az irányelvek megadásakor. Korábban prioritást jeleztek a tilalmak és engedélyek bejelentésére vonatkozó eljárás. Most elsőbbséget kell meghatározni, hogy meghatározza a legmagasabb meglévő útvonalat a keresőmotor-robot (felhasználói ügynök) egy blokkjában, annak érdekében, hogy növelje az útvonal hosszát és az irányelv utasításainak helyét, mint a hosszabb az út, annál nagyobb prioritás :

Felhasználói ügynök: *
Engedélyezés: / mappák
Tiltsa le: / mappát

A fentiekben a fenti példában az URL-indexelés megkezdődik a "/ mappák" elindításával, de tilos olyan útvonalakon, amelyek az URL-ek elindítása "/ mappák", "/ mappák" vagy "/ mapper2". Ugyanezen elérési út mind a "engedélyezés" és a "tiltás" irányelv, a preferenciát a "engedélyezés" irányelv adja meg.

A paraméter üres értéke az "Engedélyezés" és a "Balanlow" irányelvekben

Vannak webmester hibák, ha a robots.txt fájlban a letiltásról szóló irányelvben
Felejtsd el megadni a szimbólumot "/". Ez helytelen, hibás értelmezése az irányelvek értékei és szintaxisuk. Ennek eredményeként a tiltó irányelv megoldás lesz: "Tiltsa le", amely teljesen megegyezik a "Engedélyezés: /". Az egész webhely indexálásának helyes tilalma így néz ki:

Ugyanez mondható el a "Engedélyezés:". A "Engedélyezés:" irányelv a szimbólum nélkül "/" tiltja az egész webhely indexálását, valamint a "tiltás: /".

Sitemap irányelv

Az összes SEO-optimalizáló kanonhoz az oldaltérképet (SITEMAP) XML formátumban kell használnia, és biztosítja a keresőmotorok számára.

A keresőmotorok "webmesterek" funkciójának funkciója ellenére a sitemap.xml és a robots.txt jelenlétét az irányelv segítségével kell kijelenteni " Webhelytérkép" Keresési robotok A webhely megkerülése közben megjelenik a példány a SiteMap.xml fájlban, és feltétlenül használja a következő bypass-on. Példa a webhelytérkép-irányelv használatára a robots.txt fájlban:

Felhasználói ügynök: *
Sitemap: https://www.domainname.zone/sitemap.xml

Irányelv fogadó.

Egy másik fontos robots.txt irányelv egy irányelv Házigazda..

Úgy gondolják, hogy nem minden keresőmotor felismeri. De Yandex azt jelzi, hogy elolvassa ezt az irányelvet, és Yandex Oroszországban a fő "keresési adagoló", ezért nem hagyjuk figyelmen kívül a fogadó irányelvet.

Ez az irányelv azt mondja, hogy a keresőmotorok, melyik tartomány a fő tükör. Mindannyian tudjuk, hogy a webhely több címet is tartalmazhat. A webhely URL-je használható vagy nem használható a WWW előtag vagy a webhely több domain nevét, például domain.ru, domain.com, domen.ru, www.domen.ru. Ez pontosan ilyen esetekben tájékoztatjuk a keresőmotort a robots.txt fájlban a gazdaszervezet-irányelvvel, melyek közül melyik a fő. Az irányelv értéke a fő tükör neve. Példát adunk. Számos domain nevünk van (domain.ru, domain.com, domen.ru, www.domen.ru), és mindegyikük átirányítja a látogatókat a www.domen.ru webhelyre, a robots.txt fájlba való bejegyzés :

Felhasználói ügynök: *
Host: www.domen.ru.

Ha a fő tükörét az előtag (www) nélkül szeretné, akkor ennek megfelelően meg kell adnia a webhely nevét az irányelv előtag nélkül.

A fogadó irányelv megoldja az oldalak, amellyel a webes varázslók és a SEO szakemberek gyakran szembesülnek. Ezért a fogadó-irányelvet szükségszerűen kell használni, ha az oroszul beszélő szegmensre irányul, és fontos, hogy webhelyének rangsorolása a Yandex keresőmotorban. Ismételje meg ma az irányelv olvasását, csak "Yandex" mondja. A fő tükör más keresőmotorokban történő megadásához a webmesterek beállításait kell használnia. Ne felejtsük el, hogy a fő tükör nevét helyesen kell feltüntetni (az írás helyessége, a robots.txt fájl kódolásának és szintaxisának való megfelelés). A fájlban ez az irányelv csak egyszer engedélyezett. Ha hibásan adja meg többször, akkor a robotok figyelembe veszik az első bejegyzést.

Feltérképezési irányelv

Ez az irányelv a keresési robotok műszaki, parancsa, milyen gyakran kell meglátogatnia webhelyét. Pontosabban, a feltérképezési késleltetésről szóló irányelv a webhely robotjainak látogatásai közötti minimális szünetet jelzi (keresőmotorok). Miért jelzi ezt a szabályt? Ha a robotok nagyon gyakran jönnek hozzád, és az új információ a webhelyen sokkal ritkábban jelenik meg, akkor az idő múlásával a keresőmotorok szoktak hozzászokni a webhelyén a ritka információváltozáshoz, és sokkal ritkábban látogatnak meg, mint tetszik. Ez egy keresési érv a feltérképezési késleltetési irányelv használatának javára. Most a technikai érv. A webhely-robotok túl gyakori látogatása további terhelést eredményez a kiszolgálón, amelyet egyáltalán nem igényel. Az irányelv értéke jobb, ha jelzi az egész számot, de most néhány robot megtanulta olvasni és frakcionált számokat. Megadja az időt másodpercben, például:

Felhasználói ügynök: Yandex
Feltérképezési késleltetés: 5.5

Tiszta paramenti irányelv

Az opcionális "Clean-param" irányelv azt jelzi, hogy a webhely-cím beállításainak keresési robotjai, amelyeknek nem kell indexelniük, és ugyanazt az URL-t kell venni. Például ugyanazok az oldalak jelennek meg különböző címeken, amelyek egy vagy több paraméterben vannak jellemezve:

www.domain.zone/folder/page//
www.domain.zone/index.php?folder\u003dfolder&page\u003dpage1//
www.domain.zone/ index.php? Folder \u003d 1 & Page \u003d 1

A keresési robotok beolvasják az összes ilyen oldalt, és észreveszik, hogy az oldalak megegyeznek, ugyanazt a tartalmat tartalmazzák. Először is, az indexálás alatt az oldal szerkezetében zavart okoz. Másodszor, a kiszolgáló további terhelése növekszik. Harmadszor, a szkennelési sebesség észrevehetően csökken. Hogy elkerülje ezeket a problémákat és használja a tiszta paramenti-irányelvet. A szintaxis a következő:

Tiszta Param: Param1 [& Param2 & Param3 & Param4 & ... & Param * N] [PATH]

Irányelv "Tiszta Param", mint a "Host", olvassa el nem minden keresőmotor. De Yandex megérti.

A gyakran található robots.txt-ben található hibák

A robots.txt fájl nem a webhely gyökerében van.

Robots fájl. a TXT-t a helyszín gyökerébe kell helyezni, csak a gyökérkönyvtárban. Minden más azonos nevű fájl, de más mappákban (könyvtárak) a keresőmotorok figyelmen kívül hagyják.

Hiba a robots.txt fájlnévben

A fájlnév kis betűkkel (alsó regiszter) íródott, és meg kell hívni robotok.txt.. Minden más lehetőség hibásnak tekinthető, és a stresszek keresése jelentésre kerül egy fájl hiányában. A gyakori hibák így néznek:

Robots.txt
Robots.txt
robot.txt

Használjon érvénytelen karaktereket a robot.txt-ban

A robots.txt fájlnak az ANSI kódolásban kell lennie, és csak latinot tartalmaz. Az irányelvek írása és értékeik bármely más nemzeti szimbólummal elfogadhatatlanok, kivéve a megjegyzések tartalmát.

Robots.txt szintaxis hibák

Próbálja meg szigorúan kövesse a robots.txt fájl szintaktikai szabályait. A szintaxis hibái figyelmen kívül hagyhatják a keresőmotorok teljes fájljának tartalmát.

Több robot felsorolása egy sorban a felhasználói ügynök irányelvben

Hiba történt, amelyet gyakran megengedett az újonc webmesterek, hanem a saját lustaságuk miatt, hogy ne szakítsa meg a robots.txt fájlt a szakaszba, és egyben egy részben egyesíti a parancsokat egy részben, például: például:

Felhasználói ügynök: Yandex, Googlebot, Bing

Minden egyes keresőmotor számára létrehoznia kell saját külön szakaszát, figyelembe véve azokat az irányelveket, amelyeket a keresőmotor elolvas. Ezenkívül ebben az esetben az összes keresőmotor egységes szakasza:

Felhasználói ügynök üres értékkel

A felhasználói ügynök irányelvnek nem lehet üres értéke. Alternatív megoldásként csak "engedélyezhető" és "tiltása" lehet, majd figyelembe véve azt a tényt, hogy megváltoztatják értéküket. A felhasználói ügynöki irányelv üres értékkel történő megadása bruttó hiba.

Több érték a tiltásról szóló irányelvben

Gyakrabban a baj, de azonban rendszeresen látható a helyszíneken, ez a több érték megjelölése az irányelvek engedélyezése és letiltása, például:

Tiltsa le: / Folder1 / Folder2 / Folder3

Tiltsa le: / mappát1
Tiltsa le: / mappát2
Tiltsa le: / mappát3

A Robots.txt irányelvek prioritásainak meg nem felelése

Ezt a hibát már leírták, de az anyag megszilárdítása megismétlődik. Korábban a prioritást az irányított irányelvek szerinti eljárás határozta meg. A mai napig a szabályok megváltoztak, a prioritást a vonal hossza határozza meg. Ha két kölcsönösen kizárólagos irányelv létezik, lehetővé tegye és tiltja meg ugyanazt a tartalmat a fájlban, akkor a prioritás megengedi.

Keresőmotorok és robots.txt

A robots.txt fájlban szereplő irányelvek egy ajánló karakter a keresőmotorok számára. Ez azt jelenti, hogy az olvasási szabályok rendszeresen változhatnak vagy kiegészíthetők. Ne feledje, hogy minden keresőmotor saját módján dolgozik a fájl irányelvek. És nem minden irányelv a keresőmotorok mindegyike olvas. Például a fogadó irányelv ma csak Yandexet olvas. Ugyanakkor a Yandex garantálja, hogy a domain nevét a gazdaszervezet főbb tükörként adják meg, a főbb dologhoz tartozik, de azt állítja, hogy az irányelvben meghatározott név elsőbbségét adják meg.

Ha van egy kis szabálya, létrehozhat egy részét minden robot számára. Ellenkező esetben ne lusta, hozzon létre külön szakaszokat minden érdeklődő keresőmotorhoz. Különösen ez a tilalmakra utal, ha nem szeretne bizonyos oldalakat belépni a keresésbe.

Gyors navigáció ezen az oldalon:

A modern valóság az, hogy a ROWET-ben a robotok nevű fájl nélkül nem tehetsz önbecsülő webhelyet. Ez még akkor is, ha semmit sem tilthat az indexelésből (bár vannak olyan technikai oldalak és ismétlődő tartalom, amely bezárást igényel az indexelésből), akkor a Minimum, hogy regisztrálja az irányelvet WWW-vel és WWW-vel a Yandex-nek, határozottan érdemes - erre, és a Robots.txt írásának szabályai, amelyeket az alábbiakban tárgyalunk.

Mi a robots.txt?

Az ilyen névvel rendelkező fájl 1994 óta saját történetét veszi át, amikor a W3C konzorcium úgy döntött, hogy ilyen szabványt ad meg, hogy a webhelyek indexelési utasításokat kereshessenek.

Az ilyen névvel rendelkező fájlt a webhely gyökérkönyvtárába kell menteni, helyezze más mappába.

A fájl elvégzi a következő funkciókat:

1. tiltja az indexeléshez szükséges oldalakat vagy oldalakat
2. lehetővé teszi az oldalak bármely oldalát vagy csoportját az indexeléshez
3. megadja a Yandex robotot, milyen webhely tükör a fő (www vagy www nélkül)
4. megmutatja a fájl helyét az oldal térképével

Mind a négy tétel rendkívül fontos a webhely optimalizálásához. Az indexelés tilalma lehetővé teszi, hogy bezárjon egy olyan oldal indexelését, amely párhuzamos tartalmat tartalmaz - például címke oldalakat, archívumokat, keresési eredményeket, nyomtatási verziókkal rendelkező oldalakat és így tovább. Az ismétlődő tartalom jelenléte (ha ugyanazt a szöveget, bár több ajánlat mennyiségében, két vagy több oldalon jelen van) a keresőmotorok rangsorolásának mínusza, mert a párosoknak a lehető legkisebbnek kell lenniük.

Az engedélyezési irányelvnek nincs önértéke, mivel az alapértelmezés szerint minden oldal és az indexeléshez rendelkezésre áll. Egy csomagban működik - ha például egyfajta fejléc teljesen zárva van a keresőmotorokból, de szeretné megnyitni az oldalt vagy egy külön oldalt.

A webhely fő tükörének meghatározása az optimalizálás egyik legfontosabb eleme is az egyik legfontosabb eleme: a keresőmotorok a www.vashsite.ru és a vashtsyt.ru weboldalakat két különböző erőforrásként tekintik meg, ha közvetlenül megadja másként. Ennek eredményeképpen a tartalom kétségbe vonul - a kettős, a külső linkek erejének csökkenése (külső hivatkozások is elhelyezhetők a WWW-ből, mind WWW-ből), és ennek eredményeként az alacsonyabb rangsoroláshoz vezethet a keresési eredmények között .

A Google számára a fő tükör a Webmestereszközökben (http://www.google.com/webmasters/) írja elő, de a Yandex esetében ezeket az utasításokat csak a robotokban lehet előírni. TCT.

Az XML-fájl létrehozása webhelykártyával (például - sitemap.xml) lehetővé teszi a keresőmotorok számára, hogy észleljék ezt a fájlt.

Felhasználói ügynök utasítások

Felhasználói ügynök ebben az esetben ez egy keresőmotor. Az utasítások írásakor meg kell adnia, hogy az összes keresőmotorra fog-e járni (akkor a csillagjel elhelyezése - *), vagy néhány külön keresőmotorra tervezték - például a Yandex vagy a Google.

Annak érdekében, hogy a felhasználói ügynök minden robot jelzését jelezze, írjon a fájlba a következő sorban:

Felhasználói ügynök: *

A Yandex számára:

Felhasználói ügynök: Yandex

A Google:

Felhasználói ügynök: Googlebot

A letiltás és engedélyezés szabályai

Először is meg kell jegyezni, hogy a robots.txt fájl érvényességének szükségképpen tartalmaznia kell legalább egy tiltása irányelvet. Most figyelembe vesszük ezen irányelvek alkalmazását konkrét példákon.

Ezen a kódon keresztül engedélyezi az oldal összes oldalának indexálását:

Felhasználói ügynök: * Tiltsa le:

És egy ilyen kóddal, éppen ellenkezőleg, minden oldal zárva lesz:

Felhasználói ügynök: * Tiltsa le: /

A mappa nevű könyvtár indexelésének megtiltásához adja meg:

Felhasználói ügynök: * Tiltsa le / mappát

A csillagok tetszőleges nevét is helyettesítheti:

Felhasználói ügynök: * Tiltsa le: * .php

FONTOS: Az Asterisk teljesen helyettesíti a fájl nevét, vagyis nem adhatja meg a fájlt * .php, csak * .php (de az összes kiterjesztésű oldalt tilos elkerülni - megadhat egy adott oldal címét) .

Az Engedélyezési irányelv, amint azt a fentiekben említettük, a kivételek megteremtésére szolgálnak (különben nem értelme, mivel az alapértelmezett oldalak nyitva vannak).

Például tilos az oldal archív mappájában indexelni, de az index.html nyitott oldalt hagyja el ebből a könyvtárból:

Engedélyezés: /Rchive/index.html letiltja: / Archívum /

Adja meg a gazdagépet és az oldal térképét

A fogadó a webhely fő tükörje (azaz a domain neve, a WWW vagy a domainnév a konzol nélkül). A fogadó csak a Yandex robotra vonatkozik (legalább egy tilthatatlan csapata szükséges.

A Host Robots.txt meg kell adnia a következő bejegyzést:

Felhasználói ügynök: Yandex letiltja: Host: www.vashsayt.ru

Ami a webhely térképét illeti, a robots.txt webhelytérképet egyszerűen a megfelelő fájl teljes elérési útján adja meg, jelezve a tartománynevet:

Oldaltérkép: http: //vashsayt.ru/sitemap.xml

Arról, hogyan készítsünk egy webhelytérképet a WordPress számára, írva.

Példa robots.txt a WordPress számára

A WordPress utasításokhoz meg kell adnia az összes technikai könyvtárat (WP-admin, WP-Tartalmazás stb.) Az indexeléshez, valamint a címkék, RSS fájlok, megjegyzések, keresések által létrehozott párhuzamos oldalakhoz.

A robots.txt példaként a WordPress számára egy fájlt készíthet a webhelyünkről:

Felhasználó-ügynök: Yandex letiltja: / WP-admin tiltása: / WP - Tartsa tiltás: /wp-login.php A /wp-login.php tiltása: /wp-register.php tiltja: /xmlrpc.php Tiltsa le / keresési * / Takarmány / tiltás: * / Takarmány tiltása: * / Hozzászólások / tiltása: /? Feed \u003d tiltása: /? S \u003d tiltása: * / Page / * Tiltsa le: * / Comment Tilos: * / Attachment / * Allow / wp-content / Uploads / host: www..php disallow: /wp-register.php disallow: /xmlrpc.php Disallow: / keresés Disallow: * / Trackback tiltása: * / takarmány / tiltása: * Takarmány tiltása: * / Hozzászólások / tiltása: /? Feed \u003d tiltása: /? S \u003d tiltása: * / Oldal / * Tiltsa le: * / megjegyzés letiltja: * / Címke / * Leavétel: / Wp -Conalow : / WP-Agent: * Letalló: / WP-admin Tiltja: / WP - Tartsa tiltás: /wp-login.php A /wp-login.php tiltása: /wp-register.php A /xmlrpc.php tiltása: /xmlrPC.php Tiltsa le: * / Takarmány / tiltás: * / feed tiltása: * / Hozzászólások / tiltása: /? Feed \u003d tiltása: /? S \u003d tiltása: * / Page / * Tiltsa le: * / Comment Disa. LLOW: / Melléklet / * Engedélyezés: / WP-tartalom / feltöltések / sitemap: https: //www..xml

Töltse le a robots.txt fájlt webhelyünkről.

Ha a cikk olvasása szerint bármilyen kérdése van - kérdezze meg a megjegyzéseket!