Et vältida lehe ilmumist tulemustes Google otsing, sisestage lehe HTML-i atribuut noindex või noindexi päis HTTP taotlus... Roomamise ajal tuvastab Googlebot selle ja ignoreerib seda, isegi kui teised saidid sellele viitavad.

Tähelepanu! Roomaja ei tuvasta noindexi käskkirja, kui leht lukus failis robots.txt. Selline leht võib ilmuda otsingutulemustes (näiteks kui sellele on viidatud teisel lehel).

Direktiiv noindex võimaldab teil juhtida juurdepääsu saidi üksikutele lehtedele, seega on soovitatav seda kasutada, kui teil pole juurdepääsu serveri juurkataloogile.

Kuidas lisada atribuuti noindex

Noindexi direktiivi lisamiseks on kaks võimalust. Nende tulemused on samaväärsed ja valik sõltub sellest, mil määral saate serverit juhtida ja kuidas sisu avaldate.

Tag

Blokeerima enamik otsinguroboteid, lisage jaotisele järgmine metasilt veebilehed:

Kui sa tahad sulgege juurdepääs lehele ainult Google'i robotitele, kasutage sellist koodi:

Teised otsingumootorid võivad tõlgendada lehe atribuuti noindex erinevalt ja kuvada seda otsingutulemustes.

Aidake meil metasilte avastada

Metasiltide tuvastamiseks peame teie lehel roomama. Kui leht ilmub jätkuvalt otsingutulemustes, ei ole me tõenäoliselt teie saidil pärast märgendi lisamist veel roomanud. Tööriista abil saab taotleda lehe uuesti roomamist Googleboti poolt. Teine põhjus on see, et fail robots.txt blokeerib selle URL-i Google'i roomajas ja metasilti ei leitud. Oma lehe Google'i jaoks blokeeringu tühistamiseks peate muutma faili robots.txt. Seda saab teha koos Robots.txt kontrollimise tööriist .

HTTP vastuse päis

Metasildi asemel saab tagastada päise X-Robots-Tag. Vastus peab olema noindex või mitte. Näide HTTP vastusest, kus X-Robots-Tag takistab robotitel lehte indekseerimast:

HTTP / 1.1 200 OK (…) X-Robots-Tag: noindex(…)

Yandexi otsingurobot “kõnnib” läbi saitide, vaatab ja analüüsib nende sisu ning salvestab seejärel Yandexi otsingu andmebaasi teksti ja piltide kursori. Seda protsessi nimetatakse indekseerimiseks. Osa veebilehest saab sulgeda indekseerimisest, asetades selle elemendi sisse ... Järgmine kord, kui veebilehte külastate, ignoreerib roomaja sellist sisu ega lisa seda oma andmebaasi. Seda tehakse erinevatel põhjustel, näiteks ei edasta indekseerimisest suletud lingid TIC-i (thematic citation index).

Oluline on mõista, et see on mittestandardne element ja selle leiutas Yandex oma eesmärkidel. Brauserid ei toeta seda mingil viisil ja lihtsalt kuvage selle sisu nagu tavaliselt.

Kui soovite sulgeda otsingumootorite jaoks kogu lehe, kasutage elementi lisades selle oma HTML-koodi:

Või lisage faili robots.txt järgmine rida:

Keela: /private.html

Kus private.html on lehe aadress.

Süntaks

...

Lõpumärgend

Nõutud.

Atribuudid

Näide

Yandex ei indekseeri seda teksti.

Brauserid

Brauserid

Brauseri tabelis kasutatakse järgmisi kokkuleppeid.

Nofollow- See on atribuut, mis määratakse robotites konkreetsele lingile või kõigile lehel olevatele linkidele, et takistada otsinguroboteid neile klõpsamast.

Noindex On atribuut, mis varjab lehel oleva teksti.

See tähendab, et noindex vastutab dokumendi sisu ja selle indekseerimise keelamise eest, samas kui nofollow vastutab lingi eest.

Taotlemise reeglid ja miks on nofollow vajalik?

Et mõista, millal see atribuut üldse kasuks võib tulla, vaatame, kuidas kõige populaarsemad otsingumootorid sellega suhestuvad.

• Yandex. Kui teie sait sisaldab jaotisi spetsiaalselt postituste arutamiseks, artiklite kommentaaride kirjutamiseks või foorumiks, on oluline jälgida, milliseid väljaminevaid linke külastajad sinna jätavad. Iga kommentaar on soovitav. Tänu sellele saab saidi omanik vältida erinevate pahatahtlike linkide paigutamist rämpsposti saatjatelt. Kuigi otsingumootor ei võta neid arvesse, mõjutab rämpspost suuresti veebiressursi mainet ja sellele saab filtri rakendada. Sellega seoses peaksite kontrollima kõiki kommentaare ja kui postitatud lingi kvaliteedis on kahtlusi, kirjutage neile atribuut rel = "nofollow". Nüüd on muudetud Yandexi juhendist see tekst eemaldatud ja alles on jäänud ainult rakenduse reegel. Yandexi juhend nofollowi kohta
• Google. Kui teie saidil on jaotis, kus kasutajad saavad postitusi kommenteerida, on suur oht, et kommentaarides on linke pahatahtlikele lehtedele. Rämpspostitajad "armastavad" saite, mille kommentaarid on ilma modereerimiseta. Rämpspostilinkide atribuut nofollow päästab teie saidi ja hoiab selle maine otsingumootori silmis puhtana. Kui usaldate saiti, millele külastaja lingib, või lingite ise, siis pole vaja nofollow'd ette kirjutada. Google'i nofollow juhend

Need sõnumid on võetud otsingumootorite ametlikelt saitidelt. Nagu näete, on Yandexis ja Google'is sarnaseid asju kirjutatud: väärtust nofollow tuleks kasutada juhtudel, kui soovite teavitada roboteid umbusaldamisest saidi suhtes, kuhu link viib.

Vaatleme konkreetsemat näidet, kui lingi jaoks on vaja keelavat atribuuti:

Kahtlase kvaliteediga materjal. Kui teile ei meeldi selle lehe sisu, millele külastaja kommentaariumisse lingi jätab, ja te ei soovi oma saidi mainet ohverdada, kirjutage selle lingi siltidesse rel = "nofollow". Rämpspostitajad, kes märkavad teie saidil trendi, kui kinnitamata linkidele lisatakse blokeerimisatribuut, lõpetavad peagi saidi kahjustamise. Kui näete, et kasutaja jätab kvaliteetse materjali lingi, saate nofollow käsitsi või automaatselt eemaldada.

Kuidas nofollow õigesti kirjutada?

See nüüd nofollow võimaldab teil iga linki eraldi hallata, kuid kunagi sai seda väärtust kasutada ainult metasildis, mis sulges otsingumootorist absoluutselt kõik lehel olevad lingid. Ja üksikutel linkidel klõpsamise keelamiseks pidid veebihaldurid oma URL-i sisse lülitama.

Robotid nofollow

Need metasildid on säilinud tänapäevani. Kui soovite sulgeda kõik teatud lehel olevad lingid indekseerimisest, peate sellele lehele kirjutama järgmise koodi:

Oluline on mitte segi ajada seda märgendit kahe alloleva koodiga, sisu = "none" ja content = "noindex, nofollow" blokeerivad robotitel juurdepääsu kogu lehele, mitte ainult selle linkidele. Seetõttu, kui soovite, et lehti indekseeritaks, ärge mingil juhul kirjutage neile kahte silti:

Eespool uurisime võimalusi, kuidas takistada otsinguroboteid läbimast kõiki lehtede linke. Kuid saate määrata ka konkreetsele lingile mineku keelu.

Roboti indekseerimise ja lingi jälgimise keelamiseks tuleb sellele lisada atribuut rel = "nofollow", koodis näeb see välja selline:

ankurhüperlingid

Kas nofollow lekkeühenduse kaal?

Kuigi Google positsioneerib oma avaldustes atribuudi nofollow kasutamist läbiklõpsamisena. Ja seda kinnitas endise otsinguvastase rämpspostifirma juhi Matt Katsi pöördumine. Ta väitis seda "Google võib arvesse võtta linke sotsiaalsed võrgustikud isegi vaatamata nofollow'le".

Kuid Yandexi puhul pole küsimus selge. Ta ütleb oma dokumentides selgelt, et see atribuut keelab selliste linkide indekseerimise.

Ja kui me läheme robotite nofollow atribuudi kirjelduse juurde, siis siin näeme juba ülemineku keeldu ja indekseerimisest pole sõnagi.

Kuid varem oli seda võimalik kontrollida, kui kasutasite otsingus järgmist URL-i konstruktsiooni: teie url<< inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Üldiselt võime öelda, et selle atribuudi kasutamine otsingurobotite jaoks ei ole alati keeld, kui sait on eriti autoriteetne.

Kas peaksite nofollow sisemised lingid sulgema?

Varem on SEO-d palju kuritarvitanud, manipuleerides saidil edastatud kaaluga. Seetõttu teatas Google'i otsingumootor, et kõik märgitud siselingid ei anna kaalu mitte millelegi https://www.mattcutts.com/blog/pagerank-sculpting/.

Google'i endine otsingujuht räägib sellest videos. Video on inglise keeles, seega lülitage sisse venekeelsed subtiitrid.

Noindexi atribuut: mis see on ja kuidas see erineb nofollow'st?

Paljud algajad veebimeistrid ajavad oma pead, mõistmata, mille poolest noindex erineb nofollow'st. See on lihtne:

• nofollow – rakendatakse linkidele
• noindex – kehtib teksti kohta

Kui soovite kogu saidi lehel teksti indekseerimiseks keelata, kuid samal ajal linke arvesse võtta, peate lehele kirjutama järgmise koodi:

Kui soovite osa tekstist sulgeda, siis Google'il sellist atribuuti pole, kuid Yandexis on see võimalik. Noindexi sildi võttis kasutusele Yandexi otsingumootor, kuna see ei mõistnud varem nofollow'd ja mittevajalikud lingid tuli kuidagi robotite eest sulgeda.

Kuid 2010. aastal hakkas otsingumootor töötama atribuudiga rel = "nofollow", kusjuures noindex ei kadunud, vaid jäi vastutavaks teksti peitmise eest. Kui soovite nüüd indekseerimiselt teksti või ankurlinke sulgeda, kirjutage käsk:

Näiteks oli mugav, kui Yandex tutvustas uut algoritmi, mis kehtestas sanktsioonid seo tekstidele. Oli vaja sulgeda teksti jalalinad noindexis ja sellest filtrist pääses välja ja mitte kaotada oma positsiooni Google'is, kuna Google'i otsingumootor ei võta märgendit arvesse .

järeldused

Nofollow vastutab ülemineku eest otsingumootorid nende linkide kaudu nii kogu lehel kui ka konkreetse lingi puhul. Varem täitis sarnast funktsiooni ka noindex, kuid ainult seoses Yandexiga, mis aja jooksul hakkas aru saama nofollow'st, mille tulemusena hakkas noindexi väärtus lehe sisu indekseerimist blokeerima.

Saidi omanik peab õigesti kasutama atribuuti nofollow ja mõistma, millistel juhtudel seda teha:

1. Kui link viib madala kvaliteediga sisuga veebiressurssidesse.
2. Kui postitate lehele kommertssisu.

Nofollow kasutamise peamine eesmärk- aidata näidata skannimiseks prioriteetseid linke, eraldada müügiartikleid informatiivsetest ja kaitsta saiti ka rämpsposti eest, mis kontrollimata jätmise korral võib viia pingerea languseni või, mis veelgi hullem, ressursi indeksist väljalangemiseni.

Kõigis muudes olukordades võite turvaliselt kasutada robotite otsimiseks avatud funktsiooni. Saidi maine ei halvene sugugi, vaid isegi paraneb, kui jätate lingid teie sihtrühmale kasulikele lehtedele. Ja teie dokumendid ei kaota kaalu, vaid vastupidi, need võidakse isegi arvelt omandada.

Alustuseks määratleme erinevad viisid noindexi ja nofollow kasutamiseks:

• Tag ja atribuut
• Metasildid ja

Tag ja atribuut

Tag See on HTML-märgend, mis keelab Yandexil saidi lehe teatud ala indekseerida. Google'i otsingumootori jaoks see silt ei tööta, pealegi ei anna Google võimalust osa lehe tekstist üldse registrist välja jätta.

Väärarvamus nr 1. Peamine viga, kes seda silti kasutavad, on veendumus, et kui ava- ja sulgemärgendi vahele asetatakse mingi tekst , siis Yandexi robot seda teksti ei loe ega analüüsi.

Ainus, mida see silt keelab, on sisu paigutamine indeksi baasi, kuid selle sisu loeb ja analüüsib robot igal juhul.

Näide. Teie saidi lehel on teksti, mis kasutab muude kolmandate osapoolte allikate lauseid. Seetõttu vähendavad need soovitused teie teksti kordumatust ja peate olema 100% kordumatud. Otsustate need pakkumised sildiga sulgeda et Yandex peaks teie teksti ainulaadseks. See on pettekujutelm.

Absoluutselt kogu teie lehel oleva teksti loeb ja töötleb robot ning see teab, et teie lehel olev tekst ei ole unikaalne.

Sildi olemus - "ei indekseeri", mis tähendab, et lugemise keeldu pole.

Oletame, et otsingumootori roomaja külastab teie lehte ja hakkab teie sisu roomama. Mingil hetkel leiab robot sildi ava , mis on signaal robotile – ärge indekseerige teksti edasi. Aga selleks, et leida koodis see koht, kus silt sulgub, peab robot selle sildi avamisele järgnevat sisu lugema. Seetõttu ei saa te isegi teoreetiliselt takistada roboteid märgendi abil sisu lugemast .

Mille jaoks silt siis on ?

Seda on vaja otseselt selleks, et keelata robotil oma otsingumootori tulemustes mingit teavet välja anda. Need võivad olla näiteks kontaktid, mida mingil põhjusel ei tohiks otsingutulemustes kuvada.

Väärarvamus nr 2. Veel üks eksiarvamus, mida saidiomanikud sageli leiavad, on arvamus, et link asetatakse sildi sisse otsingurobot ei võta arvesse. Nagu ma varem ütlesin, kõik sildi sees , loeb ja analüüsib Yandexi robot. Ja lingid pole erand. Ainus erinevus tavaliselt paigutatud linkide ja sildis olevate linkide vahel - see tähendab, et lingi teksti (ankrut) ei indekseerita.

Veebimeistritele, kes vajavad robotit lehtede linkide ignoreerimiseks, on abiks atribuut, mis töötab nii Yandexi kui ka Google'i jaoks. Seda atribuuti kasutades uurib link ikka roboti poolt ja tehakse sellele klõps, kuid ilma nofollowta kandub kaal adressaadile ning nofollow’ga kaal põletatakse.

Näide 1:
Veebilehe arendus ja reklaamimine

Yandex ei indekseeri ankurteksti, vaid võtab arvesse saidi linki ja edastab raskuse seda mööda

Näide 2:
Veebilehe arendus ja reklaamimine

Yandex ei indekseeri ankurteksti ega kanna lingilt saidile kaalu

Sildi kirjutamiseks on kaks võimalust koodis:

1.

2. Indekseeritud tekst puudub

Teine variant on õigem. Alates sildist ei sisaldu HTML-i märgistuskeele ametlikus spetsifikatsioonis, võib selle olemasolu koodis tekitada segadust teistes otsingumootorites, mis peavad selle olemasolu veaks. Lehekoodi kehtivaks muutmiseks on kõigi otsingurobotite puhul soovitatav kasutada kommenteeritud kirjapilti. Yandex tunneb sellise kirjapildi ära ja teised otsingurobotid ei pööra selle olemasolule tähelepanu.

Metasildid ja

Noindexi metasildi kasutamine lehekoodis keelab Yandexi (Google jällegi sel juhul ei osale) indekseerige kogu lehe tekstisisu, analüüsitakse linke täielikult. See tähendab, et selle metasildi olemasolu lehe koodis ei ole sama, mis lehe sulgemine faili robots.txt registrist.

Nofollow metasildi olemasolu lehe koodis takistab otsingumootoritel lehtede linke indekseerimast. Robotid ei järgi lehel olevaid linke, kui ka see metasilt on olemas. Kuid siin on Yandexi spikris kirjutatud:
"Robot ei külasta dokumente, kui need on lingitud lehelt, mis sisaldab metasilti nofollow väärtusega, kuid neid saab indekseerida, kui muud allikad viitavad neile ilma nofollowta."

Teeme kokkuvõtte

Tag kasutame seda ainult selleks, et takistada Yandexi robotitel otsingutulemustes teavet välja andmast.

Kui tahame, et lingi kaal ei kanduks adressaadile, siis kasutame atribuuti nofollow. Samal ajal ärge unustage, et robot saab siiski linki jälgida (kui selle kohta on teavet muudest allikatest: saidiplaan, lingid) ja analüüsida lehte, millele ta lingib. Meetod töötab nii Yandexi kui ka Google'i jaoks.

"Noindex".

Märgi eesmärk on võimalus sulgeda soovimatud lingid otsingurobotite indekseerimise eest. Failis robots.txt saate blokeerida ainult tervete lehtede või blokkide indekseerimise, kuid mis siis, kui peate lehelt "peitma" ainult ühe või kaks linki ja jätma ülejäänud otsingurobotite jaoks avatuks. Sel juhul tulevad nad appi. silt .

Mis vahe on sildi vahel ?

Tag tutvustas otsingumootor Yandex ja tuleb märkida, et seda tunnustavad ja toetavad ainult see ja Rambler, viimase, nagu surnute kohta, kas ainult hea või mitte midagi. Teised otsingumootorid ignoreerivad seda silti kangekaelselt.

Rel = 'nofollow' sildi atribuut tutvustas Google'i otsingumootor ammu enne Yandexi. Erinevalt sildist , see sildi atribuut ei mõjuta lingi indekseerimist, on link igal juhul otsingurobotile nähtav, kuid selle lingi kaalu sinu lehelt ei edastata. Atribuudi ‘nofollow’ eesmärk on just see – öelda otsingumootorile, et lehele postitatud link saab nullhinnangu.

Kuidas sildi lisada ja sildi atribuut rel = 'nofollow' ?

ankurdage oma link

ankurdage oma link

Erinevalt atribuudist rel = 'nofollow' silt silt suudab Yandexi otsinguroboti valvsate silmade eest varjata mitte ainult linki, vaid ka kogu koodiosa, pealegi: olenemata sellest, kui suur see on. Kõik, mis jääb vahele ja peidetakse Yandexi eest. See sildi erinevus eriti väärtuslik, kuna see võimaldab hõlpsasti peita soovimatud koodilõigud indekseerimise eest, kuid ainult Yandexi ja Rambleri jaoks.

Kui soovite välistada lingi kaalu edastamise absoluutselt kõigi otsingumootorite jaoks, ilma et peaksite failis robots.txt keelde ette kirjutama, siis peate kasutama sildina ja atribuut 'nofollow':

ankurdage oma link