Lai lapa neparādītos rezultātos Google meklēšanu, ievietojiet atribūtu noindex vai noindex virsrakstu lapas HTML kodā HTTP pieprasījums. Pārmeklēšanas laikā Googlebot to atklās un ignorēs lapu, pat ja citas vietnes ir saistītas ar to.

Uzmanību! Rāpuļprogramma neatklās noindex direktīvu, ja lapa bloķēts failā robots.txt. Šāda lapa var parādīties meklēšanas rezultātos (piemēram, ja tai ir saite citā lapā).

Noindex direktīva ļauj kontrolēt piekļuvi atsevišķām vietnes lapām, tāpēc ieteicams to izmantot, ja jums nav piekļuves servera saknes direktorijam.

Kā pievienot atribūtu noindex

Ir divi veidi, kā pievienot noindex direktīvu. To rezultāti ir līdzvērtīgi, un izvēle ir atkarīga no tā, cik daudz jūs varat kontrolēt serveri un kā publicējat saturu.

Tag

Bloķēt lielākā daļa meklēšanas robotu, pievienojiet sadaļai šādu metatagu tīmekļa lapas:

Ja Tu gribi bloķēt piekļuvi lapai tikai Google robotiem, izmantojiet šo kodu:

Citas meklētājprogrammas var atšķirīgi interpretēt atribūtu noindex lapā un parādīt to meklēšanas rezultātos.

Palīdziet mums atklāt metatagus

Lai noteiktu metatagus, mums ir jāpārmeklē jūsu lapa. Ja lapa joprojām tiek rādīta meklēšanas rezultātos, iespējams, mēs vēl neesam pārmeklējuši jūsu vietni pēc taga pievienošanas. Lapas atkārtotu pārmeklēšanu, ko veic Googlebot, var pieprasīt, izmantojot . Vēl viens iemesls ir tas, ka fails robots.txt bloķē šo URL no Googlebot un metatags netiek atklāts. Lai Google atbloķētu savu lapu, jāmaina fails robots.txt. To var izdarīt ar robots.txt failu pārbaudes rīks .

HTTP atbildes galvene

Metataga vietā varat atgriezt galveni X-Robots-Tag . Atbildei ir jābūt noindex vai nav . HTTP atbildes piemērs, kur X-Robots-Tag neļauj robotiem indeksēt lapu:

HTTP/1.1 200 OK (…) X-Robots-Tag: noindex(…)

Yandex meklēšanas robots “staigā” pa vietnēm, apskata un analizē to saturu un pēc tam saglabā rādītāju uz tekstu un attēliem Yandex meklēšanas datubāzē. Šo procesu sauc par indeksēšanu. Daļu tīmekļa lapas var paslēpt no indeksēšanas, ievietojot to elementā . Nākamajā tīmekļa lapas apmeklējuma reizē rāpuļprogramma ignorēs šādu saturu un nepievienos to savai datubāzei. Tas tiek darīts dažādu iemeslu dēļ, piemēram, saites, kas slēgtas no indeksēšanas, neiztur TIC (tematiskā citēšanas indekss).

Ir svarīgi saprast, ka tas ir nestandarta elements, un Yandex to izgudroja saviem mērķiem. Pārlūkprogrammas neatbalsta un vienkārši parādiet tā saturu kā parasti.

Ja vēlaties aizvērt visu lapu meklētājprogrammām, izmantojiet elementu , pievienojot to HTML kodam:

Vai pievienojiet failam robots.txt šādu rindiņu:

Neatļaut: /private.html

Kur private.html ir lapas adrese.

Sintakse

...

Noslēdzošais tags

Obligāti.

Atribūti

Piemērs

Yandex neindeksēs šo tekstu.

Pārlūkprogrammas

Pārlūkprogrammas

Pārlūka tabulā tiek izmantots šāds apzīmējums.

nofollow- tas ir atribūts, kas tiek noteikts konkrētai saitei vai visām saitēm lapā robotos, lai neļautu meklēšanas robotiem tām sekot.

Noindex- Šis ir atribūts, kas aizver lapas tekstu.

Tas ir, noindex ir atbildīgs par dokumenta saturu un tā indeksēšanas aizliegumu, savukārt nofollow ir par saiti.

Pieteikšanās noteikumi un kāpēc ir nepieciešams nofollow?

Lai saprastu, kādos gadījumos šis atribūts vispār var būt noderīgs, apsveriet, kā pret to attiecas populārākās meklētājprogrammas.

• Yandex. Ja jūsu vietnē ir sadaļas, kas īpaši paredzētas ziņu apspriešanai, rakstu komentāru rakstīšanai vai forumam, ir svarīgi sekot līdzi, kādas izejošās saites tajās atstāj apmeklētāji. Katrs komentārs ir apsveicams. Pateicoties tam, vietnes īpašnieks varēs novērst dažādu ļaunprātīgu saišu izvietošanu no surogātpasta izplatītājiem. Lai gan meklētājprogramma tos neņem vērā, surogātpasts ļoti ietekmē tīmekļa resursa reputāciju un tam var tikt piemērots filtrs. Šajā sakarā ir jāpārbauda visi komentāri un, ja rodas šaubas par ievietotās saites kvalitāti, ierakstiet tiem atribūtu rel=”nofollow”. Tagad modificētajā Yandex rokasgrāmatā šis teksts ir noņemts un paliek tikai lietojumprogrammas noteikums. Yandex rokasgrāmata par nofollow
• Google. Ja jūsu vietnē ir sadaļa, kurā lietotāji var komentēt ziņas, pastāv liels risks, ka komentāros tiks parādītas saites uz ļaunprātīgām lapām. Surogātpasta izplatītāji "mīl" vietnes ar komentāriem bez regulēšanas. Atribūts nofollow surogātpasta saitēm saglabās jūsu vietni un saglabās to tīru meklētājprogrammas acīs. Ja uzticaties vietnei, uz kuru atsaucas apmeklētājs, vai jūs pats izveidojat saiti, tad nav jāraksta nofollow. Google ceļvedis nofollow

Šie ziņojumi ir ņemti no oficiālajām meklētājprogrammu vietnēm. Kā redzat, Yandex un Google ir rakstītas līdzīgas lietas: nofollow vērtība ir jāizmanto gadījumos, kad vēlaties informēt robotus par neuzticības trūkumu vietnei, uz kuru ved saite.

Apskatīsim konkrētāku piemēru, kad saitei ir nepieciešams disallow atribūts:

Apšaubāms materiāls. Ja jums nepatīk lapas saturs, uz kuru apmeklētājs pievieno saiti komentārā, un jūs nevēlaties upurēt savas vietnes reputāciju, pievienojiet saišu tagiem . Surogātpasta izplatītāji, pamanījuši jūsu resursa tendenci, kad nepārbaudītām saitēm tiek pievienots bloķēšanas atribūts, drīz pārtrauks mēģināt kaitēt vietnei. Ja redzat, ka lietotājs atstāj saiti uz augstas kvalitātes materiālu, nofollow var noņemt manuāli vai automātiski.

Kā uzrakstīt nofollow?

Tagad nofollow ļauj pārvaldīt katru saiti atsevišķi, taču kādreiz šo vērtību varēja izmantot tikai metatagā, kas no meklētājprogrammas aizvēra absolūti visas lapas saites. Un, lai novērstu to, ka tiek ievērotas noteiktas saites, tīmekļa pārziņiem bija jābloķē savi URL vietnē .

Roboti

Šie metatagi ir saglabājušies līdz mūsdienām. Ja vēlaties aizvērt visas saites, kas atrodas noteiktā lapā, no indeksēšanas, šajā lapā ir jāievada šāds kods:

Ir svarīgi nesajaukt šo tagu ar diviem tālāk norādītajiem kodiem: content="none" un content=”noindex, nofollow” bloķē robotprogrammatūru piekļuvi visai lapai, ne tikai tās saitēm. Tāpēc, ja vēlaties, lai lapas tiktu indeksētas, nekādā gadījumā nenorādiet tām šos divus tagus:

Iepriekš mēs apskatījām iespējas, kā neļaut meklēšanas robotiem noklikšķināt uz visām saitēm lapās. Bet jūs varat arī noteikt aizliegumu pārejai uz noteiktu saiti.

Lai robots nesekotu indeksēšanas saitei, tam jāpievieno atribūts rel=”nofollow”, kodā tas izskatās šādi:

hipersaites enkurs

Vai svara noplūde ir saistīta ar nofollow?

Lai gan Google savos paziņojumos atribūta nofollow izmantošanu pozicionē kā saiti. Un to apstiprināja bijušā uzņēmuma vadītāja Meta Katsa aicinājums apkarot meklēšanas surogātpastu. Viņš to paziņoja "Google var apsvērt saites no sociālie tīkli, pat neskatoties uz nofollow".

Bet ar Yandex jautājums nav acīmredzams. Viņš skaidri raksta savā dokumentācijā, ka šis atribūts aizliedz indeksēt šādas saites.

Un, ja mēs ejam uz robotu nofollow atribūta aprakstu, tad šeit jau redzams pārejas aizliegums un ne vārda par indeksēšanu.

Taču agrāk to varēja pārbaudīt, ja meklēšanā izmantojāt šādu url konstrukciju: jūsu url<< inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Kopumā mēs varam teikt, ka šī atribūta izmantošana meklēšanas robotiem ne vienmēr ir aizliegums, it īpaši, ja vietne ir autoritatīva.

Vai man nevajadzētu sekot iekšējām saitēm?

Agrāk SEO optimizētāji tika nopietni ļaunprātīgi izmantoti, manipulējot ar pārraidīto svaru vietnē. Tāpēc Google meklētājs norādīja, ka visas atzīmētās iekšējās saites piešķirs svaru https://www.mattcutts.com/blog/pagerank-sculpting/ .

Bijušais Google meklēšanas vadītājs par to runā videoklipā. Video ir angļu valodā, tāpēc ieslēdziet krievu subtitrus.

Atribūts noindex: kas tas ir un kā tas atšķiras no nofollow?

Daudzi iesācēju tīmekļa pārziņi kasa galvu, nesaprotot, kā noindex atšķiras no nofollow. Tas ir vienkārši:

• nofollow — attiecas uz saitēm
• noindex — lietots tekstam

Ja vēlaties novērst teksta indeksēšanu visā vietnes lapā, bet tomēr ņemt vērā saites, lapā ir jāievada šāds kods:

Ja vēlaties aizvērt daļu teksta, tad Google nav šāda atribūta, bet tas ir iespējams Yandex. Noindex tagu ieviesa Yandex meklētājprogramma, jo tā iepriekš nesaprata nofollow, un nevajadzīgās saites bija kaut kā jāaizver no robotiem.

Taču 2010. gadā meklētājs sāka strādāt ar atribūtu rel=”nofollow”, savukārt noindex nepazuda, bet palika atbildīgs par teksta slēpšanu. Tagad, ja vēlaties aizvērt tekstu no indeksēšanas vai, piemēram, enkura saitēm, ierakstiet komandu:

Piemēram, tas bija ērti, kad Yandex ieviesa jaunu algoritmu, kas noteica sankcijas par SEO tekstiem. Bija vērts aizvērt teksta kāju lupatas ar noindex, un bija iespējams izkļūt no šī filtra un nezaudēt pozīcijas Google, jo Google meklētājprogramma neņem vērā tagu .

secinājumus

Nofollow ir atbildīgs par pāreju meklētājprogrammasšajās saitēs gan visā lapā, gan konkrētai saitei. Iepriekš arī noindex veica līdzīgu funkciju, taču tikai attiecībā uz Yandex, kas galu galā sāka saprast nofollow, kā rezultātā noindex vērtība sāka bloķēt lapas satura indeksēšanu.

Vietnes īpašniekam pareizi jāizmanto atribūts nofollow un jāsaprot, kādos gadījumos tas jādara:

1. Kad saite novirza uz tīmekļa resursiem ar zemas kvalitātes saturu.
2. Kad lapā ievietojat komerciālu saturu.

Galvenais nofollow lietošanas uzdevums- palīdzēt noteikt prioritārās saites pārmeklēšanai, atdalīt pārdošanas rakstus no informatīvajiem, kā arī aizsargāt vietni no surogātpasta, kas, ja netiek kontrolēta, var izraisīt ranga pazemināšanos vai, vēl ļaunāk, resursa aiziešanu no indekss.

Visās citās situācijās varat droši izmantot meklēšanai atvērtus robotus. Vietnes reputācija nemaz nepasliktināsies, bet pat uzlabosies, ja atstāsiet saites uz jūsu mērķauditorijai noderīgām lapām. Un jūsu dokumenti nezaudēs svaru, bet gluži pretēji, tie var pat iegūt uz tā rēķina.

Sāksim, apzīmējot dažādus noindex un nofollow lietojumus:

• Tag un atribūts
• Meta tagi un

Tag un atribūts

Tag ir HTML tags, kas neļauj Yandex indeksēt noteiktu vietnes lapas apgabalu. Google meklētājam šis tags nedarbojas, turklāt Google neparedz iespēju daļu lapas teksta vispār izslēgt no rādītāja.

Nepareizs priekšstats #1. Galvenā to cilvēku kļūda, kuri izmanto šo tagu, ir uzskatīt, ka teksta fragments tiek ievietots starp sākuma un aizvēršanas tagu. , Yandex robots nelasīs un neanalizēs šo tekstu.

Vienīgais, ko šis tags aizliedz, ir satura izvietošana indeksa datu bāzē, taču šo saturu robots tik un tā nolasīs un analizēs.

Piemērs: jūsu vietnes lapā ir teksts, kurā tiek izmantotas tiešas atbilstības teikumiem no citiem trešo pušu avotiem. Tāpēc šie ieteikumi samazina jūsu teksta unikalitāti, un jums ir nepieciešama 100% unikalitāte. Jūs nolemjat slēgt šos piedāvājumus ar atzīmi lai Yandex jūsu tekstu uzskatītu par unikālu. Tas ir malds.

Pilnīgi visu jūsu lapas tekstu izlasīs un apstrādās robots, un tas zinās, ka jūsu lapas teksts nav unikāls.

Birkas būtība - “neindeksēt”, nozīmē, ka nav lasīšanas aizlieguma.

Pieņemsim, ka rāpuļprogramma ir nokļuvusi jūsu lapā un sākusi pārmeklēt jūsu saturu. Kādā brīdī robots atrod atvēršanas tagu , kas ir signāls robotam – neindeksējiet tekstu tālāk. Bet, lai atrastu vietu kodā, kur tag ir aizvērts, robotam ir jāizlasa saturs, kas nāk pēc šī taga atvēršanas. Tāpēc pat teorētiski nav iespējams neļaut robotiem lasīt saturu, izmantojot tagu .

Kam tad ir birka? ?

Tas ir nepieciešams tieši, lai aizliegtu robotam sniegt jebkādu informāciju, izdodot savu meklētājprogrammu. Tās var būt, piemēram, kontaktpersonas, kuras kaut kādu iemeslu dēļ nevajadzētu parādīt meklēšanas rezultātos.

Nepareizs priekšstats #2. Vēl viens nepareizs priekšstats, kas bieži sastopams vietņu īpašnieku vidū, ir uzskats, ka saite ir ievietota tagā , meklēšanas robots neņems vērā. Kā jau teicu iepriekš, viss, kas atrodas tagā , lasīs un analizēs Yandex robots. Un saites nav izņēmums. Vienīgā atšķirība starp parasti ievietotajām saitēm un saitēm tagā - tas ir tas, ka saites teksts (enkurs) netiks indeksēts.

Lai palīdzētu tīmekļa pārziņiem, kuriem nepieciešams robots, joprojām neņemt vērā saites no lapām, tiek izmantots atribūts, kas darbojas gan Yandex, gan Google. Izmantojot šo atribūtu, saiti joprojām pētīs robots un caur to tiks veikta pāreja, bet bez nofollow svars tiks nodots adresātam, bet ar nofollow - svars tiks sadedzināts.

1. piemērs:
Vietņu izveide un reklamēšana

Yandex neindeksē enkuru, bet ņem vērā saiti uz vietni un pārnes svaru uz to

2. piemērs:
Vietņu izveide un reklamēšana

Yandex neindeksē enkuru un nepārsūta svaru, izmantojot saiti uz vietni

Ir divi veidi, kā ierakstīt atzīmi kodā:

1.

2. Tekstu aizliegts indeksēt

Otrais variants ir pareizāks. Kopš birkas nav iekļauts oficiālajā HTML iezīmēšanas valodas specifikācijā, tad tās klātbūtne kodā var radīt pārpratumus citās meklētājprogrammās, kuras uzskatīs tās klātbūtni par kļūdu. Lai lapas kods būtu derīgs, visiem meklēšanas robotiem ieteicams izmantot komentēto pareizrakstību. Yandex atpazīst šādu pareizrakstību, un citi meklēšanas roboti nepievērsīs uzmanību tās klātbūtnei.

Meta tagi un

Neindex metataga izmantošana lapas kodā aizliedz Yandex (Google atkal, in Šis gadījums nepiedalās), lai indeksētu visu lapas teksta saturu, savukārt saites tiks analizētas pilnībā. Tas nozīmē, ka šī metataga klātbūtne lapas kodā nav līdzvērtīga lapas aizvēršanai no indeksa failā robots.txt.

Nofollow metataga klātbūtne lapas kodā neļauj meklētājprogrammām indeksēt lapās esošās saites. Roboti arī nesekos saitēm no lapas, ja ir šis metatags. Bet šeit ir tas, kas rakstīts Yandex palīdzībā:
"Robots neapmeklēs dokumentus, ja tie ir saistīti no lapas, kurā ir metatags ar nofollow vērtību, tomēr tos var indeksēt, ja citos avotos uz tiem ir atsauce bez nofollow."

Summējot

Tag mēs to izmantojam tikai, lai aizliegtu Yandex robotiem sniegt informāciju meklēšanas rezultātos.

Ja vēlamies, lai saites svars netiktu nodots adresātam, tad izmantojam atribūtu nofollow. Tajā pašā laikā neaizmirstiet, ka robots joprojām var sekot saitei (ja informācija par to iegūta no citiem avotiem: vietnes karte, saites) un analizēt lapu, uz kuru tas attiecas. Metode darbojas gan Yandex, gan Google.

'Noindex'.

Atzīmes mērķis ir iespēja aizvērt nevēlamās saites no meklēšanas robotu veiktās indeksācijas. Failā robots.txt indeksēšanu var bloķēt tikai veselām lapām vai blokiem, bet kā rīkoties, ja jums ir nepieciešams “paslēpt” tikai vienu vai divas saites no lapas, bet pārējās atstājot atvērtas meklēšanas robotiem. Šajā gadījumā viņi nāk palīgā. tagu .

Kāda ir atšķirība starp tagu ?

Tag ieviesa Yandex meklētājs un, jāatzīmē, atpazīst un atbalsta tikai tas un Rambler, par pēdējo, kā par mirušajiem, vai nu tikai labi, vai neko. Citas meklētājprogrammas spītīgi ignorē šo atzīmi.

Taga atribūts tika ieviesta Google meklētājprogrammā ilgi pirms Yandex. Atšķirībā no atzīmes , šis taga atribūts neietekmē saišu indeksēšanu, saite jebkurā gadījumā būs redzama meklēšanas robotam, taču šīs saites svars no jūsu lapas netiks pārsūtīts. Atribūta "nofollow" mērķis ir tieši šāds - pateikt meklētājprogrammai, ka lapā ievietotā saite iztur nulles vērtējumu.

Kā uzrakstīt tagu un taga atribūts ?

jūsu saites enkurs

jūsu saites enkurs

Atšķirībā no atribūta tagu tagu var paslēpt no Yandex meklētāja robota dedzīgajām acīm ne tikai saiti, bet arī veselu koda sadaļu, turklāt: nav svarīgi, kāda izmēra tā būs. Viss, kas stāv starp un tiks paslēpts no Yandex. Šī atšķirības zīme īpaši vērtīgs, jo tas ļauj viegli paslēpt nevēlamās koda sadaļas no indeksēšanas, tomēr tikai Yandex un Rambler.

Ja vēlaties izslēgt saites svara pārraidi absolūti visām meklētājprogrammām, neparedzot aizliegumus failā robots.txt, tad jums tas būs jāizmanto kā tags un atribūtu “nofollow”:

jūsu saites enkurs