Pentru a preveni apariția paginii în rezultate cautare Google, inserați atributul noindex sau antetul noindex în HTML-ul paginii în Solicitare HTTP... În timpul accesării cu crawlere, Googlebot o va detecta și va ignora pagina, chiar dacă alte site-uri trimit către aceasta.

Atenţie! Crawler-ul nu va detecta directiva noindex dacă pagina încuiatîn fișierul dvs. robots.txt. O astfel de pagină poate apărea în rezultatele căutării (de exemplu, dacă este legată de o altă pagină).

Directiva noindex vă permite să controlați accesul la paginile individuale ale site-ului, de aceea este recomandat să o utilizați dacă nu aveți acces la directorul rădăcină de pe server.

Cum să adăugați atributul noindex

Există două moduri de a adăuga directiva noindex. Rezultatele lor sunt echivalente, iar alegerea depinde de măsura în care puteți controla serverul și de modul în care publicați conținutul.

Etichetă

A bloca majoritatea roboților de căutare, adăugați următoarea etichetă meta la secțiune pagini web:

Dacă dorești închideți accesul la pagină numai pentru roboții Google, utilizați codul ca acesta:

Alte motoare de căutare pot interpreta diferit atributul noindex de pe o pagină și îl pot afișa în rezultatele căutării.

Ajutați-ne să descoperim metaetichete

Pentru a detecta metaetichete, trebuie să accesăm cu crawlere pagina dvs. Dacă pagina continuă să apară în rezultatele căutării, este posibil să nu fi accesat încă cu crawlere site-ul dvs. după adăugarea etichetei. Re-crawlingul paginii de către Googlebot poate fi solicitat folosind instrumentul. Un alt motiv este că fișierul robots.txt blochează această adresă URL din crawler-ul Google și metaeticheta nu este găsită. Pentru a vă debloca pagina pentru Google, trebuie să vă schimbați fișierul robots.txt. Acest lucru se poate face cu Instrument de inspecție Robots.txt .

Antet răspuns HTTP

Un antet X-Robots-Tag poate fi returnat în locul unei metaetichete. Răspunsul trebuie să fie noindex sau none. Un exemplu de răspuns HTTP în care X-Robots-Tag îi împiedică pe roboți să indexeze pagina:

HTTP / 1.1 200 OK (…) X-Robots-Tag: noindex(…)

Robotul de căutare Yandex „plimbă” prin site-uri, vizualizează și analizează conținutul acestora, apoi salvează un indicator către text și imagini în baza de date de căutare Yandex. Acest proces se numește indexare. O parte a paginii web poate fi închisă de la indexare prin plasarea acesteia în interiorul elementului ... Apoi, data viitoare când vizitați pagina web, crawler-ul va ignora acest conținut și nu îl va adăuga la baza de date. Acest lucru se face din diverse motive, de exemplu, legăturile închise de la indexare nu transmit TIC (indexul tematic de citare).

Este important să înțelegeți că acesta este un element non-standard și a fost inventat de Yandex în propriile sale scopuri. Browserele nu acceptă în niciun fel și afișează-i conținutul ca de obicei.

Dacă doriți să închideți întreaga pagină pentru motoarele de căutare, utilizați elementul adăugându-l la codul HTML:

Sau adăugați următoarea linie în fișierul dvs. robots.txt:

Nu permiteți: /private.html

Unde private.html este adresa paginii.

Sintaxă

...

Etichetă de final

Necesar.

Atribute

Exemplu

Yandex nu va indexa acest text.

Browsere

Browsere

Următoarele convenții sunt utilizate în tabelul browserului.

Nofollow- Acesta este un atribut care este atribuit unui anumit link sau tuturor link-urilor de pe pagină în roboți pentru a împiedica roboții de căutare să facă clic pe ele.

Noindex Este un atribut care ascunde textul de pe pagină.

Adică, noindex este responsabil pentru conținutul documentului și interzicerea indexării acestuia, în timp ce nofollow este responsabil pentru link.

Reguli de aplicare și de ce este nevoie de nofollow?

Pentru a înțelege când acest atribut poate fi util, să ne uităm la modul în care cele mai populare motoare de căutare se raportează la el.

• Yandex. Atunci când site-ul dvs. conține secțiuni special pentru discutarea postărilor, scrierea de comentarii la articole sau un forum, este important să fiți cu ochii pe ce link-uri de ieșire lasă vizitatorii acolo. Fiecare comentariu este de dorit. Datorită acestui fapt, proprietarul site-ului va putea împiedica plasarea diferitelor link-uri rău intenționate de la spammeri. Deși motorul de căutare nu le ține cont, spam-ul afectează foarte mult reputația unei resurse web și i se poate aplica un filtru. În acest sens, ar trebui să verificați toate comentariile, iar dacă există îndoieli cu privire la calitatea linkului postat, scrieți atributul rel = „nofollow” pentru ele. Acum, în manualul Yandex revizuit, acest text a fost eliminat și rămâne doar regula de aplicare. Manualul Yandex despre nofollow
• Google. Dacă site-ul dvs. are o secțiune în care utilizatorii pot comenta postările, există un risc ridicat de link-uri către pagini rău intenționate în comentarii. Spammerii „adoră” site-urile cu comentarii fără moderare. Atributul nofollow pentru linkurile spam vă va salva site-ul și va păstra reputația curată în ochii motorului de căutare. Dacă aveți încredere în site-ul către care vizitatorul se conectează sau dacă vă conectați, atunci nu este nevoie să prescrieți nofollow. Ghidul Google pentru nofollow

Aceste mesaje sunt preluate de pe site-urile oficiale ale motoarelor de căutare. După cum puteți vedea, lucruri similare sunt scrise în Yandex și Google: valoarea nofollow ar trebui utilizată în cazurile în care doriți să informați roboții despre neîncrederea site-ului către care duce linkul.

Să luăm în considerare un exemplu mai specific, când este necesar un atribut de interzicere pentru un link:

Material de calitate indoielnica. Daca nu iti place continutul paginii catre care vizitatorul lasa un link in comentariu, si nu vrei sa sacrifici reputatia site-ului tau, scrie rel = "nofollow" in tag-urile acestui link. Spammerii, care observă o tendință pe site-ul dvs. atunci când un atribut de blocare este adăugat la link-urile neverificate, vor înceta în curând să mai încerce să dăuneze site-ului. Dacă vedeți că utilizatorul lasă un link către material de calitate, puteți elimina manual sau automat nofollow.

Cum se scrie corect nofollow?

Acest nofollow acum vă permite să gestionați fiecare link separat, dar odată această valoare a putut fi folosită doar în metaeticheta, care a închis absolut toate linkurile de pe pagină din motorul de căutare. Și pentru a interzice clicul pe linkuri individuale, webmasterii au trebuit să-și blocheze adresa URL.

Roboții nofollow

Aceste metaetichete rămân până astăzi. Dacă doriți să închideți toate linkurile conținute într-o anumită pagină de la indexare, atunci pe această pagină trebuie să scrieți următorul cod:

Este important să nu confundați această etichetă cu cele două coduri de mai jos, content = „none” și content = ”noindex, nofollow” blochează roboții să acceseze întreaga pagină, nu doar link-urile acesteia. Prin urmare, dacă doriți ca paginile să fie indexate, atunci în niciun caz nu scrieți aceste două etichete pentru ele:

Mai sus, am examinat opțiunile pentru a împiedica roboții de căutare să treacă prin toate linkurile din pagini. Dar puteți atribui și o interdicție de a accesa un anumit link.

Pentru a interzice robotului să fie indexat și să urmărească un link, trebuie adăugat atributul rel = "nofollow", în cod arată astfel:

ancoră hyperlinkuri

Greutatea legăturii de scurgere nofollow?

Deși Google în declarațiile sale poziționează utilizarea atributului nofollow ca un clic. Și acest lucru a fost confirmat de apelul fostului șef al companiei anti-spam, Matt Kats. El a afirmat că „Google poate lua în considerare link-urile de la retele sociale chiar și în ciuda nofollow-ului ".

Dar cu Yandex, întrebarea nu este clară. El afirmă clar în documentația sa că acest atribut interzice indexarea unor astfel de link-uri.

Și dacă mergem la descrierea atributului roboți nofollow, atunci aici vedem deja o interdicție a tranziției și nici un cuvânt despre indexare.

Dar, mai devreme a fost posibil să se verifice acest lucru dacă aplicați următoarea construcție a adresei URL în căutare: url-ul dumneavoastră<< inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

În general, putem spune că utilizarea acestui atribut pentru roboții de căutare nu este întotdeauna o interdicție, dacă site-ul este deosebit de autoritar.

Ar trebui să închideți legăturile interne în nofollow?

În trecut, SEO-ii au abuzat mult prin manipularea greutății transmise în cadrul site-ului. Prin urmare, motorul de căutare Google a declarat că toate linkurile interne marcate nu vor da greutate la nimic https://www.mattcutts.com/blog/pagerank-sculpting/.

Fostul șef de căutare la Google vorbește despre asta în videoclip. Videoclipul este în engleză, așa că activați subtitrarea în rusă.

Atributul Noindex: ce este și prin ce diferă de nofollow?

Mulți webmasteri începători își frământă mințile, neînțelegând cum diferă noindex de nofollow. E simplu:

• nofollow - aplicat link-urilor
• noindex - Se aplică textului

Dacă doriți să interziceți textul de pe întreaga pagină a site-ului pentru indexare, dar în același timp să țineți cont de link-uri, trebuie să scrieți următorul cod pe pagină:

Dacă doriți să închideți o parte a textului, atunci Google nu are un astfel de atribut, dar în Yandex este posibil. Eticheta noindex a fost introdusă de motorul de căutare Yandex, deoarece nu înțelegea nofollow înainte, iar linkurile inutile au trebuit cumva să fie închise de la roboți.

Dar în 2010 motorul de căutare a început să lucreze cu atributul rel = „nofollow”, în timp ce noindexul nu a dispărut, ci a rămas responsabil pentru ascunderea textului. Acum, dacă doriți să închideți text sau ancorați link-uri de la indexare, scrieți comanda:

De exemplu, a fost convenabil când Yandex a introdus un nou algoritm care a impus sancțiuni pentru textele seo. A fost necesar să închideți textul în noindex și puteți ieși din acest filtru și nu vă pierdeți poziția în Google, deoarece motorul de căutare Google nu ia în considerare eticheta .

concluzii

Nofollow este responsabil pentru tranziție motoare de căutare prin aceste link-uri, atât pe întreaga pagină, cât și pentru un anumit link. Anterior, noindex a îndeplinit și o funcție similară, dar numai în legătură cu Yandex, care de-a lungul timpului a început să înțeleagă nofollow, drept urmare valoarea noindex a început să blocheze conținutul paginii de la indexare.

Proprietarul site-ului trebuie să utilizeze corect atributul nofollow și să înțeleagă în ce cazuri să facă acest lucru:

1. Când linkul duce la resurse web cu conținut de calitate scăzută.
2. Când postați conținut comercial pe o pagină.

Scopul principal al folosirii nofollow- ajută la indicarea legăturilor prioritare pentru scanare, separă articolele de vânzare de cele informaționale și, de asemenea, protejează site-ul de spam, care, dacă nu este controlat, poate duce la scăderea clasamentului sau, mult mai rău, la îndepărtarea unei resurse de la index.

Pentru toate celelalte situații, puteți utiliza în siguranță roboții open to search. Reputația site-ului nu se va deteriora deloc, dar chiar se va îmbunătăți dacă lăsați link-uri către pagini care sunt utile pentru publicul țintă. Și documentele dumneavoastră nu vor pierde în greutate, ci, dimpotrivă, pot fi chiar achiziționate pe cheltuială.

Să începem prin a defini diferitele moduri de a folosi noindex și nofollow:

• Etichetă si atribut
• Meta etichete și

Etichetă si atribut

Etichetă Este o etichetă HTML care interzice Yandex să indexeze o anumită zonă a paginii unui site. Pentru motorul de căutare Google, această etichetă nu funcționează, în plus, Google nu oferă deloc posibilitatea de a exclude o parte a textului paginii din index.

Concepție greșită # 1. Principala greșeală, oamenii care folosesc această etichetă cred că dacă un text este plasat între etichetele de deschidere și de închidere , atunci robotul Yandex nu va citi și analiza acest text.

Singurul lucru pe care această etichetă îl interzice este plasarea conținutului în baza de index, dar acest conținut va fi citit și analizat de robot în orice caz.

Exemplu: există un text pe o pagină de pe site-ul dvs. care utilizează apariții directe ale propozițiilor din alte surse terțe. Prin urmare, aceste sugestii reduc unicitatea textului dvs. și trebuie să fiți unic 100%. Decizi să închizi aceste oferte cu eticheta pentru a face Yandex să considere textul dvs. unic. Este o iluzie.

Absolut tot textul de pe pagina ta va fi citit și procesat de un robot, iar acesta va ști că textul de pe pagina ta nu este unic.

Esența etichetei - „nu indexați”, ceea ce înseamnă că nu există interdicție de citire.

Să presupunem că un crawler al unui motor de căutare vă vizitează pagina și începe să vă acceseze cu crawlere conținutul. La un moment dat, robotul găsește deschiderea etichetei , care este un semnal pentru robot - nu mai indexați textul. Dar pentru a găsi locul în cod în care eticheta se închide, robotul trebuie să citească conținutul după deschiderea acestei etichete. Prin urmare, chiar și în teorie, nu puteți împiedica roboții să citească conținut folosind eticheta .

Atunci pentru ce este eticheta ?

Este necesar direct pentru a interzice robotului să ofere orice informații în rezultatele motorului său de căutare. Acestea pot fi, de exemplu, contacte care, din anumite motive, nu ar trebui să fie afișate în rezultatele căutării.

Concepție greșită # 2. O altă concepție greșită care apare adesea în rândul proprietarilor de site-uri este opinia că un link plasat într-o etichetă nu vor fi luate în considerare de robotul de căutare. După cum am spus mai devreme, totul în interiorul etichetei , va fi citit și analizat de robotul Yandex. Și link-urile nu fac excepție. Singura diferență dintre linkurile plasate în mod normal și linkurile dintr-o etichetă - aceasta este că textul (ancora) link-ului nu va fi indexat.

În ajutorul webmasterilor care au nevoie ca robotul să ignore link-urile din pagini vine un atribut care funcționează atât pentru Yandex, cât și pentru Google. La utilizarea acestui atribut, linkul va fi în continuare studiat de robot și se va face un clic pe el, dar fără nofollow, greutatea va fi transferată destinatarului, iar cu nofollow greutatea va fi arsă.

Exemplul 1:
Dezvoltarea și promovarea site-ului web

Yandex nu indexează textul ancora, ci ia în considerare linkul către site și trece greutatea de-a lungul acestuia

Exemplul 2:
Dezvoltarea și promovarea site-ului web

Yandex nu indexează textul ancora și nu transferă greutatea de pe link-ul către site

Există două moduri de a scrie o etichetă in cod:

1.

2. Fără text indexat

A doua varianta este mai corecta. De când eticheta nu este inclusă în specificația oficială a limbajului de marcare HTML, prezența acestuia în cod poate provoca confuzii printre alte motoare de căutare, care vor considera prezența sa ca o eroare. Pentru ca codul paginii să fie valid, se recomandă utilizarea ortografiei comentate pentru toți roboții de căutare. Yandex recunoaște o astfel de ortografie, iar alți roboți de căutare nu vor acorda atenție prezenței sale.

Meta etichete și

Utilizarea metaetichetei noindex în codul paginii interzice Yandex (Google, din nou, în în acest caz nu este implicat) indexează tot conținutul text al paginii, linkurile vor fi analizate integral. Adică prezența acestei metaetichete în codul paginii nu este aceeași cu închiderea paginii din indexul din robots.txt.

Prezența metaetichetei nofollow în codul paginii împiedică motoarele de căutare să indexeze link-uri pe pagini. Roboții nu vor urma link-urile din pagină dacă nici această metaetichetă este prezentă. Dar iată ce este scris în ajutorul Yandex:
„Robotul nu va vizita documente dacă sunt legate de pe o pagină care conține o etichetă meta cu o valoare nofollow, cu toate acestea, pot fi indexate dacă alte surse se referă la ele fără nofollow.”

Să rezumam

Etichetă îl folosim doar pentru a împiedica roboții Yandex să ofere informații în rezultatele căutării.

Dacă dorim ca greutatea linkului să nu fie transmisă destinatarului, atunci folosim atributul nofollow. Totodată, nu uitați că robotul mai poate urmări linkul (dacă informații despre acesta sunt obținute din alte surse: sitemap, linkuri) și poate analiza pagina către care face legătura. Metoda funcționează atât pentru Yandex, cât și pentru Google.

„Noindex”.

Scopul etichetei este capacitatea de a închide link-urile nedorite de la indexarea roboților de căutare. În fișierul robots.txt, puteți bloca numai pagini întregi sau blocați de la indexare, dar ce se întâmplă dacă trebuie să „ascundeți” doar unul sau două linkuri din pagină și să lăsați restul deschis pentru roboții de căutare. În acest caz, ei vin în ajutor. etichetă .

Care este diferența dintre o etichetă ?

Etichetă a fost introdus de motorul de căutare Yandex și, de notat, este recunoscut și susținut doar de acesta și Rambler, despre acesta din urmă, ca despre morți, fie numai bine, fie nimic. Alte motoare de căutare ignoră cu încăpățânare această etichetă.

Rel = atributul etichetei „nofollow”. a fost introdus de motorul de căutare Google cu mult înainte de Yandex. Spre deosebire de etichetă , acest atribut de etichetă nu afectează indexarea link-ului, linkul va fi în orice caz vizibil robotului de căutare, dar greutatea acestui link nu va fi transmisă de pe pagina dumneavoastră. Scopul atributului „nofollow” este tocmai acesta - de a spune motorului de căutare că linkul postat pe pagină primește un rating zero.

Cum să adăugați o etichetă și atributul rel = „nofollow” al etichetei ?

ancorați-vă linkul

ancorați-vă linkul

Spre deosebire de atribut rel = 'nofollow' etichetă etichetă poate ascunde de ochii vigilenți ai robotului de căutare Yandex nu numai linkul, ci și întreaga secțiune a codului, în plus: indiferent de dimensiunea acestuia. Tot ce se află între ele și va fi ascuns de Yandex. Această diferență de etichetă deosebit de valoros, deoarece vă permite să ascundeți cu ușurință secțiunile de cod nedorite de la indexare, totuși, numai pentru Yandex și Rambler.

Dacă doriți să excludeți transmiterea greutății link-ului pentru absolut toate motoarele de căutare, fără a prescrie interdicții în fișierul robots.txt, atunci va trebui să utilizați ca etichetă și atributul „nofollow”:

ancorați-vă linkul