Para evitar que a página apareça nos resultados pesquisa do Google, insira o atributo noindex ou o cabeçalho noindex no HTML da página em Solicitação HTTP... Durante o rastreamento, o Googlebot o detectará e ignorará a página, mesmo que outros sites tenham links para ela.

Atenção! O rastreador não detectará a diretiva noindex se a página trancado em seu arquivo robots.txt. Essa página pode aparecer nos resultados da pesquisa (por exemplo, se estiver vinculada a em outra página).

A diretiva noindex permite controlar o acesso a páginas individuais do site, portanto, é recomendável usá-la se você não tiver acesso ao diretório raiz no servidor.

Como adicionar o atributo noindex

Existem duas maneiras de adicionar a diretiva noindex. Seus resultados são equivalentes, e a escolha depende de até que ponto você pode controlar o servidor e como você publica o conteúdo.

Marcação

Bloquear a maioria dos robôs de busca, adicione a seguinte metatag à seção paginas web:

Se você quiser fechar o acesso à página apenas para robôs do Google, use o código como este:

Outros mecanismos de pesquisa podem interpretar o atributo noindex em uma página de maneira diferente e mostrá-lo nos resultados da pesquisa.

Ajude-nos a descobrir metatags

Para detectar metatags, precisamos rastrear sua página. Se a página continuar aparecendo nos resultados da pesquisa, é provável que ainda não tenhamos rastreado o seu site após adicionar a tag. O novo rastreamento da página pelo Googlebot pode ser solicitado usando a ferramenta. Outro motivo é que o arquivo robots.txt está bloqueando este URL do rastreador do Google e a metatag não foi encontrada. Para desbloquear sua página para o Google, você precisa alterar seu arquivo robots.txt. Isso pode ser feito com Ferramenta de inspeção Robots.txt .

Cabeçalho de resposta HTTP

Um cabeçalho X-Robots-Tag pode ser retornado em vez de uma metatag. A resposta deve ser noindex ou nenhum. Um exemplo de resposta HTTP em que o X-Robots-Tag impede que os robôs indexem a página:

HTTP / 1.1 200 OK (…) X-Robots-Tag: noindex(…)

O robô de pesquisa Yandex “anda” por sites, visualiza e analisa seu conteúdo e, em seguida, salva um ponteiro para texto e imagens no banco de dados de pesquisa Yandex. Este processo é denominado indexação. Parte da página da web pode ser fechada da indexação, colocando-a dentro do elemento ... Então, na próxima vez que você visitar a página da web, o rastreador ignorará esse conteúdo e não o adicionará ao banco de dados. Isso é feito por vários motivos, por exemplo, links fechados da indexação não transmitem o TIC (índice de citação temática).

É importante entender que este é um elemento fora do padrão e foi inventado por Yandex para seus próprios fins. Os navegadores não oferecem suporte de forma alguma e apenas exibir seu conteúdo como de costume.

Se você quiser fechar a página inteira para os mecanismos de pesquisa, use o elemento adicionando-o ao seu código HTML:

Ou adicione a seguinte linha ao seu arquivo robots.txt:

Disallow: /private.html

Onde private.html é o endereço da página.

Sintaxe

...

Tag final

Obrigatório.

Atributos

Exemplo

Yandex não indexará este texto.

Navegadores

Navegadores

As seguintes convenções são usadas na tabela do navegador.

Não siga- Este é um atributo que é atribuído a um link específico ou a todos os links da página em robôs para evitar que robôs de pesquisa cliquem neles.

NoindexÉ um atributo que obscurece o texto da página.

Ou seja, noindex é responsável pelo conteúdo do documento e pela proibição de indexação, enquanto nofollow é responsável pelo link.

Regras de aplicativo e por que o nofollow é necessário?

Para entender quando esse atributo pode ser útil, vamos ver como os mecanismos de pesquisa mais populares se relacionam com ele.

• Yandex. Quando seu site contém seções especificamente para discutir postagens, escrever comentários em artigos ou um fórum, é importante ficar de olho nos links externos que os visitantes deixam lá. Cada comentário é desejável. Graças a isso, o proprietário do site poderá impedir a colocação de vários links maliciosos de spammers. Embora o mecanismo de pesquisa não os leve em consideração, o spam afeta muito a reputação de um recurso da web e um filtro pode ser aplicado a ele. A este respeito, você deve verificar todos os comentários e, se houver alguma dúvida sobre a qualidade do link postado, escreva o atributo rel = "nofollow" para eles. Agora, no manual Yandex revisado, este texto foi removido e apenas a regra de aplicação permanece. Manual Yandex sobre nofollow
• Google. Se o seu site tiver uma seção onde os usuários podem comentar nas postagens, existe um alto risco de links para páginas maliciosas nos comentários. Os spammers "adoram" sites com comentários sem moderação. O atributo nofollow para links de spam salvará seu site e manterá sua reputação limpa aos olhos do mecanismo de pesquisa. Se você confia no site ao qual o visitante está criando um link, ou se você mesmo está fazendo um link, não há necessidade de prescrever o nofollow. Guia do Google para nofollow

Essas mensagens são retiradas dos sites oficiais dos motores de busca. Como você pode ver, coisas semelhantes são escritas no Yandex e no Google: o valor nofollow deve ser usado quando você deseja informar os bots sobre a desconfiança do site ao qual o link leva.

Vamos considerar um exemplo mais específico, quando um atributo de proibição é necessário para um link:

Material de qualidade duvidosa. Se você não gostar do conteúdo da página para a qual o visitante deixa um link no comentário e não deseja sacrificar a reputação do seu site, escreva o valor rel = "nofollow" nas tags deste link. Os spammers, percebendo uma tendência em seu site quando um atributo de bloqueio é adicionado a links não verificados, logo deixarão de tentar prejudicar o site. Se você perceber que o usuário está deixando um link para um material de qualidade, você pode remover o nofollow manual ou automaticamente.

Como escrever nofollow corretamente?

Este agora nofollow permite que você gerencie cada link separadamente, mas uma vez que este valor só poderia ser usado na metatag, que fechava absolutamente todos os links da página do mecanismo de busca. E para proibir o clique em links individuais, os webmasters tiveram que bloquear seu URL em.

Robôs nofollow

Essas metatags permanecem até hoje. Se você deseja fechar todos os links contidos em uma determinada página da indexação, nesta página você precisa escrever o seguinte código:

É importante não confundir esta tag com os dois códigos abaixo, content = "none" e content = ”noindex, nofollow” impedem que os bots acessem a página inteira, não apenas seus links. Portanto, se você deseja que as páginas sejam indexadas, em nenhum caso escreva estas duas tags para elas:

Acima, examinamos as opções para impedir que os robôs de pesquisa acessem todos os links nas páginas. Mas você também pode banir um link específico.

Para proibir o robô de ser indexado e seguir um link, o atributo rel = "nofollow" deve ser adicionado a ele, no código se parece com isto:

hiperlinks de âncora

O nofollow vaza o peso do link?

Embora o Google em suas declarações posicione o uso do atributo nofollow como um click-through. E isso foi confirmado pelo apelo do ex-chefe da empresa de spam anti-pesquisa, Matt Kats. Ele afirmou que “O Google pode levar em consideração links de redes sociais mesmo apesar do nofollow ".

Mas com Yandex, a questão não é clara. Ele afirma claramente em sua documentação que este atributo proíbe a indexação de tais links.

E se formos para a descrição do atributo nofollow dos robôs, então aqui já vemos uma proibição da transição, e nenhuma palavra sobre indexação.

Mas, antes era possível verificar isso se você aplicasse a seguinte construção de url na pesquisa: sua url<< inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Em geral, podemos dizer que o uso deste atributo para robôs de busca nem sempre é uma proibição, se o site for especialmente autoritário.

Você deve fechar links internos no nofollow?

No passado, os SEOs abusaram muito, manipulando o peso transmitido dentro do site. Portanto, o mecanismo de busca do Google afirmou que todos os links internos marcados não darão peso a nada https://www.mattcutts.com/blog/pagerank-sculpting/.

O ex-chefe de pesquisa do Google fala sobre isso no vídeo. O vídeo está em inglês, então ative as legendas em russo.

Atributo Noindex: o que é e em que difere do nofollow?

Muitos webmasters novatos quebram a cabeça, sem entender como o noindex difere do nofollow. É simples:

• nofollow - aplicado a links
• noindex - Aplica-se a texto

Se você deseja proibir o texto de toda a página do site para indexação, mas ao mesmo tempo levar em consideração os links, é necessário escrever o seguinte código na página:

Se você quiser fechar uma parte do texto, o Google não possui esse atributo, mas no Yandex isso é possível. A tag noindex foi introduzida pelo mecanismo de busca Yandex, uma vez que ele não entendia o nofollow antes, e links desnecessários tiveram que ser fechados de alguma forma para os robôs.

Mas em 2010 o mecanismo de busca começou a trabalhar com o atributo rel = "nofollow", enquanto o noindex não desapareceu, mas permaneceu responsável por ocultar o texto. Agora, se você deseja fechar links de texto ou âncora da indexação, escreva o comando:

Por exemplo, foi conveniente quando Yandex introduziu um novo algoritmo que impôs sanções para textos de SEO. Era necessário fechar os rodapés do texto no noindex, e você poderia sair desse filtro, e não perder a sua posição no Google, já que o buscador Google não leva em consideração a tag .

conclusões

Nofollow é responsável pela transição motores de busca por esses links, tanto na página inteira quanto para um link específico. Anteriormente, noindex também desempenhava uma função semelhante, mas apenas em relação ao Yandex, que com o tempo passou a entender o nofollow, como resultado o valor noindex passou a bloquear a indexação do conteúdo da página.

O proprietário do site deve usar corretamente o atributo nofollow e entender em quais casos fazer isso:

1. Quando o link leva a recursos da web com conteúdo de baixa qualidade.
2. Quando você publica conteúdo comercial em uma página.

O objetivo principal de usar o nofollow- ajuda a indicar links prioritários para varredura, separa os artigos de venda dos informativos e também protege o site de spam, que, se não controlado, pode levar a uma diminuição nas classificações ou, muito pior, a uma retirada de recursos do índice.

Para todas as outras situações, você pode usar o aberto para robôs de busca com segurança. A reputação do site não se deteriorará em nada, mas até mesmo melhorará se você deixar links para páginas úteis para seu público-alvo. E seus documentos não vão perder peso, mas, ao contrário, podem até ser adquiridos às custas.

Vamos começar definindo as diferentes maneiras de usar noindex e nofollow:

• Marcação e atributo
• Meta tags e

Marcação e atributo

Marcação É uma tag HTML que proíbe o Yandex de indexar uma área específica da página de um site. Para o mecanismo de pesquisa do Google, essa tag não funciona, além disso, o Google não fornece a capacidade de excluir parte do texto da página do índice.

Equívoco # 1. O principal erro que as pessoas que usam esta marca são de acreditar que se algum texto for colocado entre as marcas de abertura e fechamento , então o robô Yandex não lerá e analisará este texto.

A única coisa que essa tag proíbe é colocar conteúdo na base do índice, mas esse conteúdo será lido e analisado pelo robô em qualquer caso.

Exemplo: há algum texto em uma página de seu site que usa ocorrências diretas de frases de outras fontes de terceiros. Portanto, essas sugestões reduzem a singularidade do seu texto e você precisa ser 100% exclusivo. Você decide fechar essas ofertas com a tag para fazer Yandex considerar seu texto único. É uma ilusão.

Absolutamente todo o texto em sua página será lido e processado por um robô, e ele saberá que o texto em sua página não é único.

A própria essência da tag - "não indexar", o que significa que não há proibição de leitura.

Digamos que um rastreador de mecanismo de pesquisa visite sua página e comece a rastrear seu conteúdo. Em algum ponto, o robô encontra a abertura da tag , que é um sinal para o robô - não indexe mais o texto. Mas para encontrar o lugar no código onde a tag fecha, o robô precisa ler o conteúdo após a abertura desta tag. Portanto, mesmo em teoria, você não pode impedir que os robôs leiam o conteúdo usando a tag .

Qual é a tag então ?

É necessário diretamente para proibir o robô de fornecer qualquer informação nos resultados de seu mecanismo de busca. Podem ser, por exemplo, contatos que, por algum motivo, não devem ser exibidos nos resultados da pesquisa.

Equívoco # 2. Outro equívoco que frequentemente ocorre entre os proprietários de sites é a opinião de que um link colocado em uma tag não será levado em consideração pelo robô de pesquisa. Como eu disse antes, tudo dentro da tag , será lido e analisado pelo robô Yandex. E os links não são exceção. A única diferença entre links normalmente colocados e links em uma tag - é que o texto (âncora) do link não será indexado.

Para ajudar os webmasters que precisam do robô para ignorar os links das páginas, vem um atributo que funciona tanto para o Yandex quanto para o Google. Ao utilizar este atributo, o link ainda será estudado pelo robô e um clique será feito sobre ele, mas sem o nofollow, o peso será transferido para o destinatário, e com o nofollow o peso será queimado.

Exemplo 1:
Desenvolvimento e promoção de sites

Yandex não indexa o texto âncora, mas leva em consideração o link para o site e passa o peso junto com ele

Exemplo 2:
Desenvolvimento e promoção de sites

Yandex não indexa texto âncora e não transfere peso do link para o site

Existem duas maneiras de escrever uma tag em código:

1.

2. Sem texto indexado

A segunda opção é mais correta. Desde a tag não está incluído na especificação oficial da linguagem de marcação HTML, sua presença no código pode causar confusão entre outros motores de busca, que irão considerar sua presença como um erro. Para tornar o código da página válido, é recomendável usar a grafia comentada para todos os robôs de pesquisa. Yandex reconhece tal grafia, e outros robôs de busca não prestarão atenção à sua presença.

Meta tags e

O uso da metatag noindex no código da página proíbe Yandex (o Google, novamente, em nesse caso não envolvidos) indexe todo o conteúdo textual da página, os links serão analisados ​​na íntegra. Ou seja, a presença dessa metatag no código da página não é o mesmo que fechar a página do índice em robots.txt.

A presença da metatag nofollow no código da página impede que os mecanismos de pesquisa indexem links nas páginas. Os robôs não seguirão os links da página se esta metatag também estiver presente. Mas aqui está o que está escrito na ajuda do Yandex:
"O robô não visitará documentos se eles estiverem vinculados a uma página contendo uma meta tag com um valor nofollow; no entanto, eles podem ser indexados se outras fontes se referirem a eles sem nofollow."

Vamos resumir

Marcação nós apenas o usamos para evitar que os robôs Yandex forneçam informações nos resultados da pesquisa.

Se quisermos que o peso do link não seja passado ao destinatário, usamos o atributo nofollow. Ao mesmo tempo, não se esqueça que o robô ainda pode seguir o link (se as informações sobre ele forem obtidas de outras fontes: mapa do site, links) e analisar a página para a qual ele se vincula. O método funciona para Yandex e Google.

‘Noindex’.

Finalidade da tag é a capacidade de fechar links indesejados da indexação por robôs de pesquisa. No arquivo robots.txt, você só pode bloquear páginas inteiras ou bloqueios de indexação, mas e se você precisar “ocultar” apenas um ou dois links da página e deixar o resto aberto para robôs de pesquisa. Nesse caso, eles vêm ao resgate. marcação .

Qual é a diferença entre uma tag ?

Marcação foi introduzido pelo motor de busca Yandex e, convém notar, é reconhecido e apoiado apenas por ele e Rambler, sobre este último, como sobre os mortos, sejam apenas bons ou nada. Outros mecanismos de pesquisa ignoram obstinadamente essa tag.

Rel = atributo de tag 'nofollow' foi introduzido pelo motor de busca Google muito antes do Yandex. Ao contrário da tag , este atributo de tag não afeta a indexação do link, o link em qualquer caso será visível para o robô de pesquisa, mas o peso deste link não será transmitido de sua página. O objetivo do atributo ‘nofollow’ é precisamente este - informar ao mecanismo de pesquisa que o link postado na página recebe uma avaliação zero.

Como adicionar uma tag e o atributo rel = 'nofollow' da tag ?

ancorar seu link

ancorar seu link

Ao contrário do atributo rel = 'nofollow' marcação marcação pode se esconder dos olhos vigilantes do robô de busca Yandex não apenas o link, mas também toda a seção do código, além disso: não importa o tamanho que seja. Tudo o que está entre e será ocultado do Yandex. Esta diferença de marca especialmente valioso porque permite ocultar facilmente seções de código indesejadas da indexação, no entanto, apenas para Yandex e Rambler.

Se você deseja excluir a transmissão do peso do link para absolutamente todos os mecanismos de pesquisa, sem prescrever proibições no arquivo robots.txt, você terá que usar como uma tag e o atributo 'nofollow':

ancorar seu link