Untuk mencegah halaman muncul di hasil pencarian Google, masukkan atribut noindex atau header noindex ke dalam HTML halaman di permintaan HTTP... Selama perayapan, Googlebot akan mendeteksinya dan mengabaikan halaman tersebut, meskipun situs lain menautkannya.

Perhatian! Perayap tidak akan mendeteksi arahan noindex jika halaman terkunci di file robots.txt Anda. Laman seperti itu mungkin muncul di hasil penelusuran (misalnya, jika ditautkan ke laman lain).

Arahan noindex memungkinkan Anda untuk mengontrol akses ke halaman individual situs, jadi disarankan untuk menggunakannya jika Anda tidak memiliki akses ke direktori root di server.

Bagaimana cara menambahkan atribut noindex

Ada dua cara untuk menambahkan direktif noindex. Hasilnya setara, dan pilihannya bergantung pada sejauh mana Anda dapat mengontrol server dan bagaimana Anda memublikasikan konten.

Menandai

Untuk memblokir kebanyakan robot pencari, tambahkan tag meta berikut ke bagian Halaman web:

Jika Anda menghendaki tutup akses ke halaman hanya untuk robot Google, gunakan kode seperti ini:

Mesin telusur lain mungkin menafsirkan atribut noindex pada laman secara berbeda dan menampilkannya di hasil penelusuran.

Bantu kami menemukan tag meta

Untuk mendeteksi tag meta, kami perlu meng-crawl halaman Anda. Jika laman terus muncul di hasil penelusuran, kemungkinan kami belum merayapi situs Anda setelah menambahkan tag. Perayapan ulang halaman oleh Googlebot dapat diminta menggunakan alat ini. Alasan lainnya adalah file robots.txt memblokir URL ini dari perayap Google dan tag meta tidak ditemukan. Untuk membuka blokir halaman Anda untuk Google, Anda perlu mengubah file robots.txt Anda. Ini bisa dilakukan dengan Alat Inspeksi Robots.txt .

Tajuk respons HTTP

Header X-Robots-Tag dapat dikembalikan sebagai ganti tag meta. Responsnya harus noindex atau tidak sama sekali. Contoh respons HTTP di mana X-Robots-Tag mencegah robot mengindeks halaman:

HTTP / 1.1 200 Oke (…) X-Robots-Tag: noindex(…)

Robot pencarian Yandex "berjalan" melalui situs, melihat dan menganalisis konten mereka, dan kemudian menyimpan pointer ke teks dan gambar di database pencarian Yandex. Proses ini disebut pengindeksan. Bagian dari halaman web dapat ditutup dari pengindeksan dengan menempatkannya di dalam elemen ... Kemudian pada saat Anda mengunjungi halaman web, crawler akan mengabaikan konten tersebut dan tidak akan menambahkannya ke database-nya. Hal ini dilakukan karena berbagai alasan, misalnya tautan yang ditutup dari pengindeksan tidak mengirimkan TIC (thematic citation index).

Penting untuk dipahami bahwa ini adalah elemen non-standar dan diciptakan oleh Yandex untuk tujuannya sendiri. Browser tidak mendukung dengan cara apa pun dan hanya menampilkan isinya seperti biasa.

Jika Anda ingin menutup seluruh halaman untuk mesin pencari gunakan elemen dengan menambahkannya ke kode HTML Anda:

Atau tambahkan baris berikut ke file robots.txt Anda:

Larang: /private.html

Di mana private.html adalah alamat halaman.

Sintaksis

...

Tag akhir

Yg dibutuhkan.

Atribut

Contoh

Yandex tidak akan mengindeks teks ini.

Browser

Browser

Konvensi berikut digunakan dalam tabel browser.

Tidak mengikuti- Ini adalah atribut yang ditetapkan untuk tautan tertentu atau semua tautan pada halaman di robots untuk mencegah robot pencari mengkliknya.

indeks no Merupakan atribut yang mengaburkan teks pada halaman.

Artinya, noindex bertanggung jawab atas konten dalam dokumen dan larangan mengindeksnya, sedangkan nofollow bertanggung jawab atas tautannya.

Aturan aplikasi dan mengapa nofollow diperlukan?

Untuk memahami kapan atribut ini bisa berguna sama sekali, mari kita lihat bagaimana mesin pencari paling populer berhubungan dengannya.

• Yandex. Ketika situs Anda berisi bagian khusus untuk membahas posting, menulis komentar di artikel, atau forum, penting untuk mengawasi tautan keluar yang ditinggalkan pengunjung di sana. Setiap komentar diinginkan. Berkat ini, pemilik situs akan dapat mencegah penempatan berbagai tautan berbahaya dari spammer. Meskipun mesin pencari tidak memperhitungkannya, spam sangat memengaruhi reputasi sumber daya web dan filter dapat diterapkan padanya. Dalam hal ini, Anda harus memeriksa semua komentar, dan jika ada keraguan tentang kualitas tautan yang diposting, tulis atribut rel = "nofollow" untuk mereka. Sekarang, dalam manual Yandex yang direvisi, teks ini telah dihapus dan hanya aturan penerapan yang tersisa. Manual Yandex tentang nofollow
• Google. Jika situs Anda memiliki bagian di mana pengguna dapat mengomentari posting, ada risiko tinggi tautan ke halaman berbahaya di komentar. Spammer "menyukai" situs dengan komentar tanpa moderasi. Atribut nofollow untuk tautan spam akan menyelamatkan situs Anda dan menjaga reputasinya tetap bersih di mata mesin pencari. Jika Anda memercayai situs yang ditautkan oleh pengunjung, atau Anda sendiri yang menautkannya, maka tidak perlu meresepkan nofollow. Panduan Google untuk nofollow

Pesan-pesan ini diambil dari situs resmi mesin pencari. Seperti yang Anda lihat, hal-hal serupa ditulis di Yandex dan Google: nilai nofollow harus digunakan dalam kasus di mana Anda ingin memberi tahu bot tentang ketidakpercayaan terhadap situs yang mengarah ke tautan.

Mari kita pertimbangkan contoh yang lebih spesifik, ketika atribut pelarangan diperlukan untuk tautan:

Bahan kualitas meragukan. Jika Anda tidak menyukai konten halaman tempat pengunjung meninggalkan tautan di komentar, dan Anda tidak ingin mengorbankan reputasi situs Anda, tulis rel = "nofollow" di tag tautan ini. Spammer, yang melihat tren di situs Anda saat atribut pemblokiran ditambahkan ke tautan yang belum diverifikasi, akan segera berhenti mencoba merusak situs. Jika Anda melihat bahwa pengguna meninggalkan tautan ke materi berkualitas, Anda dapat menghapus nofollow secara manual atau otomatis.

Bagaimana cara menulis nofollow yang benar?

Sekarang nofollow ini memungkinkan Anda untuk mengelola setiap tautan secara terpisah, tetapi dulu nilai ini hanya dapat digunakan di tag meta, yang benar-benar menutup semua tautan di halaman dari mesin telusur. Dan untuk melarang mengklik tautan individual, webmaster harus memblokir URL mereka.

Robot tidak mengikuti

Tag meta ini tetap ada hingga hari ini. Jika Anda ingin menutup semua tautan yang terdapat pada halaman tertentu dari pengindeksan, maka pada halaman ini Anda perlu menulis kode berikut:

Penting untuk tidak membingungkan tag ini dengan dua kode di bawah ini, content = "none" dan content = ”noindex, nofollow” memblokir bot agar tidak mengakses seluruh halaman, bukan hanya tautannya. Oleh karena itu, jika Anda ingin halaman diindeks, maka jangan tulis dua tag ini untuk mereka:

Di atas, kami memeriksa opsi untuk mencegah robot pencari menelusuri semua tautan di halaman. Tetapi Anda juga dapat menetapkan larangan untuk pergi ke tautan tertentu.

Untuk melarang robot agar tidak terindeks dan mengikuti sebuah link, maka harus ditambahkan atribut ke dalamnya, dalam kodenya terlihat seperti ini:

hyperlink jangkar

Apakah nofollow membocorkan berat tautan?

Meskipun Google dalam pernyataannya memposisikan penggunaan atribut nofollow sebagai klik-tayang. Dan hal ini dikuatkan oleh imbauan mantan kepala perusahaan anti-spam anti-pencarian, Matt Kats. Dia menyatakan bahwa “Google dapat mempertimbangkan tautan akun dari jaringan sosial walaupun nofollow".

Tetapi dengan Yandex, pertanyaannya tidak jelas. Dia dengan jelas menyatakan dalam dokumentasinya bahwa atribut ini melarang pengindeksan tautan semacam itu.

Dan jika kita pergi ke deskripsi atribut robots nofollow, maka di sini kita sudah melihat larangan transisi, dan bukan sepatah kata pun tentang pengindeksan.

Tapi, sebelumnya dimungkinkan untuk memeriksa ini jika Anda menerapkan konstruksi url berikut dalam pencarian: url . Anda<< inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Secara umum, kita dapat mengatakan bahwa penggunaan atribut ini untuk robot pencarian tidak selalu merupakan larangan, jika situs tersebut sangat otoritatif.

Haruskah Anda menutup tautan internal di nofollow?

Di masa lalu, SEO telah banyak menyalahgunakan dengan memanipulasi bobot yang ditransmisikan di dalam situs. Oleh karena itu, mesin pencari Google menyatakan bahwa semua tautan internal yang ditandai tidak akan memberikan bobot apa pun https://www.mattcutts.com/blog/pagerank-sculpting/.

Mantan kepala pencarian di Google membicarakan hal ini dalam video. Videonya dalam bahasa Inggris, jadi nyalakan subtitle Rusia.

Atribut Noindex: apa itu dan apa bedanya dengan nofollow?

Banyak webmaster pemula memeras otak mereka, tidak mengerti bagaimana noindex berbeda dari nofollow. Itu mudah:

• nofollow - diterapkan pada tautan
• noindex - Berlaku untuk teks

Jika Anda ingin melarang teks di seluruh halaman situs untuk pengindeksan, tetapi pada saat yang sama mempertimbangkan tautan, Anda perlu menulis kode berikut di halaman:

Jika Anda ingin menutup sebagian teks, maka Google tidak memiliki atribut seperti itu, tetapi di Yandex itu mungkin. Tag noindex diperkenalkan oleh mesin pencari Yandex, karena sebelumnya tidak memahami nofollow, dan tautan yang tidak perlu entah bagaimana harus ditutup dari robot.

Tetapi pada tahun 2010 mesin pencari mulai bekerja dengan atribut rel = "nofollow", sementara noindex tidak hilang, tetapi tetap bertanggung jawab untuk menyembunyikan teks. Sekarang, jika Anda ingin menutup teks atau tautan jangkar dari pengindeksan, tulis perintah:

Misalnya, nyaman ketika Yandex memperkenalkan algoritma baru yang memberlakukan sanksi untuk teks seo. Itu perlu untuk menutup tapak kaki teks di noindex, dan Anda bisa keluar dari filter ini, dan tidak kehilangan posisi Anda di Google, karena mesin pencari Google tidak memperhitungkan tag .

kesimpulan

Nofollow bertanggung jawab untuk transisi mesin pencari oleh tautan ini, baik di seluruh halaman maupun untuk tautan tertentu. Sebelumnya, noindex juga melakukan fungsi yang serupa, tetapi hanya dalam kaitannya dengan Yandex, yang seiring waktu mulai memahami nofollow, akibatnya nilai noindex mulai memblokir konten pada halaman dari pengindeksan.

Pemilik situs harus menggunakan atribut nofollow dengan benar dan memahami dalam kasus apa untuk melakukannya:

1. Ketika tautan mengarah ke sumber daya web dengan konten berkualitas rendah.
2. Saat Anda memposting konten komersial di halaman.

Tujuan utama menggunakan nofollow- membantu menunjukkan tautan prioritas untuk pemindaian, memisahkan artikel penjualan dari yang informatif, dan juga melindungi situs dari spam, yang, jika tidak dikontrol, dapat menyebabkan penurunan peringkat atau, lebih buruk lagi, sumber daya keluar dari indeks.

Untuk semua situasi lain, Anda dapat menggunakan robot open to search dengan aman. Reputasi situs tidak akan memburuk sama sekali, tetapi bahkan akan meningkat jika Anda meninggalkan tautan ke halaman yang berguna untuk audiens target Anda. Dan dokumen Anda tidak akan kehilangan bobot apa pun, tetapi, sebaliknya, bahkan dapat diperoleh dengan mengorbankan.

Mari kita mulai dengan mendefinisikan berbagai cara menggunakan noindex dan nofollow:

• Menandai dan atribut
• Tag meta dan

Menandai dan atribut

Menandai Adalah tag HTML yang melarang Yandex mengindeks area tertentu dari halaman situs. Untuk mesin pencari Google, tag ini tidak berfungsi, apalagi Google tidak memberikan kemampuan untuk mengecualikan sebagian teks halaman dari indeks sama sekali.

Kesalahpahaman #1. Kesalahan utama orang yang menggunakan tag ini adalah keyakinan bahwa jika beberapa teks ditempatkan di antara tag pembuka dan penutup , maka robot Yandex tidak akan membaca dan menganalisis teks ini.

Satu-satunya hal yang dilarang tag ini adalah menempatkan konten di basis indeks, tetapi konten ini akan dibaca dan dianalisis oleh robot dalam hal apa pun.

Contoh: Ada beberapa teks pada halaman di situs Anda yang menggunakan kemunculan langsung kalimat dari sumber pihak ketiga lainnya. Oleh karena itu, saran ini mengurangi keunikan teks Anda, dan Anda harus memiliki keunikan 100%. Anda memutuskan untuk menutup penawaran ini dengan tag untuk membuat Yandex menganggap teks Anda unik. Ini adalah delusi.

Benar-benar semua teks di halaman Anda akan dibaca dan diproses oleh robot, dan ia akan tahu bahwa teks di halaman Anda tidak unik.

Inti dari tag - "jangan indeks", yang berarti tidak ada larangan membaca.

Katakanlah perayap mesin telusur mengunjungi halaman Anda dan mulai merayapi konten Anda. Pada titik tertentu, robot menemukan pembukaan tag , yang merupakan sinyal ke robot - jangan mengindeks teks lebih jauh. Tetapi untuk menemukan tempat dalam kode di mana tag ditutup, robot perlu membaca konten setelah tag dibuka. Oleh karena itu, bahkan secara teori, Anda tidak dapat mencegah robot membaca konten menggunakan tag .

Apa tag untuk itu? ?

Ini diperlukan secara langsung untuk melarang robot memberikan informasi apa pun di hasil mesin pencarinya. Ini dapat berupa, misalnya, kontak yang, karena alasan tertentu, tidak boleh ditampilkan dalam hasil pencarian.

Kesalahpahaman #2. Kesalahpahaman lain yang sering terjadi di kalangan pemilik situs adalah anggapan bahwa tautan ditempatkan dalam sebuah tag tidak akan diperhitungkan oleh robot pencari. Seperti yang saya katakan sebelumnya, semua yang ada di dalam tag , akan dibaca dan dianalisis oleh robot Yandex. Dan tautan tidak terkecuali. Satu-satunya perbedaan antara tautan yang ditempatkan secara normal dan tautan dalam sebuah tag - ini adalah bahwa teks (jangkar) tautan tidak akan diindeks.

Untuk membantu para webmaster yang membutuhkan robot untuk mengabaikan tautan dari halaman, muncul atribut yang berfungsi untuk Yandex dan Google. Saat menggunakan atribut ini, tautan akan tetap dipelajari oleh robot dan klik akan dilakukan, tetapi tanpa nofollow, bobot akan ditransfer ke penerima, dan dengan nofollow bobot akan dibakar.

Contoh 1:
Pengembangan dan promosi situs web

Yandex tidak mengindeks teks jangkar, tetapi memperhitungkan tautan ke situs dan meneruskan bobotnya

Contoh 2:
Pengembangan dan promosi situs web

Yandex tidak mengindeks teks jangkar dan tidak mentransfer bobot dari tautan ke situs

Ada dua cara untuk menulis tag dalam kode:

1.

2. Tidak ada teks yang diindeks

Opsi kedua lebih tepat. Sejak tag tidak termasuk dalam spesifikasi resmi bahasa markup HTML, keberadaannya dalam kode dapat menyebabkan kebingungan di antara mesin pencari lainnya, yang akan menganggap keberadaannya sebagai kesalahan. Untuk membuat kode halaman valid, disarankan untuk menggunakan ejaan yang dikomentari untuk semua robot pencarian. Yandex mengenali ejaan seperti itu, dan robot pencari lainnya tidak akan memperhatikan keberadaannya.

Tag meta dan

Penggunaan tag meta noindex dalam kode halaman melarang Yandex (Google, sekali lagi, dalam pada kasus ini tidak terlibat) indeks semua konten teks halaman, tautan akan dianalisis secara penuh. Artinya, keberadaan meta tag ini di kode halaman tidak sama dengan menutup halaman dari indeks di robots.txt.

Kehadiran tag meta nofollow dalam kode halaman mencegah mesin pencari mengindeks tautan di halaman. Robot tidak akan mengikuti tautan dari halaman jika tag meta ini juga ada. Tapi inilah yang tertulis dalam bantuan Yandex:
"Robot tidak akan mengunjungi dokumen jika ditautkan dari halaman yang berisi tag meta dengan nilai nofollow, namun, mereka dapat diindeks jika sumber lain merujuknya tanpa nofollow."

Mari kita simpulkan

Menandai kami hanya menggunakannya untuk mencegah robot Yandex memberikan informasi di hasil pencarian.

Jika kita ingin bobot tautan tidak diteruskan ke penerima, maka kita menggunakan atribut nofollow. Pada saat yang sama, jangan lupa bahwa robot masih dapat mengikuti tautan (jika informasi tentangnya diperoleh dari sumber lain: peta situs, tautan) dan menganalisis halaman yang ditautkannya. Metode ini berfungsi untuk Yandex dan Google.

'Noindeks'.

Tandai tujuan adalah kemampuan untuk menutup tautan yang tidak diinginkan dari pengindeksan oleh robot pencari. Di file robots.txt, Anda hanya dapat memblokir seluruh halaman atau memblokir pengindeksan, tetapi bagaimana jika Anda perlu "menyembunyikan" hanya satu atau dua tautan dari halaman, dan membiarkan sisanya terbuka untuk robot pencari. Dalam hal ini, mereka datang untuk menyelamatkan. menandai .

Apa perbedaan antara tag? ?

Menandai diperkenalkan oleh mesin pencari Yandex dan, perlu dicatat, hanya dikenali dan didukung olehnya dan Rambler, tentang yang terakhir, seperti tentang orang mati, baik hanya baik atau tidak sama sekali. Mesin pencari lain dengan keras kepala mengabaikan tag ini.

Rel = atribut tag 'nofollow' diperkenalkan oleh mesin pencari Google jauh sebelum Yandex. Berbeda dengan tag , atribut tag ini tidak memengaruhi pengindeksan tautan, bagaimanapun juga, tautan akan terlihat oleh robot pencari, tetapi bobot tautan ini tidak akan dikirimkan dari laman Anda. Tujuan dari atribut 'nofollow' adalah persis seperti ini - untuk memberi tahu mesin pencari bahwa tautan yang diposting di halaman menerima peringkat nol.

Bagaimana cara menambahkan tag? dan atribut rel = 'nofollow' dari tag ?

jangkar tautan Anda

jangkar tautan Anda

Berbeda dengan atribut rel = 'tidak mengikuti' menandai menandai dapat bersembunyi dari mata robot pencari Yandex yang waspada tidak hanya tautan, tetapi juga seluruh bagian kode, apalagi: berapa pun ukurannya. Segala sesuatu yang berdiri di antara dan akan disembunyikan dari Yandex. Perbedaan tag ini sangat berharga karena memungkinkan Anda untuk dengan mudah menyembunyikan bagian kode yang tidak diinginkan dari pengindeksan, namun, hanya untuk Yandex dan Rambler.

Jika Anda ingin mengecualikan transmisi bobot tautan untuk semua mesin telusur, tanpa menetapkan larangan dalam file robots.txt, maka Anda harus menggunakannya sebagai tag dan atribut 'nofollow':

jangkar tautan Anda