Robots.txt adalah file teks yang berisi parameter pengindeksan situs untuk robot mesin pencari.

Rekomendasi tentang isi file

Yandex mendukung arahan berikut:

Pengarahan	Apa fungsinya?
Agen pengguna *
Melarang
peta situs
bersih-param
Mengizinkan
Penundaan perayapan	Sebaiknya gunakan pengaturan kecepatan perayapan

Pengarahan	Apa fungsinya?
Agen pengguna *	Menunjukkan robot tempat aturan yang tercantum dalam robots.txt berlaku.
Melarang	Melarang pengindeksan bagian situs atau halaman individual.
peta situs	Menentukan jalur ke file Peta Situs yang diposting di situs.
bersih-param	Menunjukkan kepada robot bahwa URL halaman berisi parameter (seperti tag UTM) yang harus diabaikan saat mengindeksnya.
Mengizinkan	Memungkinkan pengindeksan bagian situs atau halaman individual.
Penundaan perayapan	Menentukan interval minimum (dalam detik) bagi robot pencari untuk menunggu setelah memuat satu halaman, sebelum mulai memuat yang lain. Sebaiknya gunakan pengaturan kecepatan perayapan di Yandex.Webmaster alih-alih direktif.

* Arahan wajib.

Anda "paling sering membutuhkan arahan Disallow, Sitemap, dan Clean-param. Misalnya:

User-agent: * #tentukan robot yang arahannya ditetapkan untuk Disallow: / bin / # menonaktifkan tautan dari Keranjang Belanja. Larang: / cari / # menonaktifkan tautan halaman dari pencarian yang disematkan di situs Larang: / admin / # menonaktifkan tautan dari panel admin Peta Situs: http://example.com/sitemap # tentukan untuk robot file peta situs situs Clean-param: ref /some_dir/get_book.pl

Robot dari mesin pencari dan layanan lain dapat menafsirkan arahan dengan cara yang berbeda.

Catatan. Robot memperhitungkan kasus substring (nama file atau jalur, nama robot) dan mengabaikan kasus dalam nama arahan.

Menggunakan karakter Sirilik

Penggunaan alfabet Cyrillic tidak diperbolehkan di file robots.txt dan header HTTP server.

Untuk nama domain, gunakan Punycode. Untuk alamat halaman, gunakan pengkodean yang sama dengan struktur situs saat ini.

Selamat siang teman-teman terkasih! Anda semua tahu bahwa optimisasi mesin pencari adalah bisnis yang bertanggung jawab dan rumit. Anda harus benar-benar memperhitungkan setiap hal kecil untuk mendapatkan hasil yang dapat diterima.

Hari ini kita akan berbicara tentang robots.txt - file yang akrab dengan setiap webmaster. Di dalamnya tertulis semua instruksi paling dasar untuk robot pencari. Sebagai aturan, mereka dengan senang hati mengikuti instruksi yang ditentukan dan, jika kompilasi yang salah, menolak untuk mengindeks sumber daya web. Selanjutnya, saya akan menunjukkan cara menyusun robots.txt yang benar, serta cara menyiapkannya.

Dalam kata pengantar saya sudah menjelaskan apa itu. Sekarang saya akan memberi tahu Anda mengapa Anda membutuhkannya. Robots.txt adalah file teks kecil yang disimpan di root situs. Ini digunakan oleh mesin pencari. Ini dengan jelas merinci aturan pengindeksan, yaitu, bagian mana dari situs yang perlu diindeks (ditambahkan ke pencarian), dan mana - tidak.

Biasanya, bagian teknis situs ditutup dari pengindeksan. Terkadang, halaman yang tidak unik masuk daftar hitam (salin-tempel kebijakan privasi adalah contohnya). Di sini, "robot dijelaskan" prinsip-prinsip bekerja dengan bagian-bagian yang perlu diindeks. Sangat sering aturan ditentukan untuk beberapa robot secara terpisah. Kami akan membicarakan ini lebih lanjut.

Dengan pengaturan robots.txt yang tepat, situs Anda dijamin tumbuh di peringkat mesin pencari. Robot hanya akan mempertimbangkan konten yang bermanfaat, mengabaikan bagian duplikat atau bagian teknis.

Membangun robots.txt

Untuk membuat file, Anda hanya perlu menggunakan fungsionalitas standar sistem operasi Anda, lalu mengunggahnya ke server melalui FTP. Di mana letaknya (di server) mudah ditebak - di root. Folder ini biasanya disebut public_html.

Anda dapat dengan mudah masuk ke dalamnya menggunakan klien FTP apa pun (misalnya) atau pengelola file bawaan. Secara alami, kami tidak akan mengunggah robot kosong ke server. Kami akan menambahkan beberapa arahan dasar (aturan) di sana.

Agen pengguna: *
Izinkan: /

Dengan menggunakan baris ini di file robots Anda, Anda akan merujuk ke semua robot (User-agent directive), memungkinkan mereka untuk mengindeks situs Anda secara keseluruhan (termasuk semua halaman tersebut Izinkan: /)

Tentu saja, opsi ini tidak terlalu cocok untuk kami. File tidak akan sangat berguna untuk optimasi mesin pencari. Itu pasti perlu disetel dengan benar. Namun sebelum itu, kita akan membahas semua arahan dasar dan nilai robots.txt.

arahan

Agen pengguna	Salah satu yang paling penting, karena menunjukkan robot mana yang harus mengikuti aturan yang mengikutinya. Aturan diperhitungkan hingga Agen-Pengguna berikutnya dalam file.
Mengizinkan	Memungkinkan pengindeksan blok sumber daya apa pun. Misalnya: “/” atau “/ tag /”.
Melarang	Sebaliknya, ia melarang pengindeksan partisi.
peta situs	Jalur ke peta situs (dalam format xml).
Tuan rumah	Cermin utama (dengan atau tanpa www, atau jika Anda memiliki banyak domain). Protokol aman https (jika tersedia) juga ditunjukkan di sini. Jika Anda memiliki http standar, Anda tidak perlu menentukannya.
Penundaan perayapan	Dengan bantuannya, Anda dapat mengatur interval untuk mengunjungi dan mengunduh file situs Anda untuk robots. Membantu mengurangi beban host.
bersih-param	Memungkinkan Anda untuk menonaktifkan pengindeksan parameter pada halaman tertentu (seperti www.site.com/cat/state?admin_id8883278). Berbeda dengan arahan sebelumnya, 2 nilai ditentukan di sini (alamat dan parameter itu sendiri).

Ini semua adalah aturan yang didukung oleh mesin pencari unggulan. Dengan bantuan mereka, kami akan membuat robot kami, yang beroperasi dengan berbagai variasi untuk jenis situs yang paling berbeda.

Kustomisasi

Untuk mengonfigurasi file robots dengan benar, kita perlu tahu persis bagian mana dari situs yang harus diindeks dan mana yang tidak. Dalam kasus satu halaman sederhana dalam html + css, kita hanya perlu menulis beberapa arahan dasar, seperti:

Agen pengguna: *
Izinkan: /
Peta Situs: site.ru/sitemap.xml
Tuan rumah: www.site.ru

Di sini kami telah menentukan aturan dan nilai untuk semua mesin pencari. Tetapi lebih baik menambahkan arahan terpisah untuk Google dan Yandex. Ini akan terlihat seperti ini:

Agen pengguna: *
Izinkan: /

Agen pengguna: Yandex
Izinkan: /
Larang: / politika

Agen-pengguna: GoogleBot
Izinkan: /
Larang: / tag /

Peta Situs: site.ru/sitemap.xml
Tuan rumah: site.ru

Sekarang benar-benar semua file akan diindeks di situs html kami. Jika kita ingin mengecualikan halaman atau gambar, maka kita perlu menentukan tautan relatif ke fragmen ini di Disallow.

Anda dapat menggunakan layanan pembuatan file otomatis robot. Saya tidak menjamin bahwa dengan bantuan mereka Anda akan membuat versi yang benar-benar tepat, tetapi sebagai pengantar, Anda dapat mencoba.

Layanan ini meliputi:

Dengan bantuan mereka, Anda dapat membuat robots.txt secara otomatis. Secara pribadi, saya sangat tidak merekomendasikan opsi ini, karena jauh lebih mudah untuk melakukannya secara manual, mengaturnya untuk platform Anda.

Berbicara tentang platform, maksud saya semua jenis CMS, kerangka kerja, sistem SaaS, dan banyak lagi. Selanjutnya, kita akan berbicara tentang cara menyesuaikan file robot WordPress dan Joomla.

Namun sebelum itu, mari kita soroti beberapa aturan universal yang dapat diikuti saat membuat dan mengonfigurasi robot untuk hampir semua situs:

Tutup dari pengindeksan (Larang):

• panel admin situs;
• akun pribadi dan halaman pendaftaran / otorisasi;
• keranjang, data dari formulir pemesanan (untuk toko online);
• folder cgi (terletak di host);
• bagian layanan;
• skrip ajax dan json;
• tag UTM dan Openstat;
• berbagai parameter.

Buka (Izinkan):

• Foto-foto;
• File JS dan CSS;
• elemen lain yang harus diperhitungkan oleh mesin pencari.

Selain itu, di bagian akhir, jangan lupa untuk menentukan data peta situs (jalur ke peta situs) dan host (cermin utama).

Robots.txt untuk WordPress

Untuk membuat file, kita perlu memasukkan robots.txt ke root situs dengan cara yang sama. Dalam hal ini, dimungkinkan untuk mengubah isinya menggunakan FTP dan pengelola file yang sama.

Ada juga opsi yang lebih nyaman - buat file menggunakan plugin. Secara khusus, Yoast SEO memiliki fitur seperti itu. Jauh lebih nyaman untuk mengedit robot langsung dari area admin, jadi saya sendiri menggunakan metode ini untuk bekerja dengan robots.txt.

Bagaimana Anda memutuskan untuk membuat file ini terserah Anda, lebih penting bagi kami untuk memahami arahan mana yang harus ada di sana. Di situs WordPress saya, saya menggunakan opsi ini:

Agen-pengguna: * # aturan untuk semua robot, kecuali Google dan Yandex

Larang: / cgi-bin # folder dengan skrip
Larang: /? # parameter permintaan dari halaman beranda
Larang: / wp- # file dari CSM itu sendiri (dengan awalan wp-)
Larang: *?S = # \
Larang: * & s = # segala sesuatu yang berhubungan dengan pencarian
Larang: / cari / # /
Larang: / penulis / # Arsip Penulis
Larang: / pengguna / # dan pengguna
Larang: * / lacak balik # Pemberitahuan WP bahwa seseorang menautkan ke Anda
Larang: * / feed # umpan dalam xml
Larang: * / rss # dan rss
Larang: * / sematkan # elemen sebaris
Larang: /xmlrpc.php #WordPress API
Larang: * utm = # tag UTM
Larang: * openstat = # Tag Openstat
Larang: / tag / #tag (jika tersedia)
Izinkan: * / upload # buka unduhan (gambar, dll.)

Agen-pengguna: GoogleBot # untuk Google
Larang: / cgi-bin
Larang: /?
Larang: / wp-
Larang: *?S =
Larang: * & s =
Larang: / cari /
Larang: / penulis /
Larang: / pengguna /
Larang: * / lacak balik
Larang: * / feed
Larang: * / rss
Larang: * / sematkan
Larang: /xmlrpc.php
Larang: * utm =
Larang: * openstat =
Larang: / tag /
Izinkan: * / upload
Izinkan: /*/*.js # buka file JS
Izinkan: /*/*.css # dan CSS
Izinkan: /wp-*.png # dan gambar dalam format png
Izinkan: /wp-*.jpg # \
Izinkan: /wp-*.jpeg # dan dalam format lain
Izinkan: /wp-*.gif # /
# bekerja dengan plugin

Agen pengguna: Yandex # untuk Yandex
Larang: / cgi-bin
Larang: /?
Larang: / wp-
Larang: *?S =
Larang: * & s =
Larang: / cari /
Larang: / penulis /
Larang: / pengguna /
Larang: * / lacak balik
Larang: * / feed
Larang: * / rss
Larang: * / sematkan
Larang: /xmlrpc.php
Larang: / tag /
Izinkan: * / upload
Izinkan: /*/*.js
Izinkan: /*/*.css
Izinkan: /wp-*.png
Izinkan: /wp-*.jpg
Izinkan: /wp-*.jpeg
Izinkan: /wp-*.gif
Izinkan: /wp-admin/admin-ajax.php
# bersihkan tag UTM
Clean-Param: openstat # dan jangan lupa tentang Openstat

Peta Situs: # tulis jalur ke peta situs
Tuan rumah: https://site.ru #cermin utama

Perhatian! Saat menyalin baris ke file, jangan lupa untuk menghapus semua komentar (teks setelah #).

Opsi robots.txt ini adalah yang paling populer di kalangan webmaster WP. Apakah dia sempurna? Tidak. Anda dapat mencoba menambahkan sesuatu atau menghapusnya. Namun perlu diingat bahwa ketika mengoptimalkan editor teks robot, kesalahan tidak jarang terjadi. Kami akan berbicara tentang mereka lebih lanjut.

Robots.txt untuk Joomla

Dan meskipun pada tahun 2018 Joomla jarang digunakan oleh siapa pun, saya percaya bahwa CMS yang luar biasa ini tidak dapat diabaikan. Saat mempromosikan proyek di Joomla, Anda pasti harus membuat file robots, jika tidak, bagaimana Anda ingin menutup elemen yang tidak perlu dari pengindeksan?

Seperti pada kasus sebelumnya, Anda dapat membuat file secara manual hanya dengan mengunggahnya ke host, atau Anda dapat menggunakan modul untuk tujuan ini. Dalam kedua kasus, Anda harus mengonfigurasinya dengan benar. Ini adalah bagaimana versi yang benar untuk Joomla akan terlihat seperti:

Agen pengguna: *
Izinkan: /*.css?*$
Izinkan: /*.js?*$
Izinkan: /*.jpg?*$
Izinkan: /*.png?*$
Larang: / cache /
Larang: /*.pdf
Larang: / administrator /
Larang: / instalasi /
Larang: / kli /
Larang: / perpustakaan /
Larang: / bahasa /
Larang: / komponen /
Larang: / modul /
Larang: / termasuk /
Larang: / bin /
Larang: / komponen /
Larang: / tmp /
Larang: /index.php
Larang: / plugin /
Larang: / * mailto /

Larang: / log /
Larang: / komponen / tag *
Larang: / *%
Larang: / tata letak /

Agen pengguna: Yandex
Larang: / cache /
Larang: /*.pdf
Larang: / administrator /
Larang: / instalasi /
Larang: / kli /
Larang: / perpustakaan /
Larang: / bahasa /
Larang: / komponen /
Larang: / modul /
Larang: / termasuk /
Larang: / bin /
Larang: / komponen /
Larang: / tmp /
Larang: /index.php
Larang: / plugin /
Larang: / * mailto /

Larang: / log /
Larang: / komponen / tag *
Larang: / *%
Larang: / tata letak /

Agen-pengguna: GoogleBot
Larang: / cache /
Larang: /*.pdf
Larang: / administrator /
Larang: / instalasi /
Larang: / kli /
Larang: / perpustakaan /
Larang: / bahasa /
Larang: / komponen /
Larang: / modul /
Larang: / termasuk /
Larang: / bin /
Larang: / komponen /
Larang: / tmp /
Larang: /index.php
Larang: / plugin /
Larang: / * mailto /

Larang: / log /
Larang: / komponen / tag *
Larang: / *%
Larang: / tata letak /

Tuan rumah: site.ru # jangan lupa untuk mengubah alamat di sini menjadi milikmu
Peta Situs: site.ru/sitemap.xml # dan di sini

Sebagai aturan, ini cukup untuk mencegah file yang tidak perlu berakhir di index.

Kesalahan konfigurasi

Sangat sering orang membuat kesalahan saat membuat dan mengkonfigurasi robot. Berikut adalah yang paling umum:

• Aturan ditentukan hanya untuk Agen-pengguna.
• Host dan Peta Situs tidak ada.
• Kehadiran protokol http dalam arahan Host (Anda hanya perlu menentukan https).
• Kegagalan untuk mematuhi aturan bersarang saat membuka / menutup gambar.
• Tag UTM dan Openstat tidak ditutup.
• Meresepkan arahan host dan peta situs untuk setiap robot.
• Studi permukaan file.

Sangat penting untuk mengkonfigurasi file kecil ini dengan benar. Jika Anda membuat kesalahan besar, Anda dapat kehilangan sebagian besar lalu lintas, jadi berhati-hatilah saat menyiapkan.

Bagaimana cara memeriksa file?

Untuk tujuan ini, lebih baik menggunakan layanan khusus dari Yandex dan Google, karena mesin pencari ini adalah yang paling populer dan diminati (paling sering satu-satunya yang digunakan), tidak ada gunanya mempertimbangkan mesin pencari seperti Bing, Yahoo atau Pengembara.

Untuk memulainya, pertimbangkan opsi dengan Yandex. Kami pergi ke Webmaster. Lalu pergi ke Alat - Analisis Robots.txt.

Di sini Anda dapat memeriksa file untuk kesalahan, serta memeriksa secara real time halaman mana yang terbuka untuk pengindeksan dan mana yang tidak. Sangat mudah.

Google memiliki layanan yang sama persis. Pergi ke Search Console Search... Cari tab Scanning, pilih - Robots.txt File Checker Tool.

Berikut adalah fungsi yang persis sama seperti dalam layanan domestik.

Harap dicatat bahwa itu menunjukkan kepada saya 2 kesalahan. Ini disebabkan oleh fakta bahwa Google tidak mengenali arahan untuk menghapus parameter yang saya tentukan untuk Yandex:

Clean-Param: utm_source & utm_medium & utm_campaign
Clean-Param: openstat

Anda tidak perlu memperhatikan hal ini, karena robot Google hanya menggunakan aturan untuk GoogleBot.

Kesimpulan

File robots.txt sangat penting untuk optimasi SEO website Anda. Dekati pengaturannya dengan semua tanggung jawab, karena jika diterapkan secara tidak benar, semuanya bisa menjadi debu.

Pertimbangkan semua instruksi yang saya bagikan di artikel ini, dan jangan lupa bahwa Anda tidak perlu menyalin robot saya dengan tepat. Ada kemungkinan bahwa Anda juga harus memahami setiap arahan, menyesuaikan file untuk kasus spesifik Anda.

Dan jika Anda ingin menggali lebih dalam tentang pembuatan situs web robots.txt dan WordPress, saya mengundang Anda. Di dalamnya Anda akan belajar bagaimana Anda dapat dengan mudah membuat situs web, tanpa lupa untuk mengoptimalkannya untuk mesin pencari.

Robots.txt- ini adalah file teks yang terletak di root situs - http://site.ru/robots.txt... Tujuan utamanya adalah untuk menetapkan arahan tertentu untuk mesin pencari - apa dan kapan harus dilakukan di situs.

Robots.txt paling sederhana

Robots.txt paling sederhana, yang memungkinkan semua mesin telusur mengindeks semuanya, terlihat seperti ini:

Agen pengguna: *
Melarang:

Jika arahan Disallow tidak memiliki garis miring di bagian akhir, maka semua halaman diperbolehkan untuk pengindeksan.

Arahan ini sepenuhnya melarang situs mengindeks:

Agen pengguna: *
Larang: /

Agen-pengguna - menunjukkan untuk siapa arahan ditujukan, tanda bintang menunjukkan bahwa untuk semua PS, untuk Yandex menunjukkan Agen-pengguna: Yandex.

Bantuan Yandex mengatakan bahwa robot pencariannya memproses Agen-pengguna: *, tetapi jika Agen-pengguna: Yandex ada, Agen-pengguna: * diabaikan.

Arahan Larang dan Izinkan

Ada dua arahan utama:

Larang - tolak

Izinkan - izinkan

Contoh: Di blog, kami melarang pengindeksan folder / wp-content / tempat file plugin, template, dll. berada. Tetapi juga ada gambar yang harus diindeks oleh PS untuk ikut dalam pencarian gambar. Untuk melakukan ini, Anda perlu menggunakan skema berikut:

Agen pengguna: *
Izinkan: / wp-content / upload / # Izinkan pengindeksan gambar di folder unggahan
Larang: / wp-content /

Urutan penggunaan arahan penting bagi Yandex jika berlaku untuk halaman atau folder yang sama. Jika Anda menentukan seperti ini:

Agen pengguna: *
Larang: / wp-content /
Izinkan: / wp-content / upload /

Gambar tidak akan diunggah oleh robot Yandex dari direktori / uploads /, karena perintah pertama sedang dijalankan, yang menolak semua akses ke folder wp-content.

Google lebih sederhana dan mengikuti semua arahan dalam file robots.txt, terlepas dari lokasinya.

Juga, jangan lupa bahwa arahan dengan dan tanpa garis miring memainkan peran yang berbeda:

Larang: / tentang Menolak akses ke seluruh direktori site.ru/about/, dan halaman yang berisi about - site.ru/about.html, site.ru/aboutlive.html, dll. juga tidak akan diindeks.

Larang: / tentang / Ini akan melarang pengindeksan halaman di direktori site.ru/about/ oleh robot, dan halaman tipe site.ru/about.html, dll. akan tersedia untuk pengindeksan.

Ekspresi reguler di robots.txt

Dua karakter yang didukung, ini adalah:

* - menyiratkan urutan karakter apa pun.

Contoh:

Larang: / tentang * akan menolak akses ke semua halaman yang berisi tentang, pada prinsipnya, dan tanpa tanda bintang, arahan semacam itu juga akan berfungsi. Namun dalam beberapa kasus, ekspresi ini tidak dapat diganti. Misalnya, dalam satu kategori ada halaman dengan .html di akhir dan di luar, untuk menutup semua halaman yang berisi html dari pengindeksan, kami menulis direktif berikut:

Larang: /about/*.html

Sekarang halaman site.ru/about/live.html ditutup dari pengindeksan, dan halaman site.ru/about/live terbuka.

Contoh lain dengan analogi:

Agen pengguna: Yandex
Izinkan: /about/*.html # izinkan pengindeksan
Larang: / tentang /

Semua halaman akan ditutup, kecuali halaman yang diakhiri dengan .html

$ - memotong sisanya dan menandai akhir baris.

Contoh:

Larang: / tentang- Robots.txt direktif ini melarang pengindeksan semua halaman yang dimulai dengan about, serta melarang halaman di direktori / about /.

Dengan menambahkan tanda dolar di akhir - Larang: / about $, kami akan memberi tahu robot bahwa tidak mungkin untuk mengindeks hanya halaman / about, dan direktori / about /, halaman / aboutlive, dll. dapat diindeks.

Arahan peta situs

Arahan ini menentukan jalur ke Peta Situs, sebagai berikut:

Peta Situs: http: //site.ru/sitemap.xml

Arahan tuan rumah

Ditunjukkan dalam bentuk ini:

Tuan rumah: site.ru

Tidak ada http: //, garis miring miring dan sejenisnya. Jika Anda memiliki cermin utama situs dengan www, maka tulis:

Contoh Bitrix robots.txt

Agen pengguna: *
Larang: /*index.php$
Larang: / bitrix /
Larang: / auth /
Larang: / pribadi /
Larang: / unggah /
Larang: / cari /
Larang: / * / cari /
Larang: / * / slide_show /
Larang: / * / galeri / * pesanan = *
Larang: / *? *
Larang: / * & cetak =
Larang: / * daftar =
Larang: / * lupa_kata sandi =
Larang: / * change_password =
Larang: / * masuk =
Larang: / * logout =
Larang: / * auth =
Larang: / * tindakan = *
Larang: / * bitrix _ * =
Larang: / * backurl = *
Larang: / * BACKURL = *
Larang: / * back_url = *
Larang: / * BACK_URL = *
Larang: / * back_url_admin = *
Larang: / * print_course = Y
Larang: / * COURSE_ID =
Larang: / * PAGEN_ *
Larang: / * HALAMAN_ *
Larang: / * SHOWALL
Larang: / * show_all =
Tuan rumah: sitename.ru
Peta Situs: https://www.sitename.ru/sitemap.xml

Contoh robots.txt untuk WordPress

Setelah semua arahan yang diperlukan telah ditambahkan, yang dijelaskan di atas. Anda harus mendapatkan sesuatu seperti file robots ini:

Ini adalah versi dasar robots.txt untuk wordpress. Ada dua Agen-pengguna - satu untuk semua orang dan yang kedua untuk Yandex, di mana arahan Host ditentukan.

Tag robot meta

Dimungkinkan untuk memblokir halaman atau situs dari pengindeksan tidak hanya dengan file robots.txt, tetapi dengan tag meta.

<meta name = "robots" content = "noindex, nofollow">

Itu harus terdaftar di tag dan tag meta ini akan melarang pengindeksan situs. Ada plugin di WordPress yang memungkinkan Anda untuk mengekspos meta tag tersebut, misalnya - Platinum Seo Pack. Dengan itu, Anda dapat menutup halaman mana pun dari pengindeksan, ia menggunakan tag meta.

Arahan crawl-delay

Dengan menggunakan arahan ini, Anda dapat mengatur waktu di mana bot pencarian harus menyela antara mengunduh halaman situs.

Agen pengguna: *
Penundaan perayapan: 5

Batas waktu antara memuat dua halaman adalah 5 detik. Untuk mengurangi beban pada server, biasanya diatur 15-20 detik. Arahan ini diperlukan untuk situs besar yang sering diperbarui di mana bot pencarian hanya "langsung".

Untuk situs / blog biasa, arahan ini tidak diperlukan, tetapi dengan cara ini Anda dapat membatasi perilaku robot pencari lain yang tidak relevan (Rambler, Yahoo, Bing), dll. Lagi pula, mereka juga pergi ke situs dan mengindeksnya, sehingga membuat beban di server.

Pengaturan yang benar dan kompeten dari file root robots.txt adalah salah satu tugas paling penting dari wizard WEB. Dalam kasus kesalahan yang tidak dapat dimaafkan dalam hasil pencarian, banyak halaman situs web yang tidak perlu mungkin muncul. Atau, sebaliknya, dokumen penting situs Anda akan ditutup untuk pengindeksan, dalam kasus terburuk, Anda dapat menutup seluruh direktori root domain untuk robot pencari.

Menyiapkan file robots.txt Anda dengan benar dengan tangan Anda sendiri sebenarnya bukanlah tugas yang sulit. Setelah membaca artikel ini, Anda akan mempelajari seluk-beluk arahan, dan secara mandiri menulis aturan untuk file robots.txt di situs Anda.

Sintaks spesifik, tetapi tidak rumit digunakan untuk membuat file robots.txt. Tidak banyak arahan yang digunakan. Mari kita lihat aturan, struktur dan sintaks file robots.txt langkah demi langkah dan detail.

Aturan umum robots.txt

Pertama, file robots.txt itu sendiri harus dikodekan ANSI.

Kedua, Anda tidak dapat menggunakan abjad nasional apa pun untuk menulis aturan, hanya abjad Latin yang memungkinkan.

Secara struktural, file robots.txt dapat terdiri dari satu atau beberapa blok instruksi, secara terpisah untuk robot dari mesin telusur yang berbeda. Setiap blok atau bagian memiliki seperangkat aturan (arahan) untuk mengindeks situs oleh mesin pencari tertentu.

Dalam arahan itu sendiri, di blok aturan dan di antara mereka, header dan simbol tambahan tidak diperbolehkan.

Arahan dan blok aturan dipisahkan oleh jeda baris. Satu-satunya asumsi adalah komentar.

Komentar robots.txt

Simbol '#' digunakan untuk berkomentar. Jika Anda meletakkan simbol hash di awal baris, seluruh konten akan diabaikan oleh robot pencari hingga akhir baris.

Agen pengguna: *
Larang: / css # tulis komentar
# Tulis komentar lain
Larang: / img

Bagian dalam file robots.txt

Ketika robot membaca file, hanya bagian yang ditujukan ke robot mesin pencari ini yang digunakan, yaitu, jika bagian agen pengguna berisi nama mesin pencari Yandex, maka robotnya hanya akan membaca bagian yang ditujukan kepadanya. , mengabaikan yang lain, khususnya bagian dengan arahan untuk semua robot - Agen-pengguna: *.

Masing-masing bagian bersifat independen. Mungkin ada beberapa bagian, untuk setiap robot atau beberapa mesin telusur, atau satu bagian universal, untuk semua robot atau robot dari salah satu sistem mereka. Jika hanya ada satu bagian, maka dimulai dari baris pertama file dan menempati semua baris. Jika ada beberapa bagian, maka mereka harus dipisahkan oleh setidaknya satu baris kosong.

Bagian selalu dimulai dengan direktif User-agent dan berisi nama mesin pencari yang ditujukan untuk robot, jika bukan bagian universal untuk semua robot. Dalam praktiknya, terlihat seperti ini:

Agen pengguna: YandexBot
# agen pengguna untuk robot sistem Yandex
Agen pengguna: *
# agen pengguna untuk semua robot

Dilarang mencantumkan beberapa nama bot. Untuk bot dari setiap mesin pencari, bagiannya sendiri dibuat, blok aturannya sendiri yang terpisah. Jika, dalam kasus Anda, aturan untuk semua robot sama, gunakan satu bagian umum yang universal.

Apa itu arahan?

Direktif adalah perintah atau aturan yang menginformasikan robot pencari informasi tertentu. Arahan memberi tahu bot pencarian cara mengindeks situs Anda, direktori mana yang tidak boleh dilihat, di mana peta situs XML berada, nama domain mana yang menjadi cermin utama, dan beberapa detail teknis lainnya.

Bagian robots.txt terdiri dari perintah terpisah,
arahan. Sintaks umum untuk directives adalah sebagai berikut:

[DirectiveName]: [spasi opsional] [nilai] [spasi opsional]

Direktif ditulis dalam satu baris, tanpa tanda hubung. Menurut standar yang diterima, celah garis antara arahan dalam satu bagian tidak diperbolehkan, yaitu, semua arahan dari satu bagian ditulis pada setiap baris, tanpa celah baris tambahan.

Mari kita jelaskan arti dari arahan utama yang digunakan.

Arahan larang

Direktif yang paling sering digunakan dalam file robots.txt adalah "Disallow". Arahan "Disallow" melarang pengindeksan jalur yang ditentukan di dalamnya. Ini bisa berupa halaman terpisah, halaman yang berisi "topeng" tertentu di URL (jalur), bagian dari situs, direktori (folder) terpisah atau seluruh situs.

"*" - tanda bintang berarti - "sejumlah karakter". Artinya, path / folder * sama dengan “/ folder”, “/ folder1”, “/ folder111”, “/ foldersssss” atau “/ folder”. Robot, ketika membaca aturan, secara otomatis menambahkan tanda "*". Dalam contoh di bawah ini, kedua arahan benar-benar setara:

Larang: / berita
Larang: / berita *

"$" - tanda dolar melarang robot menambahkan karakter "*" secara otomatis saat membaca arahan(tanda bintang) di akhir direktif. Dengan kata lain, karakter "$" menunjukkan akhir dari string perbandingan. Artinya, dalam contoh kami, kami melarang pengindeksan folder "/ folder", tetapi kami tidak melarangnya di folder "/ folder1", "/ folder111" atau "/ foldersssss":

Agen pengguna: *
Larang: / folder $

"#" - tanda komentar (tajam)... Segala sesuatu yang ditulis setelah ikon ini, pada baris yang sama dengannya, diabaikan oleh mesin pencari.

Izinkan arahan

Arahan ALLOW dari file robots.txt berlawanan artinya dengan direktif DISSALOW, direktif ALLOW memungkinkan. Contoh di bawah ini menunjukkan bahwa kami melarang pengindeksan seluruh situs kecuali untuk folder /:

Agen pengguna: *
Izinkan: / folder
Larang: /

Contoh penggunaan simultan "Izinkan", "Larang" dan prioritas

Jangan lupa tentang memahami prioritas larangan dan izin, saat menentukan arahan. Sebelumnya, prioritas ditunjukkan oleh urutan larangan dan izin yang diumumkan. Sekarang prioritas ditentukan dengan menentukan jalur maksimum yang ada dalam satu blok untuk robot mesin pencari (User-agent), dalam rangka meningkatkan panjang jalur dan tempat di mana arahan ditunjukkan, semakin panjang jalur, semakin prioritas:

Agen pengguna: *
Izinkan: / folder
Larang: / folder

Dalam contoh di atas, pengindeksan URL yang dimulai dengan "/ folder" diperbolehkan, tetapi dilarang di jalur yang memiliki "/ folder", "/ folderssss" atau "/ folder2" di URL-nya. Jika jalur yang sama berada di bawah arahan "Izinkan" dan "Larang", preferensi diberikan pada arahan "Izinkan".

Nilai parameter kosong dalam arahan "Izinkan" dan "Larang"

Ada kesalahan WEB-master, ketika di file robots.txt di direktif "Disallow"
mereka lupa menyertakan simbol "/". Ini adalah interpretasi yang salah dan keliru tentang arti direktif dan sintaksisnya. Akibatnya, perintah pelarangan menjadi permisif: "Disallow:" benar-benar identik dengan "Allow: /". Larangan yang benar untuk mengindeks seluruh situs terlihat seperti ini:

Hal yang sama dapat dikatakan untuk "Izinkan:". Arahan "Allow:" tanpa karakter "/" melarang pengindeksan seluruh situs, seperti halnya "Disallow: /".

Arahan peta situs

Dengan semua kanon optimasi SEO, Anda harus menggunakan peta situs (SITEMAP) dalam format XML dan memberikannya ke mesin pencari.

Terlepas dari fungsi "lemari webmaster" di mesin pencari, perlu untuk menyatakan keberadaan sitemap.xml di robots.txt menggunakan arahan " PETA SITUS". Saat merayapi situs Anda, robot pencari akan melihat indikasi file sitemap.xml dan pasti akan menggunakannya dalam perayapan berikutnya. Contoh penggunaan arahan peta situs dalam file robots.txt:

Agen pengguna: *
Peta Situs: https://www.domainname.zone/sitemap.xml

Arahan tuan rumah

Direktif robots.txt penting lainnya adalah TUAN RUMAH.

Diyakini bahwa tidak semua mesin pencari mengenalinya. Tetapi Yandex menunjukkan bahwa ia membaca arahan ini, dan Yandex di Rusia adalah "penyedia pencarian" utama, jadi kami tidak akan mengabaikan arahan "host".

Arahan ini memberi tahu mesin pencari domain mana yang menjadi cermin utama. Kita semua tahu bahwa sebuah situs dapat memiliki banyak alamat. URL situs mungkin atau mungkin tidak menggunakan awalan WWW, atau situs mungkin memiliki beberapa nama domain, misalnya, domain.ru, domain.com, domen.ru, www.domen.ru. Dalam kasus seperti itu, kami memberi tahu mesin pencari di file robots.txt menggunakan perintah host yang mana dari nama-nama ini yang utama. Nilai direktif adalah nama cermin utama itu sendiri. Mari kita beri contoh. Kami memiliki beberapa nama domain (domain.ru, domain.com, domen.ru, www.domen.ru) dan semuanya mengarahkan pengunjung ke situs www.domen.ru, entri dalam file robots.txt akan terlihat seperti ini :

Agen pengguna: *
Tuan rumah: www.domen.ru

Jika Anda ingin mirror utama Anda tanpa awalan (WWW), maka, karenanya, Anda harus menentukan nama situs tanpa awalan di direktif.

Arahan HOST memecahkan masalah halaman duplikat, yang sangat sering dihadapi oleh master WEB dan spesialis SEO. Oleh karena itu, arahan HOST harus digunakan jika Anda menargetkan segmen berbahasa Rusia dan penting bagi Anda untuk menentukan peringkat situs Anda di mesin pencari Yandex. Mari kita ulangi, untuk hari ini hanya Yandex yang mengumumkan telah membaca arahan ini. Untuk menentukan cermin utama di mesin pencari lain, Anda harus menggunakan pengaturan di kabinet master WEB. Jangan lupa bahwa nama cermin utama harus ditentukan dengan benar (ejaan yang benar, kepatuhan terhadap pengkodean dan sintaks file robots.txt). Direktif ini hanya diperbolehkan sekali dalam sebuah file. Jika Anda memasukkannya beberapa kali karena kesalahan, maka robot hanya akan memperhitungkan kemunculan pertama.

Arahan crawl-delay

Arahan ini bersifat teknis, perintah untuk mencari robot seberapa sering mengunjungi situs Anda. Lebih tepatnya, arahan Penundaan perayapan menentukan interval minimum antara kunjungan ke situs Anda oleh robot (perayap mesin telusur). Mengapa menentukan aturan ini? Jika robot sangat sering datang kepada Anda, dan informasi baru di situs lebih jarang muncul, maka seiring waktu, mesin pencari akan terbiasa dengan perubahan informasi yang jarang terjadi di situs Anda dan akan mengunjungi Anda lebih jarang daripada yang Anda inginkan. Ini adalah argumen pencarian untuk menggunakan direktif "Crawl-delay". Sekarang untuk argumen teknis. Kunjungan yang terlalu sering ke situs Anda oleh robot membuat beban tambahan di server, yang tidak Anda perlukan sama sekali. Lebih baik untuk menentukan bilangan bulat sebagai nilai direktif, tetapi sekarang beberapa robot telah belajar membaca bilangan pecahan juga. Waktu ditunjukkan dalam detik, misalnya:

Agen pengguna: Yandex
Perayapan-penundaan: 5.5

Arahan param bersih

Arahan "Clean-param" opsional menginstruksikan crawler pada parameter alamat situs yang tidak perlu diindeks dan harus diperlakukan sebagai URL yang sama. Misalnya, Anda memiliki halaman yang sama yang ditampilkan di alamat berbeda yang berbeda dalam satu atau beberapa parameter:

www.domain.zone/folder/page/
www.domain.zone/index.php?folder=folder&page=page1/
www.domain.zone/ index.php? folder = 1 & halaman = 1

Bot pencarian akan merayapi semua halaman yang serupa dan melihat bahwa halaman tersebut sama, berisi konten yang sama. Pertama, itu akan membuat kebingungan dalam struktur situs saat pengindeksan. Kedua, beban tambahan pada server akan meningkat. Ketiga, kecepatan pemindaian akan turun secara nyata. Untuk menghindari masalah ini, direktif "Clean-param" digunakan. Sintaksnya adalah sebagai berikut:

Bersih-param: param1 [& param2 & param3 & param4 & ... & param * N] [Jalur]

Arahan "Clean-param", seperti "Host", tidak dibaca oleh semua mesin pencari. Tapi Yandex memahaminya.

Kesalahan umum di robots.txt

File robots.txt tidak berada di root situs

Robot. txt harus ditempatkan di root situs, hanya di direktori root... Semua file lain dengan nama yang sama, tetapi terletak di folder lain (direktori) diabaikan oleh mesin pencari.

Kesalahan nama file robots.txt

Nama file ditulis dengan huruf kecil (huruf kecil) dan harus diberi nama robot.txt... Semua opsi lain dianggap salah dan mesin pencari akan memberi tahu Anda bahwa file tersebut hilang. Kesalahan umum terlihat seperti ini:

ROBOTS.txt
Robots.txt
robot.txt

Menggunakan karakter yang tidak valid di robot.txt

File robots.txt harus dienkode ANSI dan hanya berisi karakter Latin. Penulisan arahan dan artinya dengan karakter nasional lainnya tidak dapat diterima, kecuali untuk isi komentar.

Kesalahan sintaks robots.txt

Ikuti dengan ketat aturan sintaks di file robots.txt Anda. Kesalahan sintaks dapat menyebabkan mesin pencari mengabaikan isi seluruh file.

Mencantumkan beberapa robot dalam satu baris di direktif User-agent

Kesalahan yang sering dilakukan oleh para master WEB pemula, bukan karena kemalasan mereka sendiri, bukan membagi file robots.txt menjadi beberapa bagian, tetapi menggabungkan perintah untuk beberapa mesin pencari dalam satu bagian, misalnya:

Agen-pengguna: Yandex, Googlebot, Bing

Untuk setiap mesin pencari, Anda perlu membuat bagian tersendiri, dengan mempertimbangkan arahan yang dibaca oleh mesin pencari ini. Pengecualian, dalam hal ini, adalah satu bagian untuk semua mesin telusur:

Agen-pengguna dengan nilai kosong

Direktif User-agent tidak boleh kosong. Hanya "Izinkan" dan "Larang" yang boleh kosong, dan kemudian mempertimbangkan fakta bahwa mereka mengubah nilainya. Menentukan direktif User-agent dengan nilai kosong adalah kesalahan besar.

Beberapa nilai dalam arahan Disallow

Kesalahan yang kurang umum, tetapi, bagaimanapun, dapat dilihat secara berkala di situs, ini adalah indikasi dari beberapa nilai dalam arahan Allow dan Disallow, misalnya:

Larang: / folder1 / folder2 / folder3

Larang: / folder1
Larang: / folder2
Larang: / folder3

Gagal memprioritaskan arahan di robots.txt

Kesalahan ini sudah dijelaskan di atas, tetapi untuk mengkonsolidasikan materi, kami akan mengulanginya. Sebelumnya, prioritas ditentukan oleh urutan arahan yang ditentukan. Mulai hari ini, aturan telah berubah, prioritas ditentukan oleh panjang antrean. Jika file berisi dua arahan yang saling eksklusif, Allow dan Disallow dengan konten yang sama, maka Allow akan diutamakan.

Mesin pencari dan robots.txt

Arahan dalam file robots.txt adalah rekomendasi untuk mesin pencari. Artinya, aturan membaca dapat diubah atau ditambah dari waktu ke waktu. Juga ingat bahwa setiap mesin pencari memperlakukan arahan file secara berbeda. Dan tidak semua arahan dibaca oleh masing-masing mesin pencari. Misalnya, hanya Yandex yang membaca arahan "Host" hari ini. Pada saat yang sama, Yandex tidak menjamin bahwa nama domain yang ditentukan sebagai cermin utama dalam arahan Host harus ditetapkan ke yang utama, tetapi mengklaim bahwa prioritas nama yang ditentukan dalam arahan akan diberikan.

Jika Anda memiliki sejumlah kecil aturan, maka Anda dapat membuat satu bagian untuk semua robot. Jika tidak, jangan malas, buat bagian terpisah untuk setiap mesin pencari yang Anda minati. Ini terutama berlaku untuk larangan jika Anda tidak ingin halaman tertentu ditemukan dalam pencarian.

Navigasi cepat di halaman ini:

Realitas modern adalah bahwa di Runet tidak ada situs yang menghargai diri sendiri yang dapat melakukannya tanpa file bernama robots.txt - bahkan jika Anda tidak memiliki apa pun untuk melarang pengindeksan (walaupun hampir setiap situs memiliki halaman teknis dan konten duplikat yang memerlukan penutupan dari pengindeksan), maka setidaknya itu pasti layak untuk meresepkan arahan dengan www dan tanpa www untuk Yandex - inilah aturan untuk menulis robots.txt, yang akan dibahas di bawah, berfungsi untuk ini.

Apa itu robots.txt?

File dengan nama ini berasal dari tahun 1994, ketika konsorsium W3C memutuskan untuk memperkenalkan standar seperti itu sehingga situs dapat menyediakan mesin pencari dengan instruksi pengindeksan.

File dengan nama ini harus disimpan di direktori root situs, menempatkannya di folder lain tidak diperbolehkan.

File melakukan fungsi-fungsi berikut:

1. melarang halaman atau grup halaman apa pun dari pengindeksan
2. memungkinkan halaman atau grup halaman apa pun untuk diindeks
3. memberi tahu robot Yandex mirror situs mana yang utama (dengan atau tanpa www)
4. menunjukkan lokasi file peta situs

Semua empat poin sangat penting untuk optimasi mesin pencari dari sebuah situs web. Melarang pengindeksan memungkinkan Anda untuk memblokir halaman dari pengindeksan yang berisi konten duplikat - misalnya, halaman tag, arsip, hasil pencarian, halaman yang dapat dicetak, dan sebagainya. Kehadiran konten duplikat (ketika teks yang sama, meskipun dalam ukuran beberapa kalimat, hadir pada dua halaman atau lebih) merupakan kerugian bagi situs di peringkat mesin pencari, jadi harus ada duplikat sesedikit mungkin.

Direktif allow tidak memiliki arti independen, karena secara default semua halaman sudah tersedia untuk pengindeksan. Ini bekerja bersama dengan disallow - ketika, misalnya, beberapa kategori benar-benar tertutup dari mesin pencari, tetapi Anda ingin membuka ini atau halaman terpisah di dalamnya.

Menunjuk ke cermin utama situs juga merupakan salah satu elemen terpenting dalam pengoptimalan: mesin pencari menganggap situs www.yoursite.ru dan yoursite.ru sebagai dua sumber daya yang berbeda, kecuali jika Anda secara langsung memberi tahu mereka sebaliknya. Akibatnya, ada penggandaan konten - munculnya duplikat, penurunan kekuatan tautan eksternal (tautan eksternal dapat ditempatkan baik dengan www dan tanpa www) dan akibatnya ini dapat menyebabkan peringkat yang lebih rendah di hasil pencarian.

Untuk Google, cermin utama terdaftar di alat Webmaster (http://www.google.ru/webmasters/), tetapi untuk Yandex, instruksi ini hanya dapat ditulis di robots.tht itu.

Menunjuk ke file xml dengan peta situs (misalnya - sitemap.xml) memungkinkan mesin pencari menemukan file ini.

Aturan spesifikasi agen pengguna

User-agent dalam hal ini adalah mesin pencari. Saat menulis instruksi, perlu untuk menunjukkan apakah mereka akan bertindak di semua mesin pencari (kemudian tanda bintang - * ditempelkan) atau apakah mereka dirancang untuk beberapa mesin pencari terpisah - misalnya, Yandex atau Google.

Untuk mengatur Agen-pengguna yang menunjukkan semua robot, tulis baris berikut di file Anda:

Agen pengguna: *

Untuk Yandex:

Agen pengguna: Yandex

Untuk Google:

Agen-pengguna: GoogleBot

Larang dan izinkan aturan

Pertama, perlu diperhatikan bahwa file robots.txt harus berisi setidaknya satu direktif disallow untuk validitasnya. Sekarang, mempertimbangkan penerapan arahan ini dengan contoh-contoh spesifik.

Dengan kode ini, Anda mengaktifkan pengindeksan semua halaman di situs:

Agen-pengguna: * Larang:

Dan melalui kode seperti itu, sebaliknya, semua halaman akan ditutup:

Agen-pengguna: * Larang: /

Untuk melarang pengindeksan direktori tertentu bernama folder, tentukan:

Agen-pengguna: * Larang: / folder

Anda juga dapat menggunakan tanda bintang untuk mengganti nama arbitrer:

Agen-pengguna: * Larang: * .php

Penting: tanda bintang menggantikan seluruh nama file, yaitu, Anda tidak dapat menentukan file * .php, Anda hanya dapat menentukan * .php (tetapi semua halaman dengan ekstensi .php akan dilarang, untuk menghindari ini Anda dapat menentukan halaman tertentu alamat).

Direktif allow , seperti yang disebutkan di atas, digunakan untuk membuat pengecualian di disallow (jika tidak, tidak masuk akal, karena halaman sudah terbuka secara default).

Misalnya, kami akan melarang pengindeksan halaman di folder arsip, tetapi biarkan halaman index.html dari direktori ini terbuka:

Izinkan: /archive/index.html Larang: / arsip /

Tentukan host dan peta situs

Tuan rumah adalah cermin utama situs (yaitu, nama domain ditambah www atau nama domain tanpa awalan ini). Tuan rumah ditentukan hanya untuk robot Yandex (dalam hal ini, harus ada setidaknya satu perintah larangan).

Untuk menentukan host robots.txt harus berisi entri berikut:

Agen-pengguna: Yandex Disallow: Host: www.yoursite.ru

Untuk peta situs, di robots.txt, peta situs ditunjukkan hanya dengan menulis path lengkap ke file terkait, yang menunjukkan nama domain:

Peta Situs: http: //situsanda.ru/sitemap.xml

Cara membuat peta situs untuk WordPress ditulis.

Contoh robots.txt untuk WordPress

Untuk wordpress, instruksi harus ditentukan sedemikian rupa untuk menutup semua direktori teknis (wp-admin, wp-include, dll.) untuk pengindeksan, serta halaman duplikat yang dibuat oleh tag, file rss, komentar, pencarian.

Sebagai contoh robots.txt untuk wordpress, Anda dapat mengambil file dari situs kami:

Agen-pengguna: Yandex Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / search Disallow: * / trackback Disallow: * / feed / Disallow: * / feed Disallow: * / comments / Disallow: /? feed = Disallow: /? s = Disallow: * / page / * Disallow: * / comment Disallow: * / tag / * Disallow: * / attachment / * Allow: / wp-content / uploads / Host: www..php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / search Disallow: * / trackback Disallow: * / feed / Disallow: * / feed Disallow: * / comments / Disallow: /? feed = Disallow: /? s = Disallow: * / page / * Disallow: * / comment Disallow: * / tag / * Disallow: * / attachment / * Allow: / wp -content / uploads / User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / search Disallow: * / trackback Disallow: * / feed / Disallow: * / feed Disallow: * / comments / Disallow: /? feed = Disallow: /? s = Disallow: * / page / * Disallow: * / comment Disallow: * / tag / * Disa llow: * / lampiran / * Izinkan: / wp-content / upload / Peta Situs: https: //www..xml

Anda dapat mengunduh file robots.txt dari situs web kami di.

Jika setelah membaca artikel ini Anda masih memiliki pertanyaan - tanyakan di komentar!