Cara Mengetahui settingan Robots.txt yang digunakan oleh Blog SEO

blogger seo short code tutorial


Robots.txt adalah kode yang berguna untuk mengendalikan halaman-halaman tertentu agar tidak diindeks oleh sebuah mesin pencari. Penemu Robots.txt sendiri adalah Martijn Koster, saat ia bekerja di WebCrawler pada tahun 1994.

Nah seperti pernyataan di atas, dalam pengertian yang lebih sederhananya, robots.txt adalah ketentuan dari pemilik situs untuk mencegah mesin pencari menelusuri laman atau bagian tertentu dari situsnya.

Saya sendiri baru beberapa hari yang lalu mengerti apa itu Robots.txt. Dan sempat dibingungkan oleh hal tersebut. Saya sempat searching mengunjungi blog-blog yang sudah terkenal yang di dalamnya ada artikel tentang cara setting robots.txt. Sebagian besar, settingan yang mereka gunakan itu sama, namun menurut saya terlalu berbelit-belit. 

Kurang lebih, settingan robots.txt yang dishare oleh situs-situs terkenal di artikelnya itu seperti ini :

User-agent: *

Disallow:

User-agent: Mediapartners-Google

Disallow:User-agent: * Disallow: /search

Sitemap: http://www.namablog.blogspot.com/feeds/posts/default?orderby=UPDATED

Allow: /

Sitemap: https://www.namablog.blogspot.com/feeds/posts/default?orderby=UPDATED

ada juga yang seperti ini :
User-agent: 
Mediapartners-Google 
Disallow: User-agent: Googlebot Disallow: /search 
Disallow: /?m=1 
Disallow: /?m=0 
Disallow: /*?m=1 
Disallow: /*?m=0 User-agent: * 
Disallow: /search 
Sitemap: http://www.masyadi.com/feeds/posts/defaultorderby=UPDATED

Alasan mereka memilih settingan tersebut katanya agar mesin pencari tidak terlalu boros untuk mengindeks laman-laman yang tidak penting dalam situs kita. Saya yang baru mengerti tentang robots.txt pun tak ketinggalan untuk mencobanya. Namun yang saya rasakan setelah beberapa hari menggunakan robots.txt tak ada perubahan yang signifikan pada blog saya. Hasil penelusuran situs saya di google masih sama seperti biasanya.
Sampai akhirnya saya menemukan Cara Mengetahui Settingan Robots.txt yang digunakan oleh Situs orang lain. Caranya sangat mudah sekali, Anda hanya perlu menambahkan ‘Robots.txt’ di belakang Url Situs yang ingin Anda ketahui settingan robots.txtnya.
Sebagai contoh, saya akan coba mengetahui Robots.txt yang digunakan oleh situs masyadi.com. Disitus tersebut lah saya menemukan artikel tentang cara setting robots.txt yang lumayan ribet dan panjang. Namun kagetnya saya, ketika coba cek robots.txtnya blog tersebut berbeda dengan yang di share di artikelnya dan jauh lebih simpel, Berikut saya berikan contoh Cara Mengetahui Settingan Robots.txt yang digunakan oleh blog orang lain
  1. Cari nama situs yang ingin Anda ketahui settingan robots.txt nya, contohnya masyadi.com

  2. Nah sekarang, diURL blog, tambahkan /robots.txt setelah nama blog yang ingin anda ketahui robots.txtnya. sehingga Untuk blog masyadi.com menjadi masyadi.com/robots.txt. lalu tekan Enter.

  3. Nah ketemu kan settingan robots.txt nya? sekarang kita bandingin, bedanya sama settingan robots.txt yang blog masyadi.com share di artikelnya.

  4. Jelas bukan? ternyata walaupun blog masyadi.com share tentang cara settingan robots.txt yang baik untuk blog, ternyata blognya sendiripun tidak menggunakan settingan tersebut dan lebih memilih untuk menggunakan yang lebih simpel.
Nah itu dia cara mengetahui settingan robots.txt yang digunakan oleh Blog SEO. Jadi untuk kalian yang masih bingung cara setting robots.txt ga perlu bingung lagi, kalian tinggal cari dan pilih situs mana yang menurut kalian tampil baik ketika tampil di hasil penelusuran. dan intip deh settingan robots.txt nya, lalu tinggal terapkan ke blog kalian masing-masing ya, hehe. Cukup sekian untuk artikel kali ini tentang Cara Mengetahui Settingan Robots.txt yang digunakanoleh Blog SEO. Jangan lupa share artikel ini jika bermanfaat. Terima kasih.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *