Trik Cara Setting Robots.txt Blogger Sesuai Aturan

Salah satu usaha membuat blog lebih SEO Friendly yaitu dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada blog kita.

Apa itu Robots.txt?

Adalah protokol untuk memberitahu tentang akses halaman di blog atau website. Dikenal juga dengan sebutan robot protokol pengecualian, web spiders, robot crawlers, atau web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Baca selengkapnya → tentang mempelajari file robots.txt.

Halaman yang tidak ditampilkan Blogspot

Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai 'kekuatan' dari segi SEO Friendly. URL Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogger namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa dikucilkan di mesin pencari yaitu :
1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly.
https://fromsunda.eu.org/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly
2. Halaman URL arsip
https://fromsunda.eu.org/2024/7 - Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools
3. Halaman pencarian
https://fromsunda.eu.org/search?cof=FORID%3A10&ie=ISO-8859-1&q=seo - halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog.
4. Halaman Privacy blog
→ Disclaimer
→ Term of service
→ Term of Use
Biasanya halaman tersebut di atas tidak diikutsertakan dalam hasil pencarian karena menyangkut privasi blog tersebut.

Bisakah Robots.txt mengaturnya?

Bisa saja, karena robots.txt dirancang untuk tujuan itu juga. Selain menggunakan robots.txt pengaturan atau setting robot googlebot dapat menggunakan meta tag. Misalnya blog yang sudah didaftarkan di mesin pencari google tapi tidak ingin diikutsertakan dalam pencarian, kode meta tag-nya yaitu :
<meta content='noindex, nofollow name='robots'/>
<meta content='noindex' name='googlebot-image'/>
Penjelasannya agar robots tidak boleh merayapi dan menelusuri semua konten blog (kode pertama). Sedangkan untuk kode yang kedua agar semua gambar di dalam blog tidak diikut sertakan dalam hasil pencarian google.

Bagamana Cara Setting Robots.txt Blogger

Untuk trik pengaturannya pada bagian menu setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :

User-agent: Mediapartners-Google ← robots tag Google

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 

User-agent: * ← robots agen

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 



Sitemap: http://fromsunda.eu.org/sitemap.xml ← Sitemap standar blogger

Untuk cara setting robots.txt bloggerLihat → pengaturannya sperti blog kami ini https://fromsunda.eu.org/robots.txt

Bagaimana mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan blog ke Google Webmaster Tools sekarang Search Console, terdapat menu untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl situs kita. Itulah sedikit artikel tentang trik setting robots.txt di blogger dan cara setting custom robot.txt agar lebih SEO Friendly. Ada pertanyaan tentang custom robots.txt di blogger serta pengaturannya? silakan ajukan di kolom komentar dengan bahasa sopan, singkat dan mudah dipahami. Untuk artikel selanjutnya yaitu cara setting tag tajuk khusus robot header blogspot.