Cara setting Robot Txt Blog SEO friendly (Blogspot dan Wordpress )

Konten [Tampil]

Oke, langsung saja .. kali ini saya akan menuliskan sebuah catatan pengaturan Tag robot txt blogger. Cara setting Robot txt blog agar lebih SEO friendly pastinya.

Blogspot (Blogger) merupakan platform yang cukup mudah ketika penggunanya ingin mengatur robot txt . Platform ini cukup banyak digunakan oleh blogger Indonesia maupun manca negara di belahan dunia.

Selain itu, tidak kalah menariknya WP. Pengguna wordpress juga tidak kalah banyaknya dipakai oleh pengembang website, personal blog. Platform ini di nilai memiliki banyak kelebihan, salah satunya plugin SEO nya.

Dalam konteks belajar SEO on page tidak bisa dilewatkan begitu saja terkait dengan pengaturan robot txt.

Ini mempengaruhi bot google ( Search engine ) melakukan Crawling , Indexing sebuah halaman website kamu.

Fungsi robot txt pada Blog Dan Website Untuk SEO.

Setting robot txt

Sebelum mengatur robot txt , kamu harus tau terlebih dulu fungsinya.

Ini erat sekali kaitannya dengan mempelajari SEO, meningkatkan blog dalam hasil pencarian google maupun "faktor penting blog ramai pengunjung".

Dalam hal ini sebagai webmaster harus bisa memaksimalkan semua lini optimasi website agar dapat merangking blognya.

Tentu salah satu parameter kesuksesan optimasi SEO adalah dengan adanya trafik, pengunjung website banyak.

Dalam hal ini salah satunya mengatur robot txt supaya lebih SEO friendly. Baik pengguna platform blogger / blogspot maupun CMS lain seperti wordpress.

Meskipun tanpa optimasi SEO  sering robot txt setiap web bisa di akses sama seseorang. Tetapi banyak hal yang perlu di maksimalkan supaya mampu nangkring di pencarian halaman pertama.

Baca juga : Cara memperbaiki breadcrumb error

Apa itu robot txt ?

Robot txt adalah file yang berisi instruksi atau perintah dasar perayapan bot search engine untuk crawl halaman yang terdapat pada website maupun blog.

Hal ini bertujuan dilakukan optimasi yakni supaya menjadi lebih SEO friendly. Tetapi harus dilakukan secara benar, pasalnya sisi lain dapat kesalahan setting bisa berdampak buruk apabila salah dalam mengatur robot txt sebuah website.

Secara pengertian robot txt dapat diatur / memerintah crawl bot search engine dan mengarahkan halaman mana saja yang tidak boleh di index, contoh halaman admin. Atau ketentuan lain yang di sesuaikan oleh keinginan pemilik website.

Secara umum Bagan dalam sebuah website biasanya , file admin , halaman , isi artikel. Dan jenis lain yang merupakan isi konten website .

Dari berbagai isi dalam sebuah website dapat disesuaikan, mana yang boleh di rayapi, atau siapa yang boleh merayapi.

Berkaitan dengan fungsi robot txt website, mengapa seorang webmaster harus menggunakanya.. ? Terjawab sudah .

Jadi dapat di simpulkan bahwa fungsi robot txt adalah :

  • Mengarahkan spider web merayapi halaman, dan memerintahkan untuk index dan no index.
  • Membatasi dan mengontrol akses , blokir halaman konten supaya tidak diakses dan terindex pada mesin telusur (Google ,Bing, yandex).
  • Memberikan informasi penting yang menjadi perintah bot search engine.

Itulah gambaran umum terkait fungsi robot txt.

Baca juga: Cara membuat halaman sitemap Blogger

Mengenal Perintah dasar robot txt.

Tahap berikutnya adalah mengenal perintah atau sintaks yang digunakan pada penggunaan saat akan setting robot txt wordpress maupun blogger.

Secara umum semua website menggunakan perintah dasar berikut.

User-agent :

Allow :

Disallow :

Sitemap :

Dari sintaks diatas merupakan pondasi awal sebuah perintah yang dapat dimengerti spider web mesin telusur dan akan di jadikan sebuah landasan instruksi.

Contoh apabila akan melarang bot untuk Crawling seluruh isi dari situs , maka pengaturan robot txt nya sebagai berikut.

User-agent: * Disallow: /

Dalam penggunaan perintah tersebut dalam beberapa situasi situs masih dapat terindeks , meskipun belum dilakukan crawl. Aturan tersebut tidak cocok dengan bot crawl adsbot.

Jadi jika kita pahami perintah dasar dari fungsi sintaks penulisan robot txt sebagai berikut:

User-agent : / Adalah jenis bot yang akan di klasifikasikan. Yakni bisa menjadi lebih spesifik dengan menampilkan jenisnya sepeti , mediapatner , dll.

Allow : Merupakan pernyataan memperbolehkan perayapan terhadap halaman atau sisi website.

Disallow : adalah perintah yang menyatakan larangan diratapi. Dalam hal ini penggunanya dapat menunjuk halaman mana yang tidak di perbolehkan.

Site : Merupakan pernyataan dari situs yang menggunakan perintah diatas.

Jadi harus paham terkait dasar dari perintah robot txt . nah pada artikel belajar SEO pemula ini saya akan bahas secara detail. Sehingga kamu tidak salah melangkah dalam mempelajari SEO dalam pengaturan robot txt.

Disini kamu bisa mengerti cara setting robot, memahami isi dan perintah dari sintax file robot txt serta cara menerapkan langsung pada sebuah website.

Cara setting robot txt.

Ada 3 jenis platform situs atau framework yang umum digunakan oleh pengelola website. Dan pembahasan menerapkan robot txt ini tidak terpaut hanya pengguna blogspot saja, atau wordpress  melainkan saya akan ulas penerapannya ke semua platform.

Apa saja, iya umumnya pengguna blogger, wordpress dan native blog atau sebuah website yang di bangun menggunakan bahasa pemrograman secara native. Sebut saja seperti memakai PHP, html , atau frame work Code igniter, dan lain sebagainya.

1. Setting robot txt blogger.

Langkah berikut nya adalah menerapkan atau mengaplikasikannya di sebuah blog. Pada saat anda ingin menjadi blogger sukses dan memiliki banyak pengunjung, tidak dapat di hindari mempelajari SEO.

Setting robot txt merupakan bagian dari teknik SEO on page. Jika kamu pengguna platform blogspot ,sebenarnya sudah ada terdapat robot txt yang secara otomatis tertanam didalamnya.

Yakni default, namun agar lebih optimal lagi perlu setting ulang. Bagaimana caranya, berikut langkah setting tag robot txt blogger.

  • Pertama silahkan login ke dasbor blog kalian , kemudian gulir kebawah pilih "Settings" >> "Search preference".
  • Berikutnya untuk mengaktifkan custom robot txt ,silahkan pilih edit, dan "Yes" seperti gambar di bawah.
  • Berikutnya isikan sintak, seperti contoh di bawah.

 User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap:https://www.ime.my.id/feeds/posts/default?orderby=UPDATED

  • Kemudian pilih,save changes ,selesai.

Bagian sitemap, isi sesuai alamat website anda.

Baca juga: Cara optimasi Featured Snippet pencarian google.

2. Setting robot txt WP.

Dan yang kedua adalah menerapkan setting robot txt pada platform WordPress. Menjadi salah satu platform yang memiliki banyak pengguna dan mudah dalam mengoptimasi SEO on pages karena dukungan berbagai plugin.

File robot txt pada umunya di simpan pada directory root pada sebuah hosting. Dalam bentuk sederhana nya di simpan pada folder "Public " .

Membuat robot txt pada WordPress biasanya sintax nya seperti di bawah.

 User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://www.webanda.com/sitemap_index.xml

Jika di baca format diatas artinya mengizinkan semua spider bot untuk merayapi situs yang ada pada wp-content / upload/ yang sesuai pada sitemap.

Sedangkan bot dilarang merayapi dan mengindeks pada folder plugin dan wp-admin.

Itulah bentuk sederhana dalam penerapan robot txt pada WordPress, namun saya rekomendasikan menggunakan seperti dibawah.

 User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.webanda.com/post-sitemap.xml

Sitemap: http://www.webanda.com/page-sitemap.xml

 Berdasarkan sintak tersebut yakni menginstruksikan robot untuk merayapi dan mengindeks semua file dan gambar supaya bisa masuk dalam pencarian google (Mesin pencari).

Selain itu melarang merayapi dan mengindeks pada folder wp-admin,readme.html,dan folder refer.

Dan berikut cara buat robot txt WP 

  1. Pertama silahkan install plugin Yoast SEO.
  2. Setelah terinstall ,silahkan menuju Tools setelah terinstall kemudian pilih "SEO >> tools ". Pada halaman tersebut kamu bisa dapat menggunakan pilihan "File editor".
  3. Berikutnya ke tahap membuat file dengan pilih "Create a new robot.txt" . Pada halaman ini kamu bisa masukan setelan robot txt seperti contoh diatas, lalu simpan.

Itulah cara pertama dalam mengatur dan membuat robot txt pada platform WordPress. Nah cara kedua dapat mengikuti instruksi seperti di bawah.


3. Setting robot txt website / native.

Cara yang ketiga bisa di terapkan pada webmaster yang sedang mengembangkan website dengan native programing.

Secara konsep setelan penggunan sama dengan robot txt diatas. Yakni dengan memahami sintax dan perintah. Langkahnya mudah.

Pertama buka notepad pada komputer, kemudian tuliskan isi robot txt yang akan kamu sesuaikan dengan karakter website.  Mulai dari menentukan halaman yang boleh di rayapi dan tidak boleh, menetapkan folder yang tidak perbolehkan untuk di index serta mengarahkan peta situs.

Setelah itu simpan file , dan beri nama  "Robot.txt" , selanjutnya upload di directory root web ada.

Itulah tutorial lengkap tentang cara membuat robot txt pada blogspot, wordpress maupun website lainya. Semoga bermanfaat.

Belum ada Komentar untuk " Cara setting Robot Txt Blog SEO friendly (Blogspot dan Wordpress )"

Posting Komentar

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel

Hello!

Silahkan Tanyakan Dulu, GRATIS

CS Website Pelayanan Order Web
6283837068818
CS SEO Pelayan Order SEO
6283837068818
Call us to +6283837068818 from 0:00hs a 24:00hs
Apa yang Bisa kami Bantu
×
How can I help you?