Lompat ke konten Lompat ke sidebar Lompat ke footer

Pentingnya Robots.txt dan Peta Situs

 

Pentingnya Robots.txt dan Peta Situs

Robots.txt:

Robots.txt atau robots exception protocol (REP) adalah file teks (bukan HTML) yang Anda tempatkan di situs Anda untuk memberi tahu Perayap Mesin Pencari atau laba-laba Web bahwa halaman mana yang Anda tidak ingin mereka kunjungi. Fakta bahwa Anda meletakkan file robots.txt di situs web Anda adalah seperti meletakkan catatan "Tolong, jangan masuk" di pintu yang tidak terkunci.

Lokasi robots.txt sangat penting. Itu harus di direktori utama karena jika tidak, pengguna (mesin pencari) tidak akan dapat menemukannya.

Misalnya, pengguna ingin mengunjungi URL Situs Web seperti

http://www.example.com/welcome.html .

Sebelum melakukannya, ia terlebih dahulu memeriksa

http://www.example.com/robots.txt   dan menemukan:

Agen pengguna: *

Larang: /

"Agen pengguna: *" berarti bagian ini berlaku untuk semua pengguna.

"Disallow: /" memberi tahu pengguna bahwa tidak boleh mengunjungi halaman apa pun di situs.

Bagaimana cara membuat file /robots.txt ?

Di mana harus meletakkannya ?

Jawaban singkatnya: Di direktori tingkat atas server web Anda.

Jawaban yang lebih panjang:

Saat robot mencari file “/robots.txt” untuk URL, robot akan menghapus komponen jalur dari URL (semuanya dari garis miring pertama) dan menempatkan “/robots.txt” di tempatnya.

Misalnya, untuk “http://www.example.com/shop/index.html, itu akan menghapus “/shop/index.html”, dan menggantinya dengan “/robots.txt”, dan akan berakhir dengan “http://www.example.com/robots.txt”.

 

Peta Situs:

Peta situs adalah file tempat Anda dapat mencantumkan halaman web situs Anda untuk memberi tahu Google dan mesin telusur lainnya tentang organisasi konten situs Anda. Ini dapat berupa dokumen dalam bentuk apa pun yang digunakan sebagai alat perencanaan untuk desain Web atau halaman Web yang mencantumkan halaman di situs web. Perayap web mesin telusur seperti Googlebot membaca file ini untuk merayapi situs Anda dengan lebih cerdas.

Peta Situs sangat penting untuk SEO beranda Anda. Setelah Anda selesai membuat peta situs, Anda disarankan untuk mengirimkannya ke alat webmaster Google sehingga Google dapat merayapi peta situs Anda.

Ada dua versi Peta Situs yang berbeda

  1. peta situs XML
  2. peta situs HTML

peta situs XML:

Peta situs XML adalah dokumen yang membantu Google dan mesin telusur utama lainnya lebih memahami situs web Anda saat merayapinya.

Membuat peta situs XML untuk situs web Anda adalah proses yang sederhana, dan ada banyak situs web yang dapat membantu Anda melakukannya. Google merekomendasikan menggunakan  http://xml-sitemaps.com

Masukkan nama situs web Anda lalu klik tombol mulai

Peta situs Anda sudah siap

 

Peta situs XML ditampilkan sebagai


Kemudian buka akun  Google Webmaster Anda  dan tambahkan URL peta situs Anda.

 

peta situs HTML:

Peta situs HTML dibuat dan tersedia untuk dilihat oleh pengunjung situs web untuk membantu mereka menavigasi situs web. Biasanya, mereka diatur dengan struktur linier yang menunjukkan hierarki situs dari halaman tingkat atas ke tingkat yang lebih rendah. Mereka menyediakan pengguna dengan sangat mudah untuk membaca garis besar konten, membuat navigasi mereka ke konten yang diinginkan lebih mudah.

Peta situs HTML ditampilkan sebagai

 

Berikut adalah alasan utama mengapa peta situs harus digunakan di setiap situs web:

  • Mengklarifikasi maksud dan tujuan situs web.
  • Menghindari duplikasi data.
  • Meminimalkan jumlah langkah yang diperlukan untuk berpindah dari satu halaman ke halaman lainnya.
  • Komunikasikan arsitektur dan hierarki situs web.

Singkatnya, baik peta situs HTML dan XML memiliki tujuan masing-masing. Tetapi juga bukan taktik tunggal yang mendorong kinerja SEO Anda ke tingkat yang lebih tinggi.

Posting Komentar untuk "Pentingnya Robots.txt dan Peta Situs"