Custom Robots.txt, yang berarti dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial ini membahas tentang istilah ini dalam penggunaan dan manfaat. Saya juga akan memberitahu Anda, bagaimana untuk menambahkan file kustom robots.txt di blogger.
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana . Disimpan di website atau server blog yang menginstruksikan web crawler bagaimana untuk indeks dan merangkak blog Anda dalam hasil pencarian . Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler, sehingga tidak bisa diindeks di mesin pencari seperti halaman label blog Anda , halaman demo Anda atau halaman lain yang tidak begitu penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.
Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini
Penjelasan :
Kode ini dibagi menjadi tiga bagian
1. User-agent : Mediapartners – Google kode ini adalah untuk robot Google Adsense yang membantu melayani iklan yang lebih baik di blog Anda
2. User-agent : * ini adalah untuk semua robot yang ditandai dengan tanda bintang ( * ) . Dalam pengaturan default blog kita link label dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks link halaman label karena di bawah kode
3. Disallow: / search itu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan . Lihat di bawah contoh yang merupakan link halaman label bernama SEO .
http:// www.tutorandtech.com /search/label/SEO
Dan jika menghapus Disallow : / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web .
Allow the following: / mengacu pada Homepage yang berarti web crawler bisa merangkak dan indeks homepage blog kita .
Mencegah Pos khusus
Sekarang jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan kode.
Disallow : / tttt / bb / post - url.html
Berikut yyyy mm dan mengacu pada tahun penerbitan dan bulan pos masing-masing. Sebagai contoh jika kita telah menerbitkan posting di tahun 2012 di bulan Maret maka kita harus menggunakan format yang di bawah .
Disallow : / 2012/03/post-url.html
Untuk memudahkan , Anda hanya dapat menyalin URL Pos dan menghapus nama blog dari awal . Jika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog yang terlihat seperti ini :
Disallow : / p / halaman - url.html
Sitemap : http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita . Dengan menambahkan link sitemap di sini kita hanya mengoptimalkan tingkat perayapan blog kita . Berarti setiap kali web crawler memindai file robots.txt akan menemukan jalan untuk sitemap di mana semua link dari postingan kita dipublikasikan. Web crawler akan merasa mudah untuk menjelajah semua postingan kita . Oleh karena itu , ada kemungkinan lebih baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun .
Catatan : sitemap ini hanya akan memberitahu crawler web tentang baru 25 posting . Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap standar. Ini akan bekerja untuk 500 posting terbaru pertama
Sitemap : http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 tulisan yang diterbitkan di blog Anda, maka dapat menggunakan dua Sitemaps seperti di bawah ini :
Sitemap : http://www.adsnetworkreviews.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap : http://www.adsnetworkreviews.com/atom.xml?redirect=false&start-index=500&max-results=1000
Menambahkan Kustom robots.txt untuk Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan custom robots.txt di blogger . Di bawah ini langkah-langkah untuk menambahkannya .
• Login ke blog blogger Anda
• Arahkan ke Settings > Preferensi Pencarian > crawler dan pengindeksan > Custom robots.txt > Sunting > Yes
• Sekarang paste kode file robots.txt Anda dalam kotak dengan kode yang ke dua
• Contoh dibawah ini
• Ganti http://www.tutorandtech.com dengan alamat url Blog Anda.
• Klik tombol Save Changes .
Periksa file Robots.txt, Anda dapat memeriksa file ini di blog Anda dengan menambahkan / robots.txt di akhir URL blog Anda di browser . Lihatlah contoh di bawah ini.
http://www.tutorandtech.com/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file Custom robots.txt Anda .
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana . Disimpan di website atau server blog yang menginstruksikan web crawler bagaimana untuk indeks dan merangkak blog Anda dalam hasil pencarian . Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler, sehingga tidak bisa diindeks di mesin pencari seperti halaman label blog Anda , halaman demo Anda atau halaman lain yang tidak begitu penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.
Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini
User-agent : Mediapartners - Google
Disallow :
User-agent : *
Disallow: / search
Allow : /
Sitemap : http://www.tutorandtech.com/feeds/posts/default?orderby=UPDATED
Disallow :
User-agent : *
Disallow: / search
Allow : /
Sitemap : http://www.tutorandtech.com/feeds/posts/default?orderby=UPDATED
Penjelasan :
Kode ini dibagi menjadi tiga bagian
1. User-agent : Mediapartners – Google kode ini adalah untuk robot Google Adsense yang membantu melayani iklan yang lebih baik di blog Anda
2. User-agent : * ini adalah untuk semua robot yang ditandai dengan tanda bintang ( * ) . Dalam pengaturan default blog kita link label dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks link halaman label karena di bawah kode
3. Disallow: / search itu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan . Lihat di bawah contoh yang merupakan link halaman label bernama SEO .
http:// www.tutorandtech.com /search/label/SEO
Dan jika menghapus Disallow : / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web .
Allow the following: / mengacu pada Homepage yang berarti web crawler bisa merangkak dan indeks homepage blog kita .
Mencegah Pos khusus
Sekarang jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan kode.
Disallow : / tttt / bb / post - url.html
Berikut yyyy mm dan mengacu pada tahun penerbitan dan bulan pos masing-masing. Sebagai contoh jika kita telah menerbitkan posting di tahun 2012 di bulan Maret maka kita harus menggunakan format yang di bawah .
Disallow : / 2012/03/post-url.html
Untuk memudahkan , Anda hanya dapat menyalin URL Pos dan menghapus nama blog dari awal . Jika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog yang terlihat seperti ini :
Disallow : / p / halaman - url.html
Sitemap : http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita . Dengan menambahkan link sitemap di sini kita hanya mengoptimalkan tingkat perayapan blog kita . Berarti setiap kali web crawler memindai file robots.txt akan menemukan jalan untuk sitemap di mana semua link dari postingan kita dipublikasikan. Web crawler akan merasa mudah untuk menjelajah semua postingan kita . Oleh karena itu , ada kemungkinan lebih baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun .
Catatan : sitemap ini hanya akan memberitahu crawler web tentang baru 25 posting . Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap standar. Ini akan bekerja untuk 500 posting terbaru pertama
Sitemap : http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 tulisan yang diterbitkan di blog Anda, maka dapat menggunakan dua Sitemaps seperti di bawah ini :
Sitemap : http://www.adsnetworkreviews.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap : http://www.adsnetworkreviews.com/atom.xml?redirect=false&start-index=500&max-results=1000
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan custom robots.txt di blogger . Di bawah ini langkah-langkah untuk menambahkannya .
• Login ke blog blogger Anda
• Arahkan ke Settings > Preferensi Pencarian > crawler dan pengindeksan > Custom robots.txt > Sunting > Yes
• Sekarang paste kode file robots.txt Anda dalam kotak dengan kode yang ke dua
• Contoh dibawah ini
User-agent : *
Disallow: / search
Allow : /
Sitemap : http://www.tutorandtech.com/feeds/posts/default?orderby=UPDATED
Disallow: / search
Allow : /
Sitemap : http://www.tutorandtech.com/feeds/posts/default?orderby=UPDATED
• Ganti http://www.tutorandtech.com dengan alamat url Blog Anda.
• Klik tombol Save Changes .
Periksa file Robots.txt, Anda dapat memeriksa file ini di blog Anda dengan menambahkan / robots.txt di akhir URL blog Anda di browser . Lihatlah contoh di bawah ini.
http://www.tutorandtech.com/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file Custom robots.txt Anda .
0 Response to "Cara Menambahkan file Robots.txt di Blogspot"
Posting Komentar