Status Halaman Dikecualikan – Webmaster

Apakah kamu selama memposting Artikel selalu tanpa mengalami kendala, atau anda pernah mendapatkan pemberitahuan yang tentang Halaman anda yang dikecualikan.
Artikel ini saya tulis berdasarkan pengalaman yang pernah saya alami baru-baru ini

Dari laporan perayapan(crawling) yang saya terima dari Google Webmaster, saya yang baru pertama kali mendapat pemberitahuan ini agak bingung. Kok ada 3 halaman situs saya yang dikecualikan.
Setelah saya teliti lebih lanjut detailnya, terdapat 3 Jenis Masalah: yaitu.

• Anomali Crawling
• Di-crawl – saat ini tidak diindeks
• Diblokir oleh robot.txt

Saat itu juga saya langsung mencari tahu apa penyebab masalah tersebut muncul. Setelah itu saya paham penyebabnya.

Pada masalah pemberitahuan Anomali Crawling, ini muncul setelah Crawler Google atau Googlebot menelusuri halaman situs yang pernah di index tersebut hilang atau page not found, namun halaman tersebut masih muncul di mesin pencari walau link tersebut sudah dihapus.

Di-crawl – saat ini tidak diindeks tenyata bisa dikarenakan saya iseng mencoba memeriksa URL artikel saya yang telah terindex atau belum. Lalu saya mencoba untuk mengindex url feed blog saya, memang bisa namun alhasil seperti ini, bisa Dirayapi namun tidak akan muncul pada hasil penelusuran.

Diblokir oleh robot.txt. ini disebabkan oleh masalah karena URL yang dicoba telusuri oleh googlebot itu tidak boleh dicrawl alias noindex, walau saya tidak pernah Mengatur bagian file Robot.txt.

Kesimpulan yang dapat saya berikan adalah, Pemberitahuan tersebut tidak mengganggu proses index situs anda, karena URL yang terkena masalah ini dikarenakan hilang atau rusak.
Ini saja informasi yang dapat saya berikan setelah saya baca thread orang orang.

Baca Juga