Wordpress kullanan arkadaşlar için Wassup eklentisini öneririm. Tüm arama motorlarınn botlarını oradan takip edebilir hangi sayfayı gezdiğini görebilirsiniz.