Webmaster tool'dan google bot gibi getir seçeneğini kullan istersen, wordpress kullanıyorsan sitemap ayarlarında botlar ne zaman gelsin gibisinden bir seçenek var oradaki kısımları incele istersen.