Şuan aynı sorunu bende yaşamaktayım. Hosting değiştirmiştim bot engeleme açıkmış onu kapattırdım fakat yine botlar siteye gelmiyor. Yandex webmaster tool u kullanıyorum botlar 403 hatası ile geri dönüyor. Herşeyi kontrol ettim noindex hatası verecek hiçbirşey bulamadım sitede fakat yinede botlar gelmiyor. Çözümünü bilen arkadaşlar varsa çok güzel olur.