Google bot isteklerini önlemesi sunucu ile alakalı olduğunu düşünmüyorum sayın hocam.Bazı atladığınız noktalar olabilir veya şöyle birşey olabilir sunucuda yasak bi site vardır ondan dolayı mass engel yemiş olabilirsiniz.
ama yasaklı olsa uyarı gelir siteniz dizine eklenemez diyor sebep olarak robots.txt engelli diyor bakıyorum sorun yok hatta 1 hafta boyunca robots.txt ve wordpress htaccess sildim ama gene olmadı. 2 si
tem burda barınıyor 1 taşıdım ertesi gün sıkıntısız index aldı ve dizine ekledi