Bazı hosting firmaları yandex iplerini blokluyor. Siz hangi firmada barındırıyorsunuz? Örümcekleri serverları çok yorduğu için böyle bir çözüm bulmuşlar ki çok mantıksız ama büyük ihtimalle sebep budur.