ads.txt ekli mi sitenizde? Ben ekleyip denediğimde bir türlü erişemiyordu bot. Sebebi cloudlfare kullanmam ile alakalı imiş. CF botları ve birçok bu tür taramayı engelliyormuş. Bu durumda bot bir şeye erişemediği zaman hemen kırılıma geçiyor ve red veriyor. CF kullananlar için güvenlik ayarlarını tekrar gözden geçirmenizi tavsiye ederim.