Özellikle bir kaç eğitim videosu ve kaynak taradıktan sonra yapmıştım ancak tekrardan bir gözden geçirebilirim sanırım.
Benzer şekilde Google çok fazla bot gönderdiğinde onları atak olarak algılayıp ( en agresif koruma planında ) hepsini blokluyordu. Hatta adsense sürekli olarak robots.txt ' ye ulaşamadığını söylüyordu. Hafif hafif esnete esnete adsense kodlarına ulaşımını sağladım ama hitler bariz düştü. Botuyla örümceğiyle Google kabulüm
Birde bu durum var CF'de iken 3-5 günde 1 ads.txt bulunamadı hatası vermeye başladı aslında dosya vardı güncelle diyerek yeniden aktif ediyordum. CF'den çıkınca buda düzeldi. Dediğiniz sanırım google botlarını da acımıyor CF
