Özellikle bir kaç eğitim videosu ve kaynak taradıktan sonra yapmıştım ancak tekrardan bir gözden geçirebilirim sanırım.



Benzer şekilde Google çok fazla bot gönderdiğinde onları atak olarak algılayıp ( en agresif koruma planında ) hepsini blokluyordu. Hatta adsense sürekli olarak robots.txt ' ye ulaşamadığını söylüyordu. Hafif hafif esnete esnete adsense kodlarına ulaşımını sağladım ama hitler bariz düştü. Botuyla örümceğiyle Google kabulüm