Sitemi google bot dışında hiç bir böcüğün gezmesini istemiyorum.
Nasıl yapabilirim acaba?
bu işinize yarıyabilir robots.txt dosyasına koyorsunuz
User-agent: msnbot
Disallow: /
ayrıntılar burda
Site Sahibi Yardımı: Web sitenizdeki hangi sayfaların dizine alınacaÄını denetleme