Arkadaşlar biliyorsunuz yahoo botları günde yüzlerce hatta binlerce kez geliyor..Boşuna trafik harcıyorlar bende nette dolaşırken buldum ve ekledim bu kodlar yaho botlara izin vermemekle istediğiniz önemli kısımlarıda indexletmiyor botlara
Alıntı
User-agent: Googlebot Disallow: *.msg* Disallow: */msg* Disallow: *prev_next* Disallow: *action=admin* Disallow: *action=help* Disallow: *action=login* Disallow: *action=post* Disallow: *action=printpage* Disallow: *action=recent* Disallow: *action=register* Disallow: *action=reminder* Disallow: *action=search* Disallow: *action=stats;expand* Disallow: *action=who* Disallow: *sa=showPosts* Disallow: *sort=* Disallow: /Themes/ User-agent: Slurp Disallow:/
Alıntıdır