User-agent: ia_archiver
Disallow: /
bunun gereği olduğunu sanmıyorum,sitenin archive.org da kaydının alınmasını engellemek gereksiz bence.
Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.
Alıntı
User-agent: ia_archiver
Disallow: /
evt bu bencede gereksiz benim bloguma göre kaldırayım.
Alıntı
Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.
sitem genel içerikli değil, yani tek bir konuya odaklı acaba kaldırmamamın bi faydası olur mu? Diğer izinler doğru mu?