robots.txt dosya şablonlarından birini kullanıyorum, içeriği şu:
Alıntı
Sitemap:
http://beyn.org/sitemap.xml
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
User-agent: Googlebot-Image
Disallow: /wp-includes/
Disallow: /wp-content/
User-agent: Mediapartners-Google*
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Kalınlaştırdığım yerde bir şeye kafam takıldı. Yaptığım araştırma sonucunda ia_archiver'a bazı yerlerde Alexa'nın örümceğinin olduğundan, bazı yerlerde de WayBackMachine'nin örümceğinin olduğundan bahsedildiğini gördüm. İki sorum var şimdi:
1. Yukarıdaki kodlarda ia_archiver örümceği engelleniyor mu, yoksa her yere izin mi veriliyor?
2. Engelleniyorsa neden engelleniyor? Şablon robots.txt dosyası olduğundan eminim bir nedenden dolayı koymuşlardır, bu neden ne olabilir?
2,5. İzin verip vermeme konusunda sizin önerileriniz nedir?
