Robots.txt içeriği aslında

User-agent: *
Allow: /

şeklinde ama webmastersta aşağıdaki şekilde görünüyor.


# robots.txt to block all bots except bots from Google , MSN , Yahoo
User-agent: Googlebot
Disallow:
User-agent: Slurp
Disallow:
User-agent: MSNBot
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: *
Disallow: /

Bu ne ile alakalı bir durum? Diğer sitelere baktığımda hepsinde neyse o şekilde çıkmış ama bunda google kafasına göre birşeyler yazmış.