Benim Robots.txt dosyam konumu okumanızı öneririm.