Vereceğim sitede en altta "Crawl My Site", robots.txt ile bilgiler de var, ia_archiver alexa nın ve aynı zamanda archive.org un botu, onu engelleme.

Alexa Web Search - Webmasters Help