Alexis adlı üyeden alıntı: mesajı görüntüle
Vereceğim sitede en altta "Crawl My Site", robots.txt ile bilgiler de var, ia_archiver alexa nın ve aynı zamanda archive.org un botu, onu engelleme.

Alexa Web Search - Webmasters Help
For Webmasters

Thank You

Bendende sana Thank You =)