bir sitenin robots.txt dosyasını http://www.frobee.com/robots-txt-check adresinden analiz edebilirsiniz.