Teşekkür ediyorum cevabınız için lakin;
1 - robots.txt yok sistemde.
2 - sunucuya da erişimimiz yok.
siteadi.com/.htaccess siteadi.com/.htaccess.bak siteadi.com/.htaccess.lsbak siteadi.com/htaccess siteadi.com/htaccess.bak
Buralarda sonuç alamazsanız vhost üzerinden(apache veya nginx temelli) engellenmiştir; göremezsiniz. Deneyerek bulmalısınız.