Sitenin hangi örümceklere kapalı olduğunu bulma

Merhabalar arkadaşlar;
bir sitenin hangi örümceklere karşı kapalı olduğunu nasıl bulabiliriz acaba ?
Not : siteye erişimimiz yok, yabancı bir site.

/robots.txt

Teşekkür ediyorum cevabınız için lakin;
1 - robots.txt yok sistemde.
2 - sunucuya da erişimimiz yok.

siteadresi/robots.txt

Teşekkür ediyorum cevabınız için lakin;
1 - robots.txt yok sistemde.
2 - sunucuya da erişimimiz yok.

siteadi.com/.htaccess
siteadi.com/.htaccess.bak
siteadi.com/.htaccess.lsbak
siteadi.com/htaccess
siteadi.com/htaccess.bak


Buralarda sonuç alamazsanız vhost üzerinden(apache veya nginx temelli) engellenmiştir; göremezsiniz. Deneyerek bulmalısınız.

Hocam sunucuya erişimimiz yok maalesef.

Hocam siteye erişim yok derken ftp mi yok 403 vs mi veriyor girişte ?

Hocam IP veya domain biliyor musunuz bağlı?

Bu arada o linkler için sunucuya gerek yok, deneyerek bakın.