hocam crawler algoritmasını bilmediğimiz için kaç şarta göre baktığını bilemeyiz.
tahmin etmekte ne kadar sağlıklı olur bilmiyorum ama bence anlar.(botun sürekli geliştirildiğini düşünmekteyim ve tek şarta göre süzmemesi gerekir.)
ip bazlı olarak aynı ip deki siteleri webmaster araçları sitelerinden görebiliyoruz fakat sunucudaki sitelerin tamamını görmek mümkün mü acaba ?