Eğer site index alması engellenen bir sisteme sahipse içeriğin tespiti imkânsız olur dolayısıyla korsan olarak dağıtımı devam eder. Bu bilgiyi de göz önünde bulundurun.
Harika bir detay çok teşekkür ederim. Botun bir süre sonra aslında internetten genel aramalarla değilde elde ettiğimiz verilerle bu veriler botla gelen verilerde olabilir yada sizin söylediğiniz gibi indexi engelli fakat bir şekilde duyum vb bir yöntemle elde ettiğimiz yerlerde arama yapmaya dönüşebilir zamanla.