robots.txt den bu botların siteyi taramasını engelleyebiliyorsunuz diye biliyorum. Fakat işe yarar mı bilmiyorum.