Kimler çevrimiçi sayfasından botlardan birisinin ip adresine tıklayın tam sunucu adresi çıkar buna göre robots.txt den engel yapabilirsiniz.