robots.txt den ayar yaptıysanız oraya hiç uğramaması lazım. Ama sizin bot kural tanımaz bir botsa bilemem..