Öncelikle şunu belirtmek lazım bizim dilimize pelesenk olmuş bu bot tabiri karşı sitedenin verilerini parse etmek üzerine kurulmuş php betiklerin bizim ağzımıdaki adıdır. Yani sitenizin index.php dosyasından yapı olarak hiç bir farkları yok. Bu konuda google örümceği sitenize girdiğinde o klasörü açsa bile php kaynağını değil html dökümünü görür.

Buda stnadart bir login ekranı , 404 sayfası gibi site içeriğinden farklı sayfalar olarak yorumlamasına neden olur.

Kısacası botlarınızı google indexlemesinde bir zarar yoktur fakat index alması kötü niyetli kişilerin botunuzda güvenlik yoksa sitenize ulaşmaları için yol gösterici olur. En garanti yol atın robot.txt kafanız rahat olsun...