Google ve farklı arama motorlarının girdiği botlardır index almak için giriyorlar engellerseniz google açısından zarar görebilir siteniz tabi detaylı bakmak lazım.