sıkıntılı bir konu botlara izin vermeli ama kullanıcıları engellemelisiniz en basitinden pagespeed e bilene erişemez siteniz bu söylediğimi dikkate alın.