User-agent: *
Bu kod bulunduktan sonra arama motorlarını tek tek yazmanıza gerek yok. Yandex,Bing,Yaho vs vs..
Disallow yaptığın sayfalar ne sayfası bilmiyorum o yüzden yorum yapamayacağım
ama ben sadece bahsettiğim botlara ızın verıp gerı kalan botları yasaklamak ıstıyorum onu nasıl yapıcam?