User-agent: *

Bu kod bulunduktan sonra arama motorlarını tek tek yazmanıza gerek yok. Yandex,Bing,Yaho vs vs..

Disallow yaptığın sayfalar ne sayfası bilmiyorum o yüzden yorum yapamayacağım