Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/
yani disallow: un karşısına yazacağın bölümlere botların girişi yasaklanır.
Anladım, fakat benim kategorilerimin hepsinde içerik mevcut, artı wordpress kullanıyorum hazır tamamlanmış yani.