Webustad adlı üyeden alıntı: mesajı görüntüle
http://www.robotstxt.org/faq/prevent.html

Bu şekilde robots.txt dosyası oluşturabilirsin.
Cok tesekkurler... Sizinde gordugunuz gibi "but this only helps with well-behaved robots" ibaresini koymuslar, "temiz aile cocugu" robotlar siteye gelmez ama digerleri gelebilir anladigim kadariyla

Bunun disinda google icin webmaster araclarinda da bir ayar yok muydu acaba? Sadece google icin?

Hayirli aksamlar.