Cok tesekkurler... Sizinde gordugunuz gibi "but this only helps with well-behaved robots" ibaresini koymuslar, "temiz aile cocugu" robotlar siteye gelmez ama digerleri gelebilir anladigim kadariyla
Bunun disinda google icin webmaster araclarinda da bir ayar yok muydu acaba? Sadece google icin?
Hayirli aksamlar.
Webmaster araçlarında robots.txt oluşturucusu var hatırladığım kadarıyla.