Wordpress siteyi kurarken siteniz arama motorlarına kapalı olsun mu diye sorar. Kapalı olsun derseniz iste bu kodları oluşturur robot dosyanizda.
En basit mantık eger zararlı olsa böyle bir özellik olmaz ve arama motorlarına açınca da siteler arama motorlarında çıkmıyor olurdu.