Benim bildiğim tek yok google disallow.
Belli aralıklarla kontrol etmekte fayda var.