Bir klasördeyse robots.txtle kısıtlayabilirsiniz. Sonra zamanla silinmeye başlıyacaktır. Veya klasörde değilse webmater toolstan ulaşılamıyan bağlantılar yani kırık linkleriniz listelenicektir. O tabloyu indirip notepadde fazlalıkları silip ( ctrl+h hesabı ) robots.txt dosyanızı pratik olarak hızlıca oluşturabilirsiniz.