niye uğraşıyorsunuz ki, robots dosyası üzerinden eklenmesini istemediğiniz dizinleri red edin, google zaten siler gereksiz sayfaları.