niye uğraşıyorsunuz ki, robots dosyası üzerinden eklenmesini istemediğiniz dizinleri red edin, google zaten siler gereksiz sayfaları.
öyle bir link yapısı yapmışki yazan arkadaş resmen google a gıcıklığına yapar gibi her bir url farklı bir yapıda moz crawl aracı ile çözüm sağladım teşekkür ederim