ayrıca robots.txt yi okuyo ve ordan disallow ettiğiniz bölümleri sitemapa eklemiyo bildiğim kadarı ile
her işlem sayfasını disallow etmemiz hem uzun sürer ayrıca sorun sadece bu değil gsitecrawler ı çalıştırdığımdan bu yana toplam 1 gün olmuştur herhalde indexlemesi çok uzun sürüyor ve uzun sürmesi de bw nin tükenmesi için güzel bir neden