dünyadaki kendi otomatik sitemap oluşturucusunu kullamayan (wordpress,vbulletin gibi sistemlerde bu mevcuttur ama diğer pek çok scriptte yoktur) webmasterların %90'ı g-site crawler'ı kullanıyor.Ha evet g-site crawler sitenin bant genişliğinden yer ve çok uzun sürer ama bi ay sonu yap yani aç sabah 7de bilgisayarı başlat crawları artık git gez çalış gece bi bak bitmiş mi ,çok fazla sayfaysa açık kalsn pc ertesi gün kalkınca bak