dünyadaki kendi otomatik sitemap oluşturucusunu kullamayan (wordpress,vbulletin gibi sistemlerde bu mevcuttur ama diğer pek çok scriptte yoktur) webmasterların %90'ı g-site crawler'ı kullanıyor.Ha evet g-site crawler sitenin bant genişliğinden yer ve çok uzun sürer ama bi ay sonu yap yani aç sabah 7de bilgisayarı başlat crawları artık git gez çalış gece bi bak bitmiş mi ,çok fazla sayfaysa açık kalsn pc ertesi gün kalkınca bak
WonderWebWare Sitemap Generator Adlı programı kurdum yaklaşık 1 Saat 15 Dkdır tarama yapıyor bakıyorum arada cok gereksiz şeyleride tarıyor olmıyan url çıkartıyor bitsin bakalım googleye bir kere indexletip silicem daha sonra.